Guía de los paquetes binarios

Aparte del soporte usual para ebuilds, Portage ofrece soporte para construir e instalar paquetes binarios. Esta guía explica cómo crearlos, cómo instalarlos y cómo poner en marcha un servidor de paquetes binarios.

Introducción

There are many reasons why some system administrators like using binary packages for software installations on Gentoo:

1. It allows administrators to save time when keeping similar systems updated. Having to compile everything from source can become time consuming. Maintaining several similar systems, possibly some of them with older hardware, can be much easier if only one system has to compile everything from source and the other systems use the binary packages.
2. Do safe updates. For mission-critical systems in production it is important to stay usable as much as possible. This can be done by a staging server that performs all updates first to itself. Once the staging server is in a good state the updates can then be applied to the critical systems. A variant of this approach is to do the updates in a chroot on the same system and use the binaries created there on the real system.
3. As a backup. Often binary packages are the only way of recovering a broken system (i.e. broken compiler). Having pre-compiled binaries around either on a binary package server or locally can be of great help in case of a broken toolchain.
4. It aids in updating very old systems. The task of updating very old systems can be greatly eased using binary packages. It is usually helpful to install binary packages on old systems because they do not require build time dependencies to be installed/updated. Binaries packages also avoid failures in build processes since they are pre-compiled.

Este guía se centra en las siguientes cuestiones:

• Creating binary packages.
• Distributing the packages to clients.
• Implementing binary packages.
• Maintaining the binary packages.

Casi al final se tratan algunos temas avanzados sobre cómo tratar con los paquetes binarios.

Nota
Todas las herramientas utilizadas en esta guía forma parte de sys-apps/portage a menos que se diga lo contrario.

Crear paquetes binarios

Hay tres formas principales para la creación de paquetes binarios:

1. After a regular installation, using the quickpkg application.
2. Explicitly during an emerge operation by using the --buildpkg (-b) option.
3. Automatically through the use of the buildpkg value in Portage's FEATURES variable.

Los tres métodos crearán un paquete binario en el directorio al que apunta la variable PKGDIR (cuyo valor por defecto es /usr/portage/packages).

Utilizar quickpkg

La aplicación quickpkg toma como argumentos uno o más átomos de dependencia (o conjuntos de paquetes) y crea paquetes binarios para todos los paquetes instalados que concuerdan con ese átomo.

Por ejemplo, para crear paquetes binarios de todas las versiones de GCC instaladas:

root #quickpkg sys-devel/gcc

Para crear paquetes binarios de todos los paquetes instalados en el sistema, utilice la expresión *:

root #quickpkg "*/*"

Una advertencia sobre el uso de este método: Se basa en los archivos instalados, lo cual puede ser un problema en el caso de archivos de configuración. Los administradores suelen cambiar los archivos de configuración después de instalar el software. Debido a que esto podrían filtrarse datos importantes (incluso confidenciales) en los paquetes. Por defecto, quickpkg no incluye archivos de configuración que están protegidos mediante el método CONFIG_PROTECT. Para forzar la inclusión de archivos de configuración, utilice las opciones --include-config o --include-unmodified-config.

Utilizar --buildpkg como opción de emerge

When installing software using emerge, Portage can be asked to create binary packages by using --buildpkg (-b) option:

root #emerge --ask --buildpkg sys-devel/gcc

It is also possible to ask Portage to only create a binary package but not to install the software on the live system. For this, the --buildpkgonly (-B) option can be used:

root #emerge --ask --buildpkgonly sys-devel/gcc

El último enfoque requiere sin embargo que estén instaladas previamente todas las dependencias necesarias en el momento de la construcción.

Implementar buildpkg como una característica de Portage

La forma más común para crear automáticamente paquetes binarios cuando Portage instala un paquete es utilizar la característica buildpkg, que se puede configurar en /etc/portage/make.conf de esta forma:

ARCHIVO /etc/portage/make.confHabilitar la característica buildpkg de Portage's

FEATURES="buildpkg"

Cuando se activa esta característica, cada vez que Portage instala software se creará también un paquete binario.

Evitar la creación de algunos paquetes

Es posible indicarle a Portage que no cree paquetes binarios para un grupo de paquetes o categorías seleccionados. Esto se hace pasando la opción --buildpkg-exclude a emerge:

root #emerge -uDN @world --buildpkg --buildpkg-exclude "virtual/* sys-kernel/*-sources"

Esto se podría utilizar para paquetes en los que se obtiene poco o ningún beneficio teniendo instalado el paquete binario disponible. Ejemplos de ello serían los paquetes fuentes del núcleo Linux o paquetes binarios de los desarrolladores del propio paquete (los que terminan en -bin como www-client/firefox-bin).

Poner en marcha un servidor de paquetes binarios

Portage ofrece el soporte de varios protocolos para la descarga de paquetes binarios: FTP, FTPS, HTTP, HTTPS y SSH. Esto deja espacio suficiente para muchas formas de implementación del servidor.

No hay sin embargo un método "listo para funcionar" que ofrezca Portage para la distribución de paquetes binarios. Dependiendo de la configuración deseada, será necesario instalar software adicional.

Servidor de paquetes binarios basado en Web

Una forma muy usada para la distribución de paquetes binarios es crear un servidor de paquetes basado en web.

Utilice un servidor web como lighttpd (www-servers/lighttpd) y configúrelo para ofrecer acceso de lectura a la localización definida en PKGDIR dentro del fichero /etc/portage/make.conf.

ARCHIVO /etc/lighttpd/lighttpd.confEjemplo de configuración lighttpd

# Añada esto al final de la configuración estándar
server.modules += ( "mod_alias" )
alias.url = ( "/packages" => "/usr/portage/packages/" )

A continuación, en los equipos cliente, configure la variable PORTAGE_BINHOST apropiadamente:

ARCHIVO /etc/portage/make.confUtilizar un servidor de paquetes binarios basado en web

PORTAGE_BINHOST="http://binhost.example.com/packages"

Equipo de paquetes binarios con SSH

Para ofrecer un enfoque con mayor autenticación para los paquetes binarios, se puede considerar el uso de SSH.

Cuando se utiliza SSH es posible utilizar la clave SSH del usuario root de Linux (sin frase contraseña ya que se necesita realizar la instalación en segundo plano) para conectar a un equipo remoto con los paquetes binarios.

Para conseguir esto, asegúrese de que se permite usar la clave SSH del usuario root en el servidor. Esto se debe realizar en cada máquina que se conectará al servidor de paquetes binarios que acepte SSH:

root #cat root.id_rsa.pub >> /home/binpkguser/.ssh/authorized_keys

La variable PORTAGE_BINHOST podría entonces parecerse a ésta:

ARCHIVO /etc/portage/make.confAjustar PORTAGE_BINHOST para acceso SSH

PORTAGE_BINHOST="ssh://usuariopqtbing@servidorbin/usr/portage/packages"

Nota
No utilizzar los ficheros de configuración de SSH que se encuentran en ~/.ssh/config para definir puertos o el nombre del usuario. Esta localización se ignora cuando Portage intenta hacer rsync de los paquetes en el cliente. En lugar de esto, defina las opciones adecuadas en la variable PORTAGE_BINHOST.

Exportar mediante NFS

Cuando se utilizan paquetes binarios dentro de una red internt, puede que se más sencillo exportar los paquetes mediante NFS y montarlo en los clientes.

El fichero /etc/exports debería tener el siguiente aspecto:

ARCHIVO /etc/exportsExportar el directorio de paquetes

/usr/portage/packages   2001:db8:81:e2::/48(ro,no_subtree_check,root_squash) 192.168.100.1/24(ro,no_subtree_check,root_squash)

En los clientes, se puede ahora montar la localización. Un ejemplo de entrada /etc/fstab podría ser este:

ARCHIVO /etc/fstabEntrada para montar la carpeta que contiene los paquetes

binhost:/usr/portage/packages      /usr/portage/packages    nfs    defaults    0 0

Utilizar paquetes binarios

Para que los paquetes binarios se puedan utilizar en otros sistemas, deben cumplir algunos requisitos.

• La arquitectura del cliente y del servidor y su CHOST deben coincidir.
• Las variables CFLAGS y CXXFLAGS que se utilyzaron para construir los paquetes binarios deben ser compatibles con todos los clientes.
• Los ajustes USE de características específicas del juego de instrucciones del procesador (como MMX, SSE, etc.) deben seleccionarse con cuidado ya que todos los clientes deben ofrecer soporte para ellos.

Importante
Portage no puede validar si se cumplen estos requisitos, esto es responsabilidad del administrador del sistema.

Aparte de esto, Portage comprobará si el paquete binario se construye utilizando los mismos ajustes USE que se esperan en el cliente. Si se construye un paquete con una combinación distinta de ajustes USE, Portage, bien ignorará el paquete binario (y utilizará un ebuild basado en fuentes), bien fallará, dependiendo de las opciones que se pasen a la orden emerge cuando se invoque (leer Instalar paquetes binarios).

En los cliente se requieren algunos cambios en la configuración para poder utilizar paquetes binarios.

Instalar paquetes binarios

Se necesitan algunas opciones para pasar a la orden emerge que informará a Portage sobre el uso de paquetes binarios:

Option	Description
--usepkg (-k)	Tries to use the binary package(s) in the locally available packages directory. Useful when using NFS or SSHFS mounted binary package hosts. If the binary packages are not found, a regular (source-based) installation will be performed.
--usepkgonly (-K)	Similar to --usepkg (-k) but fail if the binary package cannot be found. This option is useful if only pre-built binary packages are to be used.
--getbinpkg (-g)	Download the binary package(s) from a remote binary package host. If the binary packages are not found, a regular (source-based) installation will be performed.
--getbinpkgonly (-G)	Similar to --getbinpkg (-g) but will fail if the binary package(s) cannot be downloaded. This option is useful if only pre-built binary packages are to be used.

Para utilizar instalaciones basadas en paquetes binarios de forma automática, se puede añadir la opción elegida a la variable EMERGE_DEFAULT_OPTS:

ARCHIVO /etc/portage/make.confObtener los paquetes binarios de forma automática y abortar la instlación si no están disponibles

EMERGE_DEFAULT_OPTS="${EMERGE_DEFAULT_OPTS} --getbinpkgonly"

There is a Portage feature that automatically implements the equivalent of --getbinpkg (-g) without the need for updating the EMERGE_DEFAULT_OPTS variable with the --getbinpkg value:

ARCHIVO /etc/portage/make.confHabilitar getbinpkg en la variable FEATURES

FEATURES="getbinpkg"

Obtener paquetes desde un servidor de paquetes binarios

Cuando se utiliza una gran cantidad de servidores de paquetes binarios, los clientes necesitan tener definida la variable PORTAGE_BINHOST. De otro modo el cliente no sabrá dónde se almacenan los paquetes binarios lo que resultará en que Portage no podrá recuperarlos.

ARCHIVO /etc/portage/make.confAjustar PORTAGE_BINHOST

PORTAGE_BINHOST="http://binhost.example.com/packages"

La variable PORTAGE_BINHOST utiliza una lista de URIs separada por espacios. Esto permite a los administradores utilizar varios servidores de paquetes binarios de forma simultánea. El URI siempre debe apuntar al directorio en el que el reside el fichero Packages.

Nota
El soporte para múltiples servidores de paquetes binarios está algo incompleto. Si varios servidores ofrecen un paquete binario para la misma versión del mismo, entonces se considerará solo el primero. Esto puede ser un problema cuando estos paquetes binarios difieren en su configuración de variable USE y la configuración de variable USE de un paquete binario más reciente coincidiera con la configuración de los sistemas.

Reinstalar paquetes binarios modificados

Passing the --rebuilt-binaries option to emerge will reinstall every binary that has been rebuilt since the package was installed. This is useful in case rebuilding tools like revdep-rebuild are run on the binary package server.

Una opción relacionada es --rebuilt-binaries-timestamp. Hace que emerge no considere los paquetes binarios para una reinstalar si esos paquetes binarios se han reconstruido antes de la marca de tiempo dada. Esto es útil para evitar la reinstalación de todos los paquetes, si el servidor de paquetes binarios se tuvo que reconstruir desde cero, de lo contrario utilice --rebuilt-binaries.

Ajustes adicionales en el cliente

Además de la característica getbinpkg, Portage también acepta la característica binpkg-logs. Ésta controla si los archivos de registro de las instalaciones exitosas de paquetes binarios se deben mantener. Solo es relevante si se ha definido la variable PORT_LOGDIR y está habilitada por defecto.

Similar a la exclusión de los paquetes binarios para un determinado conjunto de paquetes o categorías, los clientes se pueden configurar para excluir la instalación de paquetes binarios para un determinado conjunto de paquetes o categorías.

Para hacer esto, utilice la opción --usepkg-exclude:

root #emerge -uDNg @world --usepkg-exclude "sys-kernel/gentoo-sources virtual/*"

Para habilitar estos ajustes adicionales para cada orden emerge, añadir las opciones a la variable EMERGE_DEFAULT_OPTS dentro del fichero make.conf:

ARCHIVO /etc/portage/make.confHabilitar ajustes para emerge en cada invocación

EMERGE_DEFAULT_OPTS="${EMERGE_DEFAULT_OPTS} --usepkg-exclude 'sys-kernel/gentoo-sources virtual/*'"

Mantenimiento de paquetes binarios

Si la lista de paquetes binarios no se mantiene de forma activa, la exportación y distribución de paquetes binarios conllevará un consumo inútil de espacio de almacenamiento.

Eliminar paquetes binarios obsoletos

Como parte del paquete app-portage/gentoolkit, se ofrece una aplicación llamada eclean. Permite mantener ficheros variables relacionados con Portage como los ficheros de código fuente que se han descargado y también paquetes binarios.

La siguiente orden elimina todos los paquetes binarios que no tengan un ebuild correspondiente en los repositorios de ebuilds instalados:

root #eclean packages

Para más detalles, por favor, lea el artículo sobre eclean.

Otra herramienta que se puede utilizar es qpkg del paquete app-portage/portage-utils. Sin embargo, esta herramienta es menos configurable.

Para limpiar paquetes binarios no utilizados (en el sentido de que no los utiliza el servidor en el que se almacenan los paquetes binarios):

root #qpkg -c

Mantener el fichero Packages

Dentro del directorio de paquetes hay un fichero manifiesto llamado Packages. Este fichero actúa como una caché de los metadatos de todos los paquetes binarios en el directorio de paquetes. Este fichero se actualiza cada vez que Portage agrega un paquete binario al directorio. Del mismo modo, eclean lo actualiza cuando elimina paquetes binarios.

Si por alguna razón los paquetes binarios se eliminan o copian en el directorio de paquetes o el fichero Packages se corrompe o se elimina, entonces se debe recrear. Esto se hace con la orden emaint:

root #emaint binhost --fix

Temas avanzados

Crear instantáneas del directorio de paquetes

Cuando se despliegan paquetes binarios para un gran número de sistemas cliente podría resultar adecuado crear instantáneas del directorio de paquetes. Los sistemas cliente entonces no utilizan el directorio de paquetes directamente, sino que utilizan los paquetes binarios de la instantánea.

Se pueden crear las instantáneas usando la herramienta /usr/lib64/portage/python2.7/binhost-snapshot o la herramienta /usr/lib64/portage/python3.3/binhost-snapshot. Admiten cuatro argumentos:

1. Un directorio fuente (el camino al directorio de paquetes).
2. Un directorio destino (que no debe existir previamente).
3. Un URI.
4. Un directorio del servidor de paquetes binarios.

Los ficheros del directorio de paquetes se copian al directorio destino. Se crea entonces un fichero Packages dentro del directorio de paquetes binarios del servidor (el cuarto argumento) con el URI que se indica.

Los sistemas cliente necesitan utilizar un URI que apunta al directorio de paquetes binarios del servidor. A partir de ahí será redirigido al URI que se indicó a binhost-snapshot. Este URI tiene que hacer referencia al directorio destino.

Comprender el formato del paquete binario

El nombre de los paquetes binarios creados por Portage termina en .tbz2. Estos ficheros constan de dos partes:

1. Un fichero .tar.bz2 que contiene los archivos que se van a instalar en el sistema
2. Un fichero xpak que contiene los metadatos del paquete, el ebuild y el fichero de entorno.

La descripción del formato se puede leer en man xpak.

Hay algunas herramientas en app-portage/portage-utils que sirven para trocear o crear ficheros tbz2 y xpak.

La siguiente orden divide el fichero tbz2 en un fichero .tbz2 y en otro .xpak:

user $qtbz2 -s <paquete>.tbz2

El fichero .xpak se puede examinar con la utilidad qxpak.

Para listar los contenidos:

user $qxpak -l <paquete>.xpak

La siguiente orden extrae un fichero llamado USE que contiene los ajustes USE habilitados para este paquete:

user $qxpak -x package-manager-0.xpak USE

La plantilla PKGDIR

El formato de la versión que es el que se utiliza actualmente tiene la siguiente disposición:

CÓDIGO Plantilla de directorio de paquetes (version 2)

PKGDIR
`+- Packages
 +- app-accessibility/
 |  +- pkg1-version.tbz2
 |  `- pkgN-version.tbz2
 +- app-admin/
 |  `- ...
 `- ...

El fichero Packages es la principal mejora (y también el desencadenante de que Portage sepa que el directorio de paquete binario utiliza la versión 2) sobre la primera disposición de directorios de paquetes binarios (versión 1). En la versión 1, todos los paquetes binarios también se alojaban dentro de un único directorio (llamado All/) y los directorios de categoría contenían únicamente enlaces simbólicos a los paquetes binarios dentro del directorio All/.

Desempaquetar con quickunpkg

Zoobab ha escrito una sencilla herramienta de consola llamada quickunpkg para desempaquetar rápidamente ficheros tbz2.