cada cual a su manera

REBORN

2009-07-28T14:43:00.002+02:00

Hi:

I wanna get again the habit to blog things that I consider of interest. I'm giving a new face to this blog. By default I will try to post in english ( or something aka 'this weird language that this guy claims english' )

Oracle® Database 11g Sets World Record TPC-H 10 Terabyte Non-Clustered Benchmark Result

2008-04-07T13:51:00.003+02:00

Oracle® Database 11g Sets World Record TPC-H 10 Terabyte Non-Clustered Benchmark Result on HP Integrity Superdome Server and HP StorageWorks Arrays
Showcases Superior Data Warehousing Performance with Record Price-Performance

Full Press Release

Cambiar el entorno de sesión de Oracle al vuelo

2008-03-05T23:35:00.012+01:00

Cuando tenemos varias instalaciones de binarios de Oracle en un mismo host ( multihomed ) como por ejemplo ASM + varias bases de datos con varios juegos de binarios y tenemos que actuar en uno determinado ( asmcmd, listeners, arranque y parada de instancias ) debemos modificar variables de entorno ( ORACLE_SID, ORACLE_HOME, PATH...) para que apunten al entorno en el que queremos trabajar. Normalmente se dispone de una serie de scripts que modifican en parte dichas variables de entorno, cambiando ORACLE_BASE y ORACLE_HOME/SID pero para PATH normalmente lo que se hace es añadir al principio el valor del nuevo ORACLE_HOME/bin y exportar la variable. Con unos cambios de estos podemos terminar con una variable de PATH bastante extensa a la par que 'sucia'.

Dejo aquí un script para cambiar los valores típicos del entorno Oracle de una manera más limpia, o al menos eso creo yo :)

De lo que se trata es de, basándose en el ORACLE_HOME actual, buscarlo en el contenido del PATH actual y sustituirlo por el nuevo ORACLE_HOME que vamos a usar, exportando después este cambio como PATH.

Por ejemplo, estos son los 2 scripts necesarios para cambiar de un entorno ASM a un entorno de base de datos ( sid = test ). Yo siempre los ubico en ~/bin del usuario oracle

carga_entorno_asm

export ORACLE_BASE=/u01/app/oracle
export ORACLE_ASM=$ORACLE_BASE/product/10.2.0/ASM
export PATH=`echo $PATH | sed "s|$ORACLE_HOME|$ORACLE_ASM|g"`
export ORACLE_HOME=$ORACLE_ASM
export ORACLE_SID=+ASM

carga_entorno_bdtest

export ORACLE_BASE=/u01/app/oracle
export ORACLE_TEST=$ORACLE_BASE/product/10.2.0/TEST
export PATH=`echo $PATH | sed "s|$ORACLE_HOME|$ORACLE_TEST|g"`
export ORACLE_HOME=$ORACLE_TEST
export ORACLE_SID=TEST

Cada vez que tengamos que cambiar de entorno solo tendremos que ejecutar . $HOME/bin/carga_entorno_xxxx y lo tendremos disponible inmediatamente y libre de suciedad

También acostumbro a crear alias en ~/.bash_profile para cada carga de entorno, del tipo

alias cea='. ~/bin/carga_entorno_asm'
alias cet='. ~/bin/carga_entorno_bdtest'

y así agilizar los cambios

HTH

( If you want this post translated to english, let me know )

Nokia interesada en comprar TrollTech

2008-01-29T10:48:00.000+01:00

Ya se había oído que los fabricantes de dispositivos móviles querían apostar por linux y software libre en sus equipos, lo que faltaba por saber era si iban a empezar desarrollos desde cero, colaborar con algunos de los ya existentes o, como en este caso, hacerse con todo el código, equipo de desarrolladores y know-how. Nokia ha decidido la tercera opción, y ha propuesto a TrollTech su compra

http://www.nokia.com/A4136001?newsid=1185531

http://trolltech.com/company/newsroom/announcements/press.2008-01-28.4605718236

El mismo anuncio en ambas empresas, ya está hecho.

Ahora empieza lo divertido, mayoritariamente Nokia ha marcado el camino a seguir en cuanto a dispositivos móviles, veremos como se posicionan ahora Motorola y el resto ( sobre todo en el ámbito de dispositivos tipo Palm )

Script para grabar lo que se hace en un shell ( ssh )

2007-12-20T12:25:00.000+01:00

Por mi trabajo debo documentar las acciones que ejecuto en los hosts de los clientes con total fidelidad. Hace un tiempo estuve buscando alguna herramienta tipo gnome-terminal ( o consola virtual ) con la posibilidad de guardar el log de toda la entrada/salida que realizara dentro de dicha terminal. Esta funcionalidad me sería muy útil no tan solo para poder realizar la documentación que quiero ofrecer, sino también para poder disponer de forma rápida de ejemplos prácticos de ejecución de comandos vía terminal o como log de algún conjunto de acciones particulares. De momento no he encontrado ningún terminal con esa funcionalidad ( tampoco he hecho una búsqueda exahustiva ) pero si que encontré la aplicación propia de bash script que permite hacer algo parecido. Mediante un shell que he montado, automáticamente se graba toda la entrada/salida de lo que ejecuto a través de un ssh, guardándome el log en un directorio predeterminado y organizado por hosts accedidos. El nombre del fichero de log me indica con que usuario realicé el ssh y en que momento. Os dejo aquí el script ( en mis ejemplos se llama fer_ssh2.sh ) por si os es útil o por si os lo puede ser con las modificaciones que creáis oportunas. También adjunto un ejemplo de salida de ejecuciones así como el aspecto del directorio de log para que sirva de ejemplo de lo que he contado.

#!/bin/bash
CADENA=$1
DIRBASE=$HOME/logs_ssh2
FECHA=`date +%Y%m%d-%H.%M.%S`
ELHOST=${CADENA#*@}
ELUSER=${CADENA%@*}
DIRLOG=$DIRBASE/$ELHOST
if [ -d $DIRLOG ]; then
# si existe no hacemos nada - TODO: mirar si podemos negar el if
echo "1" > /dev/null
#el directorio existe, seguimos
else
mkdir -p $DIRLOG
fi
LOG=$DIRLOG/$FECHA-$ELUSER.log
echo "**************************************************"
echo "* HACIENDO SSH CONTRA $1"
echo "* Guardando log en $LOG"
echo "**************************************************"
script -c "ssh -X $1" $LOG
exit

Salida real del terminal donde lanzo fer_ssh2.sh ( contra mi propio host vía nombre máquina )

dballester@nebuchadnezzar:~$ fer_ssh2.sh dballester@nebuchadnezzar
**************************************************
* HACIENDO SSH CONTRA dballester@nebuchadnezzar
* Guardando log en /home/dballester/logs_ssh2/nebuchadnezzar/20071220-12.19.26-dballester.log
**************************************************
Script iniciado; el fichero es /home/dballester/logs_ssh2/nebuchadnezzar/20071220-12.19.26-dballester.log
The authenticity of host 'nebuchadnezzar (127.0.1.1)' can't be established.
RSA key fingerprint is af:6e:94:98:83:e1:d3:22:a9:c2:cf:d7:28:3a:59:c3.
Are you sure you want to continue connecting (yes/no)? yes
Warning: Permanently added 'nebuchadnezzar' (RSA) to the list of known hosts.
dballester@nebuchadnezzar's password:
Linux nebuchadnezzar 2.6.22-14-generic #1 SMP Sun Oct 14 23:05:12 GMT 2007 i686

The programs included with the Ubuntu system are free software;
the exact distribution terms for each program are described in the
individual files in /usr/share/doc/*/copyright.

Ubuntu comes with ABSOLUTELY NO WARRANTY, to the extent permitted by
applicable law.
You have mail.
Last login: Thu Dec 20 11:59:12 2007 from localhost
dballester@nebuchadnezzar:~$ hostname
nebuchadnezzar
dballester@nebuchadnezzar:~$ df -h
S.ficheros Tamaño Usado Disp Uso% Montado en
/dev/sda6 4,6G 3,9G 536M 88% /
varrun 502M 112K 502M 1% /var/run
varlock 502M 0 502M 0% /var/lock
udev 502M 108K 502M 1% /dev
devshm 502M 0 502M 0% /dev/shm
lrm 502M 34M 468M 7% /lib/modules/2.6.22-14-generic/volatile
/dev/mapper/data-homes
30G 16G 13G 56% /home
/dev/sda1 76M 41M 32M 57% /boot
/dev/mapper/data-oracle11g
7,9G 5,9G 1,6G 79% /u01
/dev/scd0 7,6G 7,6G 0 100% /media/cdrom0
dballester@nebuchadnezzar:~$ exit
logout
Connection to nebuchadnezzar closed.
Script terminado; el fichero es /home/dballester/logs_ssh2/nebuchadnezzar/20071220-12.19.26-dballester.log
dballester@nebuchadnezzar:~$

Salida real del terminal donde lanzo fer_ssh2.sh ( contra mi propio host vía localhost )

dballester@nebuchadnezzar:~$ fer_ssh2.sh dballester@localhost
**************************************************
* HACIENDO SSH CONTRA dballester@localhost
* Guardando log en /home/dballester/logs_ssh2/localhost/20071220-12.21.35-dballester.log
**************************************************
Script iniciado; el fichero es /home/dballester/logs_ssh2/localhost/20071220-12.21.35-dballester.log
dballester@localhost's password:
Linux nebuchadnezzar 2.6.22-14-generic #1 SMP Sun Oct 14 23:05:12 GMT 2007 i686

The programs included with the Ubuntu system are free software;
the exact distribution terms for each program are described in the
individual files in /usr/share/doc/*/copyright.

Ubuntu comes with ABSOLUTELY NO WARRANTY, to the extent permitted by
applicable law.
You have mail.
Last login: Thu Dec 20 12:19:33 2007 from nebuchadnezzar
dballester@nebuchadnezzar:~$ ifconfig | grep -A2 Ether
eth0 Link encap:Ethernet HWaddr 00:14:22:A2:5E:86
inet addr:172.31.152.20 Bcast:172.31.152.255 Mask:255.255.255.0
inet6 addr: fe80::214:22ff:fea2:5e86/64 Scope:Link
dballester@nebuchadnezzar:~$ mii-tool
SIOCGMIIPHY on 'eth0' failed: Operation not permitted
SIOCGMIIPHY on 'eth1' failed: Operation not permitted
SIOCGMIIPHY on 'eth2' failed: Operation not permitted
SIOCGMIIPHY on 'eth3' failed: Operation not permitted
SIOCGMIIPHY on 'eth4' failed: Operation not permitted
SIOCGMIIPHY on 'eth5' failed: Operation not permitted
SIOCGMIIPHY on 'eth6' failed: Operation not permitted
SIOCGMIIPHY on 'eth7' failed: Operation not permitted
no MII interfaces found
dballester@nebuchadnezzar:~$ sudo mii-tool
[sudo] password for dballester:
eth0: no autonegotiation, 10baseT-HD, link ok
SIOCGMIIPHY on 'eth1' failed: Operation not supported
dballester@nebuchadnezzar:~$

Aspecto de los directorios de log

dballester@nebuchadnezzar:~$ ls -lR logs_ssh2
logs_ssh2:
total 36
drwxr-xr-x 2 dballester dballester 4096 2007-12-20 12:23 localhost
drwxr-xr-x 2 dballester dballester 4096 2007-12-20 12:19 nebuchadnezzar

logs_ssh2/localhost:
total 16
-rw-r--r-- 1 dballester dballester 4096 2007-12-20 12:22 20071220-12.21.35-dballester.log
-rw-r--r-- 1 dballester dballester 131 2007-12-20 12:23 20071220-12.23.10-dballester.log

logs_ssh2/nebuchadnezzar:
total 4
-rw-r--r-- 1 dballester dballester 1795 2007-12-20 12:19 20071220-12.19.26-dballester.log
dballester@nebuchadnezzar:~$

Qmail ya es de código libre

2007-11-30T10:39:00.000+01:00

Una de las quejas principales a la hora de adoptar qmail como nuestro gestor de correo era que su autor, D.J. Bernstein no permitía la modificación del código y eso impedía la evolución de esta sólida solución de tratamiento de correo ( también había quien decía que qmail estaba tan bien que no hacían falta modificaciones... ). A partir de ya, D.J. Bernstein a puesto a disposición pública el código de qmail, tal y como anuncia en http://cr.yp.to/qmail/dist.html . La comunidad de usuarios avanzados de qmail ya se está moviendo para dar de alta el proyecto qmail en sourceforge.

Oracle 11g and Ubuntu 7.10 on the road

2007-11-21T22:15:00.000+01:00

Tan fácil como seguir esta receta

Al cabo de 2 horas:

SQL> select INSTANCE_NAME,HOST_NAME,PLATFORM_ID,
PLATFORM_NAME,VERSION,DATABASE_STATUS
from v$instance,v$database;

INSTANCE_NAME
----------------
HOST_NAME PLATFORM_ID
---------------------------------------------------------------- -----------
PLATFORM_NAME
--------------------------------------------------------------------------------
VERSION DATABASE_STATUS
----------------- -----------------
dbm11g
nebuchadnezzar 10
Linux IA (32-bit)
11.1.0.6.0 ACTIVE

SQL> !cat /etc/issue
Ubuntu 7.10 \n \l

SQL> select * from v$version;

BANNER
--------------------------------------------------------------------------------
Oracle Database 11g Enterprise Edition Release 11.1.0.6.0 - Production
PL/SQL Release 11.1.0.6.0 - Production
CORE 11.1.0.6.0 Production
TNS for Linux: Version 11.1.0.6.0 - Production
NLSRTL Version 11.1.0.6.0 - Production

SQL>

2007-09-30T13:36:00.000+02:00

Blogger robots had a bad day, and considered this blog as spam blog, blocking it ¿? After some days of wait, it's availabe again " Hello,

Your blog has been reviewed, verified, and cleared for regular use so that
it will no longer appear as potential spam. If you sign out of Blogger and
sign back in again, you should be able to post as normal. Thanks for your
patience, and we apologize for any inconvenience this has caused.

Sincerely,
The Blogger Team
"

2007-07-05T16:39:00.000+02:00

Integrating bacula and Oracle RMAN. Open draft

The idea is to define the pieces ( and combinations of them ), scenarios, tools and procedures to integrate the bacula backup solution with the Oracle Rman utility. Please, feel free to collaborate on this draft, use the comments and I will update the post with your contribution and credit. Once we'll have a good base, I will begin to develop the solution ( more hands are wellcome :D ).

Oracle releases

9i and 10g . When something described below will be only applicable for one of this releases will be informed accordingly.

Assumptions

Rman will not be able to talk 'directly' to tape device using bacula. The primary destination of rman backup pieces will be disk ( see below Rman backup set to disk point )

Pieces and scenarios

Rman binaries

The rman binaries can be located at the same host where resides the databases to be protected or in a different host than the databases to be protected ( could be the same host as the bacula director ).
In any case, bacula must be able to execute scripts on the host where rman binaries are installed. Personally I think that running rman in the same host where is running bacula seems a good approach, 'cause we can store rman backup result locally in the machine where bacula is running and from there, directly to tape. I'm trying to minimize the recover period and at same time, a good availability in case of restore ( we can hold on disk always the last rman backup done )

Rman catalog

rman backup catalog stored in the database control file to be backed up. Control files will grow ( and depending on retention, can grow a lot ). Rman takes care to backup controlfiles.

rman backup catalog stored in dedicated oracle database. Here an inexpensive linux machine with Oracle XE can fit very well, being able to use an Oracle database as rman catalog at no extra cost ( 4 GB of user data gives a lot of space for rman catalog data ). An extra bacula backup job must be done to backup this new database/host after all other rman backups has been done. Take in mind that is possible to catalog an rman backup.

Rman backup set to disk

We can storage the rman backup set in local storage where rman is executed, or in remote storage disk via network protocols ( nfs, iscsi... ). IMMO we need to minimize the data 'migration' between hosts to provide a good backup timing.

Types of backups

The idea is to create a set of jobs on both bacula and rman to Full, incremental and cumulative. Both rman and bacula support them and we can call the aproppiate rman script depending on the backup type to perform. Join retention policies.

Type of database

Oracle monoinstance. Can be some databases in a multihomed host.
Oracle RAC
Oracle Dataguard ( as product or as concept ). We can make a backup of the standby database and if we are using rman catalog, we can clean archivelogs from both instances.

Database mode

Archivelog or no archivelog. In archivelog we can create rman policies to backup to disk archivelogs several times a day, and delete the archives that have been at least N times backed up, to mantain under control the space in the archivelog destinations. For the 'at least N times backed up' we need to assure that archivelogs backed up has been moved to tape. We can take a look to the rman instructions to manage valid backups inside is own catalog.

In no archivelog mode, we can use rman but database will must just to be mounted.

Bacula

Pre jobs and after jobs scripts using bacula environment variables to merge with rman scripts ( coherence and reference for the admin ).

rman backup optimizations

Avoid to backup Oracle databases with the begin/end backup, this freezes the datafiles headers but oracle writes database blocks into them and then you're copying the files in inconsistent state. For this cause Oracle writes the entire block to the redo files when it tries to write a block of a tablespace that is maked as 'backup' ( if is a intensive writing database you will have a lot of switchlogs and archiving load ) Prior to 10G, it's necessary to put each tablespace in backup mode, in 10G we can use 'alter database begin backup' that do the job for us ( then we don't need to take care about new datafiles added over time ).Of course, we need to backup control files and other important Oracle files 'manually'.
Another point against this type of backup, If you have created a datafile of 2 GB but never used more than 25% of it you're backing up 2GB ( the entire file ).

Rman takes care of what datafiles/controlfiles/archives and parameter file to backup.
In 9i rman only reads blocks from datafiles under high-watermark ( in the previous example about the 2 Gb datafile and the 25% used, rman only will backup the 25% of the file )
In 10g rman is able to backup ONLY the used blocks, not the empty ones, even if them are under the high-watermark.
On RAC environments we can instruct rman to use a connection channel for each node in the cluster, paralleling the backup/restore process, but in 9i if one of this channels goes down, the backup/recover process gets broken. In 10g rman can manage this and use only the surviving nodes.

In 10g rman can compress the result 'on fly' ( with the ability to backup only used blocks and the compression method, we end with very little backed up data )

In 10g we can use a new feature called 'Block Change Tracking' where we instruct Oracle about a special file where it tracks the changed blocks ( only once, not each time the same block changes ), this tracking is used by rman to backup only the changed blocks without needing to read each datafile in the search of them. This tracking can be reseted when necessary ( when performing full backups, for example ).

The temporary datafiles from locally managed temporary tablespaces are not backed up. In 9i, after restore the dba must recreate them. In 10g rman is able to recreate this datafiles accordingly.

Oracle está desarrollando un nuevo filesystem para GNU/Linux

2007-06-22T00:17:00.000+02:00

Btrfs, así se llama un nuevo filesystem que está desarrollando Oracle bajo licencia GPL. Aún está en fase muy temprana de desarrollo y es poco funcional, lo que se supone que cambiará según se vaya adelantando el desarrollo. Esta es una lista de las características que ofrecerá cuando se considere estable y entre en producción:

Almacenamiento para ficheros muy grandes (2⁶⁴ tamaño maximo fichero)
Eficiencia en el almacenamiento de ficheros pequeños
Eficiencia en el almacenamiento con directorios indexados
Asignación dinámica de i-nodos
Snapshots modificables (!)
Subvolúmenes (!)
Mirroring y striping a nivel de objeto (!)
Checksums en datos y metadatos
Fuerte integracion con el mapeador de devices para soporte de múltiples devices
Verificación del filesystem en caliente
Verificación muy rápida del filesystem en frío
Backups incrementales eficientes (!) y mirroring de FS

Quizá sea una especie de mix para acercar ASM a un filesystem de Linux, me hace pensar eso lo de 'subvolúmenes' y lo de mirroring y striping a nivel de objeto ( eso me hace babear! ). Si no me equivoco, el striping a nivel de objeto + el soporte de multiples devices + la asignación dinámica de inodos permitiría que el propio sistema fuera capaz de detectar objetos que son accedidos constantemente y moverlos de manera que se reparta la carga de I/O en varios devices, en caliente y de forma transparente.

Lo de backups incrementales eficientes también tiene su punto, ya que si el filesystem es capaz de decirnos a priori que es lo que se ha modificado - y si eso significa que marcará ( ¿bitmaps? ) solo los bloques que hayan cambiado, no todo el fichero - tendremos una mejora espectacular en los tiempos de backup.

Si todo lo anterior es cierto, me da la sensación que tendremos un filesystem con pinceladas de lo que ya tenemos en base de datos Oracle : gestión local/automática de espacio, Subvolumenes + multidevice + strip de objetos ( conceptos de tablespaces y de ASM ?), backups 'detallistas' ( conceptos de RMAN? )

Fuentes: Home del proyecto Btrfs

Voy a preguntarles a ver si me dan más info sobre esas features, ya iré contando ( sobre todo preguntaré que coñ* significa Btr )

Impresiones de usuarios de DELL con Ubuntu preinstalado

2007-06-06T13:15:00.000+02:00

Ya hay reportes de usuarios que se han decidido por la compra de una computadora DELL con Ubuntu preinstalado ( Fuente : theinquirer )

http://ubuntuforums.org/showthread.php?p=2764621#post2764621

Hay que hacer notar que Dell ofrece 2 soluciones basadas en software libre, Ubuntu y FreeDos
http://www.dell.com/content/topics/global.aspx/alliances/en/linux?c=us&cs=555&l=en&s=biz

oracm fails on Red Hat 4

2007-05-22T11:14:00.000+02:00

( sorry for my English, is not my first language. Sometimes is bad, sometimes is worse :P )

I've seen several people having this problem - as I had before -, here comes one explanation and a workaround

Oracle RAC 9iR2 Cluster Manager ( oracm ) installed on RedHat 4 x86_64 ( AMD64 / EM64T ). Starting oracm on first node shows only one oracm process and starting oracm on the second one dumps both oracm process on each node tracing dumps on $ORACLE_HOME/oracm/log/cm.log and the process dies.

Cause

oracm and all other oracle binaries for GNU/Linux on 9i uses the 'old kernel API' ( 2.4 series ) and now 2.6 kernels offers new improvements ( glibc, modules, etc... ) then the start up oracm script - $ORACLE_HOME/oracm/bin/ocmstart.sh - contains a verification condition to apply corrections in the execution environment to force the use of the correct libraries and avoid malfunctions on executables that only understand the old way:

$ORACLE_HOME/oracm/bin/ocmstart.sh verification:

"(...)
#
# 3. Startup
#

#check if RH3.0, then set LD_ASSUME_KERNEL for starting CM.
if [ -e /etc/redhat-release ]
then
version=`rpm -qf /etc/redhat-release --queryformat "%{VERSION}\n"`
if [ $version == 3AS -o $version == 3ES ]
then
LD_ASSUME_KERNEL=2.4.19
export LD_ASSUME_KERNEL
fi
fi
(...)
"

that's OK if we are running RedHat 3 but under RedHat 4 this condition returns false miserably :), then the LD_ASSUME_KERNEL correction is not applied and oracm crashes when trying to create new threads.

Possible Solution

You can modify the condition to return TRUE on RedHat 3 or RedHat 4 or simply, 'cause you know where are you running, force the declaration of LD_ASSUME_KERNEL=2.4.19 at the beginning of the ocmstart.sh script ( on all nodes )

"
(...)
#
# 1. Configuration
#
export LD_ASSUME_KERNEL=2.4.19
if test -z "$ORACLE_HOME"
then
echo 'ocmstart.sh: Error: environment variable ORACLE_HOME is not set'
(...)
"

Remember that you've modified this script manually and check the content after application of any patch related to Oracle Cluster Manager. Some of them could overwrite this script and the forced export LD_ASSUME_KERNEL=2.4.19 should be inserted again

After this changes you will be able to start oracm correctly on all nodes and see how each one is registered on the cluster software layer

Good explanations about LD_ASSUME_KERNEL

http://developer.novell.com/wiki/index.php/LD_ASSUME_KERNEL
http://people.redhat.com/drepper/assumekernel.html

The power of time

2007-04-24T17:22:00.000+02:00

La instrucción time, usada tal cual, devuelve estadísticas de tiempo invertido en la ejecución del comando que se pase por parámetro. Según man time :

"(...)
La orden time ejecuta el programa orden con los argumentos suministra
dos. Cuando orden finaliza, time escribe un mensaje en la salida
estándar devolviendo estadísticas temporales sobre la ejecución de
este programa. Estas estadísticas están compuestas por (i) el tiempo
real transcurrido entre la llamada y la finalización de orden , (ii)
el tiempo de usuario del procesador (la suma de los valores tms_utime y
tms_cutime en un struct tms tal y como devuelve times(2)), y (iii) el
tiempo de sistema del procesador (la suma de los valores tms_stime y
tms_cstime en un struct tms tal y como devuelve times(2)).
(...)"

Veámos un ejemplo:

dballester@nebuchadnezzar:~$ time scp sqldeveloper-1.1.2.2579-no-jre.zip dballester@localhost:/tmp/prueba2.zip
dballester@localhost's password:
sqldeveloper-1.1.2.2579-no-jre.zip 100% 39MB 38.8MB/s 00:01

real 0m4.963s
user 0m0.688s
sys 0m0.104s
dballester@nebuchadnezzar:~$

Ok, pero si seguimos leyendo el man de time, éste es capaz de darnos muchísima más información. Lo que vemos de real, user y sys es tan solo la salida por defecto y la punta del iceberg.

time nos puede dar estadísticas de ( entre otras ) : el número de veces que el proceso ha sido sacado de la memoria principal, el número de veces que el sistema ha sacado al proceso de ejecución en CPU por haber consumido todo el tiempo asignado para él, número de mensajes ( sockets ) enviados y recibidos...

Todas estas estadísticas ( ver man time ) se pueden obtener indicando un formato de salida determinado a time. Como yo soy, entre muchas otras cosas, vago y con falta de memoria, he montado un script que visualiza todas las estadísticas. No hay magia, solo las muestro pero agrupadas por área. Os dejo el código junto con un ejemplo de ejecución. Para los que nos dedicamos a la consultoría creo que nos irá muy bien tener este script a mano. Está bajo licencia GPL2 así que ya sabéis podéis usarlo, transformarlo y distribuirlo bajo los límites de dicha licencia.

Script time_command.sh disponible en in.solit.us http://in.solit.us/archives/download/23169

Una vez bajado nuestra máquina, hay que darle derechos de ejecucción

chmod 755 time_command.sh

Ejemplo de lanzamiento

Acepta 2 parámetros, el primero debe ser el comando a ejecutar, limitado entre comillas dobles. El segundo es el fichero de log donde se guarda la salida de las estadísticas. Este segundo parámetro es opcional y si no se informa el script generará uno que creará con los datos de la fecha ( fecha/hora hasta los segundos ) del momento de la ejecución, y lo dejará en el mismo directorio donde se ha lanzado el script ( por lo tanto debemos tener derechos de escritura en dicho directorio). Yo recomiendo que dejéis este script en vuestro home y lo lancéis desde ahí

$ ./time_command.sh "scp sqldeveloper-1.1.2.2579-no-jre.zip dballester@localhost:/tmp/prueba2.zip" cp2.log
The authenticity of host 'localhost (127.0.0.1)' can't be established.
RSA key fingerprint is 43:53:7e:71:3a:95:ff:b4:d1:2d:21:dc:c4:1b:ad:1d.
Are you sure you want to continue connecting (yes/no)? yes
Warning: Permanently added 'localhost' (RSA) to the list of known hosts.
dballester@localhost's password:
sqldeveloper-1.1.2.2579-no-jre.zip

Log resultante

$ cat cp2.log
Comand executed scp sqldeveloper-1.1.2.2579-no-jre.zip dballester@localhost:/tmp/prueba2.zip
TIME COMMAND

Elapsed real (wall clock) time used by the process, in [hours:]minutes:seconds 0:06.91
Elapsed real (wall clock) time used by the process in seconds 6.91

CPU STASTISTICS

Percentage of the CPU that this job got(1) 13%
Total number of CPU-seconds used by the system on behalf of the process (in kernel mode), in seconds 0.11
Total number of CPU-seconds that the process used directly (in user mode), in seconds 0.82
Number of times that the program was context-switched voluntarily(2) 5437
Number of times the process was context-switched involuntarily (because the time slice expired) 6024
Number of signals delivered to the process 0

MEMORY STATISTICS

Average amount of shared text in the process, in Kilobytes 0
Average size of the process’s unshared data area, in Kilobytes 0
Average unshared stack size of the process in Kilobytes 0
Average total (data+stack+text) memory use of the process, in Kilobytes 0
Maximum resident set size of the process during its lifetime, in Kilobytes 0
Average resident set size of the process in Kilobytes 0
Number of minor, or recoverable, page faults(3) 1031
Number of times the process was swapped out of main memory 0
System’s page size in bytes(4) 4096

I/O STATISTICS

Number of file system inputs by the process 0
Number of file system outputs by the process 0
Number of major, or I/O-requiring, page faults that occurred while the process was running(5) 1
Number of socket messages received by the process 0
Number of socket messages sent by the process 0

(1) This is just user + system times divided by the total running time
(2) For instance while waiting for an I/O operation to complete
(3)These are pages that are not valid (so they fault)
but which have not yet been claimed by other virtual pages.
Thus the data in the page is still valid but the system tables must be updated.
(4) This is a per-system constant, but varies between systems.
(5) These are faults where the page has actually migrated out of primary memory.

Instrucción watch

2007-04-20T11:04:00.000+02:00

Cuando montamos un sistema de alta disponibilidad siempre hay que utilizar redundancia para evitar los SPOF ( single Point Of Failure ) o dicho de otra manera: Si quieres alta disponibilidad necesitas tenerlo todo como mínimo 2 veces porque de los elementos vitales para el servicio ( tarjeta de red, discos, controladora, arquitectura fiber channel, electricidad... ) si solo dispones de uno solo, como ese elemento sufra una caída adiós disponibilidad y adiós servicio.

¿A que viene esto? pues bien, viene a que cuando montamos un sistema de alta disponibilidad antes de entregárselo al cliente hemos de verificar que los elementos redundantes que hemos aplicado funcionan correctamente y el servicio no se pierde en caso de fallo de uno de esos elementos. Para certificar el correcto funcionamiento siempre ejecutamos procedimientos que implican un corte 'a la brava' de todos los SPOF protegidos. Es decir, teniendo el cluster arrancado y dando servicio desconectamos cables de red , certificamos que el sistema es consciente de la falta de ese elemento pero que no se ve afectado, volvemos a conectar el cable y certificamos que todo está OK, ya que tan importante es sobrevivir a la caída de un elemento de un cluster como a la consiguiente recuperación y reuso de dicho elemento una vez se ha solventado la incidencia. Lo mismo hacemos con los discos, las conexiones de fibra óptica...

Cuando hago estos tests necesito una herramienta que me visualice de forma efectiva y rápida los cambios de estado de los distintos elementos. Por ejemplo, para saber el estado del link ( quitar y poner cables ) de las tarjetas de red puedo ejecutar mii-tool

root@nclserver02:~# mii-tool
eth0: negotiated 100baseTx-FD, link ok
eth1: negotiated 100baseTx-FD, link ok
root@nclserver02:~#

Que me indica que en ese momento las 2 tarjetas físicas de red están conectadas mediante cable y tienen link ( eth1: negotiated 100baseTx-FD, link ok )

En caso de quitar uno de los cables, si vuelvo a ejecutar mii-tool me aparece el cambio de estado

root@nclserver02:~# mii-tool
eth0: negotiated 100baseTx-FD, link ok
eth1: no link
root@nclserver02:~#

pero me iría mucho mejor ejecutarlo una vez y poder ver en pantalla el cambio sin tener que volver a ejecutar la instrucción. Esto es aplicable también al estado de los filesystems ( df -k ) , multipath... en fin, que preferiría que en según que casos no tener que ir ejecutando periódicamente la instrucción que me permita ver el cambio.

Para eso utilizo la aplicación watch, que viene de serie en todas las distribuciones que he usado y que francamente me parece de una gran utilidad, todo y que hasta ahora en ninguno de los clientes con los que he trabajado la conocían. Es por esto que dejo esta entrada, para dar a conocer que es esta aplicación y como se usa. Estoy seguro que una vez la empieces a usar se convertirá en una de tus herramientas imprescindibles ;)

Tal y como reza man watch, watch ejecuta periódicamente una instrucción visualizando el resultado en pantalla. Con el ejemplo anterior de mii-tool puedo ejecutar

[root@nclserver03 ~]# watch -n0,5 mii-tool

y cada medio segundo ( -n 0,5 ) watch ejecutará mii-tool y me mostrará el resultado 'full screen' con lo que cada ejecución se solapará encima de la anterior, sin reubicación del contenido. Si necesito hacer un grep para que me muestre solo datos relevantes ( imaginad un ls -l , un cat, etc... podemos entrecomillar ( con la tecla para obtener acentos 'ó' pero sin la 'o', no con la comilla simple " '" ) las sentencias para que watch lo ejecute como un todo, de otra forma las instrucciones posteriores a una tubería ( | ) se aplicarán a la ejecución de watch en sí, no a lo que tiene que ejecutar watch. Por ejemplo si quiero ver como se va llenando el filesystem /dev/sda3 podría ejecutar

root@nclserver02:~# watch -n0,5 'df -k | grep "/dev/sda3"'

Otros parámetros interesantes y no excluyente de watch son

-d pone en video inverso los cambios entre 2 tomas

-t no muestra una cabecera que pone por defecto con información sobre la instrucción que se está ejecutando, el periodo de ejecución y la fecha / hora

Fuentes: watch --help

Oracle XE en Ubuntu Edgy amd64 / em64t ( x86-64 )

2007-04-10T14:10:00.000+02:00

Oracle XE sólo se distribuye en binarios de 32bits, lo que provoca que no pueda instalarse en distribuciones linux de 64bits 'tal cual'. Por necesidades de un proyecto interno he tenido que ver la viabilidad de instalar y usar una base de datos XE bajo Ubuntu Edgy 64 bits, y después de comentarlo un poco con hali en el canal #oracle de irc.freenode.org y unas búsquedas en Google, no ha resultado nada difícil. Aunque estas explicaciones estén descritas para Ubuntu, con entender la idea del porqué de cada cosa, tiene que ser trivial reproducir el proceso en otras distribuciones basadas por ejemplo en RedHat.

Debemos instalar librerías de 32 bits para que el proceso de linkado de los binarios de Oracle se pueda realizar.

apt-get install libc6-i386

Explicación de la librería libc6-i386

( luego me he dado cuenta que existen unas librerías libc6-i686 que son la compilación optimizada para i686 de libc6, así que sería más óptimo usarlas en vez de las libc6-i386 )

Debemos instalar la versión de 32bits de la librería libaio. Este proceso tengo que mirar si sería posible hacerlo con apt ( en un post anterior indiqué como instalar paquetes de distintas arquitecturas usando up2date en RedHat ), pero de momento lo haremos de forma manual ya que sólo es un paquete y lo tenemos bien localizado.

Podemos bajarlo de http://packages.ubuntu.com/edgy/libs/libaio1 , clickando en el link i386 del apartado Download libaio1 y seleccionando el mirror que más nos convenga ( leed el porqué de la existencia de estas librerías para que entendáis como mejora el rendimiento de I/O ).

Debemos bajarnos el paquete Oracle XE de http://www.oracle.com/technology/software/products/database/xe/htdocs/102xelinsoft.html

y una vez aceptada la licencia de uso, descargamos el paquete .deb en el apartado Oracle Database 10g Express Edition ( Universal ) para tener soporte para varios idiomas

Para instalar estos 2 últimos paquetes ( libaio y oracle XE en 32bits ), deberemos forzar dpkg a que los instale aún viendo que la arquitectura donde estamos corriendo no es la misma o compatible con la compilación del software que tratamos de instalar. Para eso utilizaremos la opción --force-arquitecture

dpkg -i --force-architecture libaio1_0.3.106-0ubuntu1_i386.deb
dpkg -i --force-architecture oracle-xe-universal_10.2.0.1-1.0_i386.deb

Como supongo que quien intenta instalar un Oracle ya sabe mínimamente los requerimientos recomendados de entorno, no me meteré a explicar lo del tamaño de swap, memoria mínima... esto está muy bien explicado en cientos de webs, San Google os puede ayudar:)

Ahora ya tenemos los binarios correctamente instalados ( la instalación ya nos ha creado el usuario 'oracle' y el grupo 'dba', propietarios del software de Oracle que hemos instalado) . Sólo nos falta la configuración final y la puesta en marcha.

Debemos ejecutar un script proporcionado por Oracle que entre otras cosas creará los scritps de parada y arranque automático de la instancia Oracle y el listener. Este script debe ejecutarse como root, sin el uso de sudos, para ello primero obtendremos una sesión pura de root ( sin necesidad de habilitar el login directo del superusuario )

sudo -s

Ahora que ya tenemos una sesión de root, lanzamos el script de configuración del servicio para Oracle XE ( puerto del listener, de la aplición web de administración, passwords... )

/etc/init.d/oracle-xe configure

Al cabo de un rato nos debería dar el ok al porceso de configuración/creación de la BD y tener varios procesos de oracle corriendo ( el listener, pmon, smon, reco... ) y deberíamos poder acceder a la administración de la nueva BD mediante el navegador web local al servidor, yendo a la dirección http://127.0.0.1:(puerto que hayamos configurado antes)/apex

Es imperativo la definición de las variables de entorno ORACLE_HOME y ORACLE_SID para el usuario oracle, así podréis trabajar con las herramientas de consola ( lnsrctl, sqlplus, rman... ) sin tener problemas

su - oracle
vi $HOME/.bash_profile
export ORACLE_SID=XE
export ORACLE_HOME=/usr/lib/oracle/xe/app/oracle/product/10.2.0/server
export PATH=$ORACLE_HOME/bin:$PATH
export TNS_ADMIN=$ORACLE_HOME/network/admin

Salid de la sesión oracle, volved a entrar y ya podréis trabajar normalmente con la nueva instancia

oracle@nclserver02:~$ sqlplus /nolog

SQL*Plus: Release 10.2.0.1.0 - Production on Tue Apr 10 16:37:03 2007

Copyright (c) 1982, 2005, Oracle. All rights reserved.

SQL> conn /as sysdba
Connected.

SQL> select INSTANCE_NAME,VERSION,DATABASE_STATUS,EDITION from v$instance;

INSTANCE_NAME VERSION DATABASE_STATUS EDITION
---------------- ----------------- ----------------- -------
XE 10.2.0.1.0 ACTIVE XE

SQL> exit
Disconnected from Oracle Database 10g Express Edition Release 10.2.0.1.0 - Production

oracle@nclserver02:~$ rman target / nocatalog

Recovery Manager: Release 10.2.0.1.0 - Production on Tue Apr 10 16:39:59 2007

Copyright (c) 1982, 2005, Oracle. All rights reserved.

connected to target database: XE (DBID=2500655873)
using target database control file instead of recovery catalog

RMAN>

Fuentes: canal #oracle en irc.freenode.org
Google me llevó a http://valery.bgit.net/blog-en/2006/07/09/oracle-database-10g-express-edition-in-linux
os recomiendo la lectura de acciones post instalación

VMWARE y EXT3-fs error (device xxx ) in ext3_ordered_writepage: Out of memory

2007-04-03T18:41:00.000+02:00

Bajo condicciones de mucha carga y consumo de memoria en hosts linux corriendo máquinas virtuales VMWare, me he encontrado con el error siguiente:

VMWARE y EXT3-fs error (device xxx ) in ext3_ordered_writepage: Out of memory

Esto ocurre cuando se consume gran cantidad de RAM ( se debería hacer swap ) y muy rápido ( al proceso de swap no le da tiempo de liberar RAM ) , y ni tan solo queda libre para que EXT3 pueda manejar su journaling ( no se puede hacer swap de estos datos )

Para evitarlo, podemos modificar el parámetro vm.min_free_kbytes para reservar, sí o sí, un numero determinado de bytes para el kernel & company.

Para hacerlo, y de paso, que se cargue este valor cada vez que la máquina arranca, añadir la siguiente línea al fichero /etc/sysct.conf ( fichero para definir los parámetros del kernel que se pueden leer/modificar al vuelo )

#Error: EXT3-fs error (device dm-6) in ext3_ordered_writepage: Out of memory
# Solució per evitar que vmware no deixi l'ext-3 sense ram per al journaling
vm.min_free_kbytes = 5000

una vez grabados los cambios ejecutad

sysctl -p

para que se relean y se apliquen los valores definidos en /etc/sysctl.conf

El valor ( 5000 ) está expresado en kilobytes y es el que yo he puesto en mis máquinas, este valor es facultativo, pero no se recomienda muy alto ( y 5MB se considera 'bastante alto' )

Encontré la solución googleando, que me llevó a este foro de vmware

Una explicación del parámetro vm.min_free_kbytes

Cajón de sastre

2007-04-02T12:42:00.000+02:00

Post donde voy guardando comandos, técnicas, tips... que no están muy bien documentados o son poco conocidos, pero que se me han hecho muy útiles o necesarios en el día a día de conslutoría o implementación

Paquetes multi arquitectura en el mismo host usando up2date en RedHat

Ejemplo: Trabajar en arquitectura x86_64 y por especificaciones de producto tener que instalar un paquete rpm compilado para arquitectura x86_64 ( nativa ) y el mismo paquete pero para la arquitectura i386. La forma standard es conseguir el paquete compilado para i386 e instalarlo a mano mendiante rpm -i ( y en algunos casos con el parámetro --force ). Mediante up2date, si intentamos hacer lo mismo, sólo chequeará el repositorio para la arquitectura nativa.

Mediante un parámetro no informado en man up2date se puede indicar que se chequee el paquete para una arquitectura definida en vez de la nativa.

up2date --arch=i386 paquetes

nos instalará los paquetes compilados para arquitectura i386 aunque nuestra plataforma nativa ( y por ende la usada por defecto para el chequeo de software ) sea x86_64 y ya tengamos dichos paquetes instalados para 64 bits

Consultar los paquetes instalados en un sistema RedHat, mostrando la arquitectura para cada paquete

Una vez hemos instalado paquetes iguales con arquitecturas distintas, para poder consultar la arquitectura determinada ( rpm por defecto no muestra la arquitectura ) podemos usar la siguiente parametrización de consulta para que rpm nos muestre la CPU para un paquete determinado

rpm -q --queryformat "%{NAME}-%{VERSION}.%{RELEASE} (%{ARCH})\n" paquetes

Descargar el paquete fuente de una paquete ya instalado en el sistema

up2date --get-source kernel-smp

Velocidad Fiber Channel

2007-03-20T18:16:00.001+01:00

Actualmente estoy trabajando con un cliente que ha comprado un par de nodos ( estamos hablando de Oracle RAC ) + storage compartido por fibra

Una pequeña muestra de la velocidad de este conjunto: Copiar aproximadamente 730MB desde el disco local de uno de los nodos a la cabina de storage compartido tarda 2,5 segundos. ( Tened en mente que la cabina tiene cache propia en RAM, pero el resultado es que efectivamente se ha transportado la información del disco local al disco externo en un tiempo muy bueno ). Mientras realizaba esta prueba, estaba restaurando aproximadamente 70GB desde una unidad de cinta Ultrium al mismo filesystem de storage compartido.

Dejo el log como referencia ( he omitido datos que puedan hacer que el cliente se sienta identificado ) :

[root@nodo1 ~]# mount
/dev/mapper/VolGroup00-LogVol00 on / type ext3 (rw)
(...)
/dev/sda3 on /opt/un_path type ocfs2 (rw,_netdev,heartbeat=local)
[root@nodo1 ~]# ls -l en_busca_felicidad.avi
-rwxr-xr-x 1 root root 734562304 mar 4 21:40 en_busca_felicidad.avi
[root@nodo1 ~]# time cp en_busca_felicidad.avi /opt/un_path

real 0m2.542s
user 0m0.036s
sys 0m2.500s
[root@nodo1 ~]# ls -l /opt/un_path
total 717354
-rwxr-xr-x 1 root root 734562304 mar 20 18:07 en_busca_felicidad.avi
drwxr-xr-x 2 root root 4096 mar 20 15:11 lost+found
drwx------ 3 root root 4096 mar 20 15:31 opt
[root@nodo1 ~]# rm en_busca_felicidad.avi
rm: ¿borrar el fichero regular «en_busca_felicidad.avi»? (s/n) s
[root@nodo1 ~]#

En este post iré publicando tests parecidos según me vaya encontrando combinaciones interesantes de hardware. No identificaré el hardware para ser neutral y no hacer publicidad ni a favor ni en contra, ya que se puede dar el caso que se necesite una configuración determinada que haga que las comparaciones no sean en igualdad de condiciones. De todas maneras no tengo ningún inconveniente en responder de forma privada aquellas consultas referentes a que hardware en concreto dio el resultado que haya posteado

26 Febrero 2008

[root@nodo ~]# dd if=/dev/zero of=/dev/emcpowera5 bs=1M
dd: escribiendo «/dev/emcpowera5»: No queda espacio en el dispositivo
102211+0 records in
102210+0 records out
107175366144 bytes (107 GB) copied, 896,745 seconds, 120 MB/s
[root@nodo ~]#

Gente amiga

2006-09-06T01:04:00.000+02:00

Tanto en canales de irc de freenode como en listas de distribución, siempre me gusta intentar ayudar a solucionar los problemas que presentan otras personas que usan y creen en el software libre. Además de que aprendo mucho ( siempre se aprenden cosas nuevas ) también me sirve de refresco de lo que ya sé y muchas veces tengo la oportunidad de ver conceptos y procesos desde otro punto de vista. Aporto lo que buenamente puedo intentado ayudar, así como otros me ayudaron a empezar en su momento.

Si eres alguna de esas personas a las que he podido ayudar, te invito a que dejes un comentario sobre como solucionamos tu ( nuestro ) reto, así, dentro de mucho tiempo, podremos releerlo y recordar esos dias, a mí me hará muy feliz