En este post vamos a ver cómo agregar almacenamiento iSCSI multipath al clúster Proxmox VE 9.1.2 con configuraciones más avanzadas y mejor preparadas para trabajar en clúster, esto nos va a permitir:

• Definir parámetros avanzados, como round-robin, no_path_retry, rr_min_io…
• Asignar alias legibles a nuestras LUNs.
• Evitaremos que multipath intente agrupar discos locales con la opción de blacklists.
• Aseguraremos un comportamiento idéntico en todos los nodos de nuestro clúster.

Recordamos la topología:

• Para empezar, vamos a instalar en cada nodo los paquetes para el iniciador iSCSI y DM-Multipath, para ello, ejecutamos, apt install -y open-iscsi y apt install -y multipath-tools:

• Habilitamos e iniciamos los servicios para iscsid, ejecutamos, systemctl enable –now iscsid.service y systemctl enable –now open-iscsi.service:

• Habilitamos e iniciamos los servicios para multipathd, ejecutamos, systemctl enable –now multipathd.service:

• Comprobamos el estado de ambos servicios con systemctl status iscsid.service y systemctl status multipathd.service:

• Ahora vamos a ajustar conf, Proxmox recomienda reducir node.session.timeo.replacement_timeout = 15 para iSCSI, por defecto en 120s, lo pasamos a 15s, y para que la sesión sea persistente al arranque modificamos node.startup = automatic, para ello, editamos nano /etc/iscsi/iscsid.conf, esta modificación ayuda a que los timeouts de sesión sean más ágiles y evita esperas largas cuando tenemos fallos:

• Reiniciamos el servicio iscsid, systemctl restart iscsid.service y systemctl restart open-iscsi.service:

• Ahora vamos a descubrir los targets (IQNs) que nos ofrece nuestra cabina en cada IP/portal, esto no cambia ficheros manualmente, sino que guarda la información de esos targets en el directorio /etc/iscsi/nodes/ automáticamente, iscsiadm -m discovery -t st -p 10.10.2.4 y iscsiadm -m discovery -t st -p 10.10.3.4:

• Hacemos login en ambos portales, iscsiadm -m node -T iqn.1991-05.com.microsoft:saniscsipve-iscsitarget1saniscsipve-target -p 10.10.2.4 -l y iscsiadm -m node -T iqn.1991-05.com.microsoft:saniscsipve-iscsitarget1saniscsipve-target -p 10.10.3.4 -l, con esto conectamos los nodos pve a la cabina a través de las dos redes iSCSI:

• Para que el login sea persistente y se reconecte en cada reinicio, debemos de ejecutar, iscsiadm -m node -T iqn.1991-05.com.microsoft:saniscsipve-iscsitarget1saniscsipve-target -p 10.10.2.4 -o update -n node.startup -v automatic y iscsiadm -m node -T iqn.1991-05.com.microsoft:saniscsipve-iscsitarget1saniscsipve-target -p 10.10.3.4 -o update -n node.startup -v automatic:

• Comprobamos que ambos caminos están activos con, iscsiadm -m session -P3:

• Si accedemos a nuestra cabina SAN iSCSI, podemos ver, que ya tenemos los discos, en este caso, las LUNs conectadas:

• Ejecutamos en cada nodo, ls -l /dev/disk/by-path | grep 10.10 y como vemos la LUN0 tiene dos caminos, por 10.10.2.4 que aparece como /sdf y por 10.10.3.4 que aparece como /sdh, la LUN1 tiene dos caminos, por 10.10.2.4 que aparece como /sdg y por 10.10.3.4 que aparece como /sdi:

• Ahora, Multipath se basa en el WWID único de cada LUN, para obtenerlo ejecutamos:
• Para LUN0, /lib/udev/scsi_id -g -u -d /dev/sdf y /lib/udev/scsi_id -g -u -d /dev/sdh, ambos deben devolver el mismo WWID:

• Para LUN1, /lib/udev/scsi_id -g -u -d /dev/sdg y /lib/udev/scsi_id -g -u -d /dev/sdi, ambos deben devolver el mismo WWID:

• Añadimos el WWID de cada LUN para que multipath lo gestione.
• Para LUN0, multipath -a 360003ff44dc75adcbda106c1b22f4b5b
• Para LUN1, multipath -a 360003ff44dc75adc922dc286607e2e6f

• Recargamos multipath con multipath -r:

• Verificamos multipath con multipath -ll, esto significa que multipath creó un dispositivo /dev/dm-2 que representa a la LUN1, y dentro están los dos caminos activos (sdg y sdi), y otro dispositivo /dev/dm-1 que representa a la LUN0, y dentro están los dos caminos activos (sdf y sdh):

• Si ejecutamos ls -l /dev/mapper/ vemos lo siguiente:
• 360003ff44dc75adc922dc286607e2e6f, es el WWID de la LUN1.
• 360003ff44dc75adcbda106c1b22f4b5b, es el WWID de la LUN0.
• Ambos son enlaces simbólicos a los dispositivos multipath, /dev/dm-1 y /dev/dm-2
• control, es el dispositivo de control interno de multipath.

• Ahora vamos a crear el fichero /etc/multipath.conf en nuestros tres nodos con este contenido:

defaults {

user_friendly_names no

find_multipaths strict

path_selector «round-robin 0»

path_checker tur

rr_min_io 100

failback immediate

no_path_retry 12

}

blacklist {

devnode «^sda»

devnode «^sr0»

}

multipaths {

multipath {

wwid «360003ff44dc75adcbda106c1b22f4b5b»

alias «iscsi_saniscsipve_lun0»

}

multipath {

wwid «360003ff44dc75adc922dc286607e2e6f»

alias «iscsi_saniscsipve_lun1»

}

}

• Con este fichero configuramos:
• Round-robin activado
• Alias legibles (iscsi_saniscsipve_lun0 y iscsi_ saniscsipve _lun1)
• Parámetros ajustados para clusters (retry, failback, tur)
• Disco local sda y cdrom sr0 excluidos

• Ahora verificamos que el fichero /etc/multipath/wwids es exactamente igual en los tres nodos:

• Ahora ejecutamos estos tres comandos en los tres nodos:
• systemctl restart multipathd para recargar multipath.
• multipath -r para releer dispositivos multipath.
• multipath -ll para verificar.

• Con el comando ls -l /dev/mapper/iscsi_saniscsipve_lun* verificamos que existen los nuevos dispositivos:

• Ahora, la creación del Physical Volumen (PV) y Volume Group (VG), solo la vamos a hacer en un nodo, en este caso en el nodo 1, pvelab01.
• Para LUN0, pvcreate /dev/mapper/iscsi_saniscsipve_lun0 y vgcreate vg_iscsi0 /dev/mapper/iscsi_saniscsipve_lun0
• Para LUN1, pvcreate /dev/mapper/iscsi_saniscsipve_lun1 y vgcreate vg_iscsi1 /dev/mapper/iscsi_saniscsipve_lun1

• En los otros dos nodos ejecutamos, pvscan –cache y vgscan para que detecte el Physical Volumen (PV) y el Volume Group (VG):

• Si accedemos a todos los nodos > Discos > LVM, vemos que se han creado los Volume Group:

• Para terminar, accedemos a Centro de datos > Almacenamiento > Agregar > LVM:

• Sobre General, le indicamos el ID, Almacenamiento de base, Grupo del volumen, Contenido, Nodos, Activar, Compartido (importante activar para las migraciones en vivo), Agregar, para agregar la LUN0:

• Agregamos también la otra LUN1:

• Como podemos ver en, Centro de datos > Almacenamiento, tenemos los dos datastores añadidos:

• Aquí vemos, que los tres nodos, ya disponen del almacenamiento compartido por iSCSI y con Multipath:

Saludos y espero que os resulte de ayuda

En este post vamos a ver cómo agregar almacenamiento iSCSI multipath al clúster Proxmox VE 9.0

Recordamos la topología:

• Para empezar, vamos a instalar en cada nodo los paquetes para el iniciador iSCSI y DM-Multipath, para ello, ejecutamos, apt install -y open-iscsi y apt install -y multipath-tools:

• Habilitamos e iniciamos los servicios para iscsid, ejecutamos, systemctl enable –now iscsid.service y systemctl enable –now open-iscsi.service:

• Habilitamos e iniciamos los servicios para multipathd, ejecutamos, systemctl enable –now multipathd.service:

• Comprobamos el estado de ambos servicios con systemctl status iscsid.service y systemctl status multipathd.service:

• Ahora vamos a ajustar /etc/iscsi/iscsid.conf, Proxmox recomienda reducir node.session.timeo.replacement_timeout = 15 para iSCSI, por defecto en 120s, lo pasamos a 15s, y para que la sesión sea persistente al arranque modificamos node.startup = automatic, para ello, editamos nano /etc/iscsi/iscsid.conf, esta modificación ayuda a que los timeouts de sesión sean más ágiles y evita esperas largas cuando tenemos fallos:

• Reiniciamos el servicio iscsid, systemctl restart iscsid.service y systemctl restart open-iscsi.service:

• Ahora vamos a descubrir los targets (IQNs) que nos ofrece nuestra cabina en cada IP/portal, esto no cambia ficheros manualmente, sino que guarda la información de esos targets en el directorio /etc/iscsi/nodes/ automáticamente, iscsiadm -m discovery -t st -p 10.10.2.4 y iscsiadm -m discovery -t st -p 10.10.3.4:

• Hacemos login en ambos portales, iscsiadm -m node -T iqn.1991-05.com.microsoft:saniscsipve-iscsitarget1saniscsipve-target -p 10.10.2.4 -l y iscsiadm -m node -T iqn.1991-05.com.microsoft:saniscsipve-iscsitarget1saniscsipve-target -p 10.10.3.4 -l, con esto conectamos los nodos pve a la cabina a través de las dos redes iSCSI:

• Para que el login sea persistente y se reconecte en cada reinicio, debemos de ejecutar, iscsiadm -m node -T iqn.1991-05.com.microsoft:saniscsipve-iscsitarget1saniscsipve-target -p 10.10.2.4 -o update -n node.startup -v automatic y iscsiadm -m node -T iqn.1991-05.com.microsoft:saniscsipve-iscsitarget1saniscsipve-target -p 10.10.3.4 -o update -n node.startup -v automatic:

• Comprobamos que ambos caminos están activos con, iscsiadm -m session -P3:

• Si accedemos a nuestra cabina SAN iSCSI, podemos ver, que ya tenemos los discos, en este caso, las LUNs conectadas:

• Ejecutamos en cada nodo, ls -l /dev/disk/by-path | grep 10.10 y como vemos la LUN0 tiene dos caminos, por 10.10.2.4 que aparece como /sdc y por 10.10.3.4 que aparece como /sde, la LUN1 tiene dos caminos, por 10.10.2.4 que aparece como /sdd y por 10.10.3.4 que aparece como /sdf:

• Ahora, Multipath se basa en el WWID único de cada LUN, para obtenerlo ejecutamos:
• Para LUN0, /lib/udev/scsi_id -g -u -d /dev/sdc y /lib/udev/scsi_id -g -u -d /dev/sde, ambos deben devolver el mismo WWID:

• Para LUN1, /lib/udev/scsi_id -g -u -d /dev/sdd y /lib/udev/scsi_id -g -u -d /dev/sdf, ambos deben devolver el mismo WWID:

• Añadimos el WWID de cada LUN para que multipath lo gestione.
• Para LUN0, multipath -a 360003ff44dc75adcbda106c1b22f4b5b
• Para LUN1, multipath -a 360003ff44dc75adc922dc286607e2e6f

• Recargamos multipath con multipath -r:

• Verificamos multipath con multipath -ll, esto significa que multipath creó un dispositivo /dev/dm-0 que representa a la LUN0, y dentro están los dos caminos activos (sdc y sde), y otro dispositivo /dev/dm-1 que representa a la LUN1, y dentro están los dos caminos activos (sdd y sdf):

• Si ejecutamos ls -l /dev/mapper/ vemos lo siguiente:
• 360003ff44dc75adc922dc286607e2e6f, es el WWID de la LUN1.
• 360003ff44dc75adcbda106c1b22f4b5b, es el WWID de la LUN0.
• Ambos son enlaces simbólicos a los dispositivos multipath , /dev/dm-0 y /dev/dm-1
• control, es el dispositivo de control interno de multipath.

• Ahora, la creación del Physical Volumen (PV) y Volume Group (VG), solo la vamos a hacer en un nodo, en este caso en el nodo 1, pvelab01.
• Para LUN0, pvcreate /dev/mapper/360003ff44dc75adcbda106c1b22f4b5b y vgcreate vg_iscsi0 /dev/mapper/360003ff44dc75adcbda106c1b22f4b5b
• Para LUN1, pvcreate /dev/mapper/360003ff44dc75adc922dc286607e2e6f y vgcreate vg_iscsi1 /dev/mapper/360003ff44dc75adc922dc286607e2e6f

• Si accedemos a todos los nodos > Discos > LVM, vemos que se han creado los Volume Group:

• Para terminar, accedemos a Centro de datos > Almacenamiento > Agregar > LVM:

• Sobre General, le indicamos el ID, Almacenamiento de base, Grupo del volumen, Contenido, Nodos, Activar, Compartido (importante activar para las migraciones en vivo), Agregar, para agregar la LUN0:

• Agregamos también la otra LUN1:

• Como podemos ver en, Centro de datos > Almacenamiento, tenemos los dos datastores añadidos:

• Aquí vemos, que los tres nodos, ya disponen del almacenamiento compartido por iSCSI y con Multipath:

Saludos y espero que os sea de ayuda

En este post vamos a ver cómo preparar los servidores Proxmox VE 9.0 y la cabina SAN iSCSI para nuestra infraestructura virtualizada con Proxmox en un Cluster HA.

Recordamos la topología:

• Vamos a empezar viendo, como tenemos configurado nuestros tres nodos de proxmox, para la instalación, configuración de repositorios para las actualizaciones, configuración de networking, administración de usuarios, grupos, roles y permisos, conexión con Active Directory y unión a un dominio de Active Directory, hemos seguido los post anteriores en los que hemos hablado de todo esto, lo único que se ha ampliado es la parte de networking, que la vamos a explicar ahora.
• Como podemos ver tenemos estos tres nodos proxmox:

• La configuración de networking, es la siguiente en los tres nodos, como podemos ver, tenemos un bond (bond0) en modo balance-alb que utiliza dos interfaces de red (ens192 y ens224), este bond es el que utilizamos en el Linux Bridge (vmbr0) para Management y las máquinas virtuales, tenemos una interface de red dedicada a la comunicación interna de los nodos (ens256), una interface de red dedicada para iSCSIA (ens161) y otra interface de red dedicada para iSCSIB (ens193), en estas redes iSCSI configuraremos el multipath:

• Para la cabina SAN iSCSI hemos montado un Windows Server 2025 Standard y le hemos desplegado el rol de Servidor de destino iSCSI, en este link de este mismo blog podéis ver como se despliega y configura:

• Como podemos ver, hemos configurado dos LUNs de 500 GB cada una, sobre el mismo target o portal iqn, y le hemos añadido las IPs de los tres nodos de proxmox para iSCSIA y iSCSIB:

Saludos y espero que os sea de ayuda

En este post vamos a ver como configurar el almacenamiento iSCSI para nuestra infraestructura de virtualización con VMware vSphere 6.7, la cabina de almacenamiento iSCSI la hemos montado sobre un Windows Server 2019 Standard, en este post del blog puedes seguir como montarlo, SAN iSCSI en MS Windows Server 2019.

• Algunos de los conceptos básicos sobre almacenamiento en VMware vSphere:
• Tiene un papel muy importante en una infraestructura virtualizada, por no decir, el más importante.
• Puede ser local o externo como SAN o NAS.
• Las máquinas virtuales pueden estar en almacenamiento VMFS (sistema de ficheros preparado para cluster), NFS o discos RAW.
• El almacenamiento compartido es necesario para funcionalidades esenciales.
• Los protocolos de almacenamiento que utiliza VMware vSphere son:
• A nivel de bloques: FC, FCoE, iSCSI
• A nivel de ficheros: NFS
• Hemos configurado el networking para multipath con dos redes: 10.10.10.0/24 (ISCSIA) y 10.10.11.0/24 (ISCSIB) por lo que tenemos direccionamientos diferentes con medios dedicados Gigabit Ethernet.

• Una vez que ya tenemos configurado el almacenamiento compartido por iSCSI en nuestra cabina SAN iSCSI con Windows Server 2019, pasaremos a configurar los host ESXi para que utilicen este almacenamiento compartido.
• Aquí mostraremos la configuración de uno de ellos ya que el segundo se configuraría de la misma manera.
• Lo primero que vamos a realizar será agregar el adaptador de software iSCSI, para ello, accedemos a Configurar > Almacenamiento > Adaptadores de almacenamiento > Agregar adaptador de software:

• Marcamos el check Agregar adaptador iSCSI de software y aceptamos:

• Como podemos ver ya lo tenemos agregado:

• Le configuramos un alias al portal de iSCSI, en Propiedades > Editar:

• Ahora vamos a agregar los puertos de red para iSCSI que configuramos anteriormente, en el post dedicado al networking, accedemos a Enlace de puertos de red > Agregar:

• Seleccionamos los dos port group y aceptamos:

• Nos indica que debemos volver a examinar el adaptador de iscsi:

• Ahora vamos a agregar los enlaces a la cabina de almacenamiento iSCSI, accedemos a Detección dinámica > Agregar:

• Agregamos el primer enlace a nuestra cabina SANISCSI, este es el enlace iSCSIA, podemos indicar la dirección IP o el nombre FQDN si lo tenemos configurado en nuestro servidor DNS, en este caso, vamos a poner la dirección IP:

• Agregamos el segundo enlace a nuestra cabina SANISCSI, este es el enlace iSCSIB, podemos indicar la dirección IP o el nombre FQDN si lo tenemos configurado en nuestro servidor DNS, en este caso, vamos a poner la dirección IP:

• Nos indica que debemos volver a examinar el adaptador de iscsi:

• Una vez configurados los enlaces hasta nuestra cabina de almacenamiento iSCSI, si accedemos a Dispositivos, podemos ver las LUNs que nuestra cabina iSCSI le está presentando al host ESXi, en este caso, sólo tenemos una LUN de 500 GB:

• Yo siempre acostumbro a nombrar las LUNs con el mismo nombre que le voy a dar al Datastore, siempre que asocie LUN a Datastore, si vamos a montar dos LUNs en un único Datastore, esta nomenclatura ya no sería correcta, la nomenclatura utilizada para nombrar los Datastore utilizo la siguiente, Tipo de disco (SATA, SAS, SSD…), Número (01, 02, 03…), Nombre cabina almacenamiento:

• Aquí lo podemos ver renombrado:

• Como podemos ver, ya tenemos activos los dos caminos a nuestro almacenamiento compartido por iSCSI:

• Con el segundo host de nuestra infraestructura tenemos que realizar la misma configuración:

• Ahora, nos quedaría agregar y configurar el/los Datastores a los hosts ESXi, para ello, damos clic derecho sobre el Datacenter, Cluster o host > Almacenamiento > Nuevo almacén de datos:

• Se nos abrirá este asistente, y en Tipo, marcamos el check VMFS, ya que esta LUN la vamos a formatear con el sistema de ficheros preparado para trabajar en clúster de VMware:

• Le asignamos un nombre al Datastore, seleccionamos uno de los hosts ESXi y seleccionamos la LUN:

• Seleccionamos VMFS 6 como versión del sistema de ficheros:

• Utilizamos la LUN completa para crear el Datastore:

• Nos muestra un resumen y finalizamos:

• Aquí podemos ver el nuevo Datastore creado y configurado sobre los dos hosts ESXi:

• Una vez que hemos agregado y configurado los Datastore, vamos a configurar los algoritmos de multipathing, estos algoritmos se van a encargar de proporcionar múltiples rutas y balanceo de carga en nuestra red de almacenamiento, se configuran en cada Datastore y por host ESXi, para ello, accedemos a Almacenamiento > DATASTORE > Configurar > Conectividad y habilitación de múltiples rutas > Seleccionamos el host ESXi > Editar múltiples rutas:

• Tenemos tres tipos de algoritmos para multipathing:
• Fijo (VMware), el host ESXi sólo va a utilizar una ruta preferida al Datastore, es decir, tendremos una ruta activa y si esta cae, se utilizará otra de las rutas disponibles, en esta opción tenemos Failover pero NO tenemos Balanceo de carga, la ruta Activa se va a marcar como Activo (E/S) y la ruta en Espera se va a marcar como Activo:

• Utilizadas recientemente (VMware), el host ESXi va a utilizar la ruta más reciente para el acceso al Datastore, hasta que esta ruta esté disponible, en caso de fallo, se utilizará otra de las rutas disponibles, en esta opción tenemos Failover pero NO tenemos Balanceo de carga, la ruta Activa se va a marcar como Activo (E/S) y la ruta en Espera se va a marcar como Activo:

• Round Robin (VMware), el host ESXi va a utilizar todas las rutas disponibles para el acceso al Datastore, con este algoritmo, tendremos, por tanto, Failover y Balanceo de carga, como podemos ver todas las rutas se marcan como Activo (E/S), este será el algoritmo que vamos a configurar en nuestra infraestructura, es decir, en todos nuestros LUNs-Hosts:

• Aquí podemos ver todos nuestros LUNs-Hosts, configurados con el algoritmo de multipathing Round Robin:

Saludos y espero que os resulte de ayuda