Centro Extremeño de Tecnologías Avanzadas

Computación en la nube

Detalles: Publicado el 07 Octubre 2013

La computación en la nube (del inglés Cloud Computing) permite ofrecer recursos bajo demanda a los usuarios que lo necesiten y de esta forma cubrir las necesidades que los investigadores y grupos científicos necesitan.

CETA-Ciemat inició su camino en el mundo de Cloud a principios de 2011, desplegando un piloto de Cloud que utilizaba OpenNebula. A finales de 2011 se llevó a cabo un estudio de rendimiento de la plataforma a la hora de desplegar máquinas, simulando diferentes tipos de carga, estudio que culminó además la presentación de un Trabajo Fin de Máster.

Posteriormente, se inició un estudio similar con OpenStack, enfocado a lo que se conoce como IaaS (del inglés Infrastructure as a Service, cuyo significado es Infraestructura como Servicio) con la finalidad de poder proporcionar las máquinas que puedan necesitar los grupos científicos e investigadores actuales. Actualmente tanto la Cloud de pruebas, como la de producción están desplegadas sobre OpenStack, cuyo software es libre y de código abierto.

Además, actualmente el CETA-Ciemat forma parte de diferentes redes e iniciativas orientadas a facilitar el acceso a los recursos a grupos, países e instituciones que los necesitan.

Las máquinas físicas utilizadas para desplegar una infraestructura Cloud pueden ser heterogéneas, siendo este punto totalmente transparente para los usuarios de la misma, ya que de forma virtual pueden definirse cuantas máquinas se deseen y con las capacidades que cada aplicación concreta requiera.

CETA-Ciemat provee servicio en las tres categorías de computación cloud:

IaaS o Infraestructuras como servicio (del inglés, Infrastructure as a Service): Se provee infraestructura de computación, para facilitar el acceso a máquinas y otros recursos de forma directa.
SaaS o Aplicaciones como servicio (del inglés, Software as a Service): Facilitando el acceso directo a aplicaciones, incluso directamente desde el navegador, sin que el cliente tenga que tener la aplicación y/o licencia en su máquina local. Esto facilita el trabajo a muchos usuarios cuyos recursos locales no son los suficientes para ejecutar aplicaciones que requieren de una máquina potente.
PaaS o Plataforma como servicio (del inglés, Platform as a Service): Facilitando el acceso a plataformas de computación preparadas para un fin específico, como podría ser un entorno de desarrollo, un simple servidor web o similar.

Los rápidos avances de cloud computing presentan actualmente importantes oportunidades para HPC y computación de Bigdata. Administradores de sistemas HPC y Bigdata pueden hacer uso de los beneficios de un modelo cloud para crear clusters tradicionales de HPC y Bigdata e incorporarles las ventajas de un sistema cloud.

Gracias a la infraestructura IAAS del CETA-Ciemat, un administrador de sistemas de una universidad, empresa o centro de investigación, podrá habilitar un cluster HPC y Bigdata con la capacidad de incrementar dinámicamente los recursos de computo cuando las necesidades lo requieran y así hacerlo accesible a una comunidad mas amplia. El uso de recursos cloud por parte de administradores les facilitará:

La instalación de un cluster personalizado configurando el sistema operativo, el planificador de trabajos, los compiladores y las librerías.
La creación de clusters específicos destinados a organizaciones de usuarios con distintas necesidades.
La elasticidad de un cluster a la hora de aumentar o disminuir sus recursos asignados.

Información técnica resumida
Esquema de información técnica detallada

14 nodos con las siguientes características

Procesador

2 x 4-Core Intel® Xeon® E5430 @ 2.66GHz

Memoria

16 GBytes

Sistema operativo

CentOS release 6.4

Almacenamiento compartido

Efímero: Netapp (1 TB)
Persistente: Netapp (1,5 TB)
Snapshots: Netapp 500 GB

Conectividad

Ethernet (1 Gbps)

Clúster de computación GPGPU

Detalles: Publicado el 06 Octubre 2013

GPU son las siglas de "Graphics Processing Unit", término con el que se denomina técnicamente a las tarjetas gráficas. Utilizar el potencial de supercomputación con el que cuenta la GPU para resolver cálculos ha supuesto una revolución en los ámbitos científico y empresarial, pudiendo resolver problemas complejos en mucho menor tiempo.

En 2010 CETA-Ciemat fue un centro pionero al hacer una fuerte inversión en computación GPGPU (General Purpose Graphics Processing Unit – Unidad de procesamiento gráfico de propósito general). Si una sola GPU ya ofrece un potencial increíble, un cluster equipado con esta tecnología abre incluso la puerta a problemas científicos que antes no era posible plantear resolverlos.

A mediados de 2012, CETA-Ciemat ha sido reconocida como GPU Research Center, mención otorgada a aquellos centros cuyas investigaciones en el ámbito de las GPUs son relevantes a nivel mundial. Actualmente sólo existen 4 GPU Research Centers en España y unos 70 en todo el mundo.

El cluster de GPUs está abierto a los usuarios y actualmente es utilizado por investigadores de más de 40 grupos e instituciones de investigación de todo el mundo. Estos investigadores utilizan el cluster con diferentes propósitos, donde el CETA provee soporte CUDA, soporte con el envío y paralelización de trabajos. Entre estos proyectos destacan los siguientes:

Dinámica molecular, utilizando especialmente GROMACS & LAMMPS, para descubrimiento de nuevos fármacos (entre otras aplicaciones)
Procesamiento de imágenes, llevando a cabo procesamiento en tiempo real de imágenes hiperespectrales, para ayudar en la detección de diferentes tipos de objetivos como agentes contaminantes en agua y aire, detección de incendios, etc.
Análisis numérico y resolución de sistemas de ecuaciones lineales, acelerando los cálculos de forma notable.
Imagen médica, procesando imágenes de resonancia magnética para llevar a cabo diferentes estudios enfocados a facilitar el diagnóstico de enfermedades como el cáncer de mama o tumores cerebrales.
Secuenciación genómica, para acelerar los complejos cálculos de análisis de las secuencias.
Astrofísica y simulación espacial, en proyectos financiados por la Agencia Espacial Europea
Fusión nuclear, acelerando los cálculos de predicción en la evolución de defectos en materiales irradiados
Visión por ordenador, para el desarrollo de algoritmos eficientes que permitan calcular la compensación de la distorsión visual.
Sistemas de información geográfica (SIG), dando soporte al desarrollo de Grass GIS como herramienta de código abierto, utilizando el procesamiento con GPUs para acelerar el procesamiento de mapas e imágenes.

Cuando un usuario se conecta al sistema a través del nodo de acceso a la infraestructura HPC, puede enviar trabajos desde su carpeta de usuario a cualquiera de los recursos disponibles para todo el entorno de trabajo de supercomputación. De esta forma se facilita a los usuarios la posibilidad de evaluar diferentes plataformas de supercomputación.

El gestor de recursos utilizado es SLURM (Simple Linux Utility for Resource Management), el cual siendo totalmente libre y de código abierto, es uno de los más utilizados en supercomputadores más potentes del mundo.

Información técnica resumida
Esquema de información técnica detallada

Total

100.000 cores GPU aproximadamente, desglosados en:

1 nodo de login R425E2 con TESLA K20 (1 K20 por nodo)
22 nodos R422E2 con TESLA S1070 (2 C1060 por nodo)
16 nodos R422E2 con TESLA S2050 (2 C2050 por nodo)
16 nodos R424E2 con TESLA S2070 (2 M2075 por nodo)
8 nodos R421E3 con TESLA K80 (1 K80 por nodo)