En el Laboratorio Nacional de Los Álamos, un equipo ha desarrollado un algoritmo de aprendizaje automático que permite a las computadoras procesar conjuntos masivos de datos que superan ampliamente la memoria disponible. Este algoritmo identifica las características clave de los datos y los divide en lotes más pequeños y manejables para evitar problemas de hardware.
Durante una prueba realizada en Summit, la quinta supercomputadora más rápida del mundo ubicada en el Laboratorio Nacional de Oak Ridge en Estados Unidos, este algoritmo batió un récord mundial al procesar enormes conjuntos de datos. Lo interesante es que este algoritmo es igualmente eficiente tanto en una supercomputadora como en un ordenador portátil.
El objetivo de este algoritmo es resolver los problemas de hardware que dificultan el procesamiento de grandes cantidades de datos en aplicaciones como la investigación del cáncer, el análisis de imágenes satelitales, el procesamiento de datos de redes sociales a gran escala, el estudio de terremotos y la seguridad nacional, entre otros.
El equipo liderado por Ismael Boureima del Laboratorio Nacional de Los Álamos ha sido responsable de desarrollar este algoritmo. Manish Bhattarai, especialista en aprendizaje automático y miembro del equipo de investigación y desarrollo, explica que “cuando el volumen de datos supera la memoria disponible, nuestro algoritmo divide los datos en segmentos más pequeños y los procesa de manera eficiente”.
En una ejecución récord, el algoritmo procesó una matriz densa de 340 terabytes y una matriz dispersa de 11 exabytes utilizando solo 25.000 GPUs. Los detalles técnicos de este algoritmo y su funcionamiento se encuentran en la revista académica The Journal of Supercomputing bajo el título “Distributed Out-of-Memory NMF on CPU/GPU Architectures”.
Fuente: NCYT de Amazings
