Nvidia permite el procesamiento de IA en PC con Windows con GPU RTX

En un hito para la informática personal, Nvidia está permitiendo una mejor IA en las PC al permitir el procesamiento generativo de IA en PC con Windows utilizando unidades de procesamiento de gráficos (GPU) basadas en RTX.

El año pasado, la IA generativa surgió como una tendencia transformadora. Con su rápido crecimiento y accesibilidad cada vez mayor, los consumidores ahora cuentan con interfaces simplificadas y herramientas fáciles de usar que aprovechan el poder de la inteligencia artificial optimizada para GPU, el aprendizaje automático y el software de computación de alto rendimiento (HPC).

Nvidia ha hecho realidad esta revolución de la IA en centros de datos con muchas GPU y ahora está llevando GPU basadas en RTX a más de 100 millones de PC con Windows en todo el mundo. La integración de la IA en las aplicaciones centrales de Windows es un viaje de cinco años, con procesadores de IA dedicados llamados Tensor Cores, que se encuentran en las GPU GeForce RTX y Nvidia RTX, que integran capacidades de IA en las PC y estaciones de trabajo con Windows.

Jesse Clayton, director de gestión de productos y marketing de productos para Windows AI en Nvidia, dijo en una entrevista con GamesBeat que estamos en un gran momento.

“Para la IA en las PC, creemos que es uno de los momentos más importantes en la historia de la tecnología. No creo que sea exagerado decir que la IA ofrece nuevas experiencias: para jugadores, creadores, transmisores de vídeo, trabajadores de oficina, estudiantes e incluso usuarios ocasionales de PC. Desbloquea la creatividad. Y hace que sea más fácil para todos hacer más. La IA está integrada en todas las aplicaciones críticas. Y afecta a todos los usuarios de PC. Realmente cambia fundamentalmente la forma en que la gente usa las computadoras.

Los centros de datos fueron notificados previamente, TensorRT-LLM, una biblioteca de código abierto diseñada para acelerar el rendimiento de inferencia para modelos de lenguaje grandes (LLM), ahora está llegando a Windows. Esta biblioteca, optimizada para GPU Nvidia RTX, puede mejorar hasta cuatro veces el rendimiento de LLM recientes como Llama 2 y Code Llama.

Además, Nvidia ha lanzado herramientas para ayudar a los desarrolladores a acelerar sus LLM, incluidos scripts que permiten la compatibilidad con TensorRT-LLM, modelos de código abierto optimizados para TensorRT y un proyecto de referencia para desarrolladores que demuestra la velocidad y la calidad de las respuestas de LLM.

«Lo que mucha gente no se da cuenta es que los casos de uso de la IA en la informática ya están firmemente establecidos. Nvidia comenzó esto hace cinco años en 2018», dijo Clayton. Creímos que eso sería importante. Entonces, con la introducción de las llamadas GPU RTX, también introdujimos la tecnología de inteligencia artificial para juegos.

Demostración de spread fijo

TensorRT Acceleration está integrado con Static Diffusion, una interfaz de usuario web popular de la distribución Automatic1111.

La extensión estándar toma una línea de texto y crea una imagen basada en ella. Los creadores los utilizan para crear obras de arte increíbles. Pero recuperar cada imagen requiere tiempo y recursos informáticos. Eso significa que tienes que esperar a que se complete. Las últimas GPU de Nvidia pueden duplicar el rendimiento en una distribución estándar con respecto a implementaciones anteriores y más de siete veces más rápido que los últimos chips de Apple. Entonces, una máquina con una tarjeta gráfica GeForce RTX 4090 puede producir 15 imágenes con una distribución constante en el tiempo que le toma a una máquina Apple hacer dos.

DLSS se basa en una investigación de gráficos en la que la IA toma una imagen de baja resolución y la escala a una resolución más alta, aumentando la velocidad de cuadros y ayudando a los jugadores a obtener más valor de sus GPU. Los desarrolladores de juegos también pueden agregar más arte visual a sus juegos. Ahora hay más de 300 juegos DLSS y Nvidia acaba de lanzar la versión 3.5 de la tecnología.

«La IA generativa ha llegado a un punto en el que abre toda una nueva clase de casos de uso con oportunidades para llevar la IA de PC a la corriente principal», afirmó Clayton. “Así, los jugadores disfrutarán de avatares impulsados ​​por IA. Los trabajadores de oficina y los estudiantes utilizan modelos de lenguaje grandes, o LLM, para dibujar documentos y diapositivas y extraer rápidamente información a partir de datos CSV. Los desarrolladores utilizan LLM para ayudar con la codificación y la depuración. Y todos los días, los usuarios utilizarán los LLM para hacer de todo, desde hojear contenido web hasta planificar un viaje y, finalmente, utilizar la IA como asistente digital.

Súper resolución de vídeo

Además, el lanzamiento de RTX Video Super Resolution (VSR) versión 1.5 como parte del controlador Game Ready mejora aún más las capacidades impulsadas por IA. VSR mejora la calidad del contenido de video transmitido al reducir los artefactos de compresión, afinar los bordes y mejorar los detalles. La última versión de VSR ofrece una calidad visual aún mejor con modelos mejorados, contenido sin artefactos reproducido en resolución nativa y compatibilidad con GPU profesionales de la serie RTX y GeForce RTX 20 basadas en la arquitectura Turing.

Esta tecnología se ha integrado en el último controlador Game Ready y se incluirá en el próximo controlador Nvidia Studio cuyo lanzamiento está previsto para principios de noviembre.

La combinación de la aceleración TensorRT-LLM y las capacidades LLM abre nuevas posibilidades en productividad, permitiendo que los LLM se ejecuten hasta cuatro veces más rápido en PC con Windows con tecnología RTX. Esta aceleración mejora la experiencia del usuario para casos de uso sofisticados de LLM, como asistentes de escritura y codificación que brindan múltiples resultados únicos de autocompletado a la vez.

Buscando a Alan Wake 2

La integración de TensorRT-LLM con otras tecnologías, como la generación aumentada de recuperación (RAG), permite a los LLM proporcionar respuestas específicas basadas en conjuntos de datos específicos.

Por ejemplo, cuando se le preguntó sobre las integraciones de la tecnología Nvidia en Alan Wake 2, el modelo LLaMa 2 respondió que el juego no se anunció inicialmente. Sin embargo, cuando se utilizó RAG con artículos de noticias recientes de GeForce, el modelo LLaMa 2 rápidamente proporcionó la respuesta correcta, mostrando la velocidad y eficiencia logradas con la aceleración TensorRT-LLM.

Si los datos ya existen en la nube y el modelo ya está entrenado con esos datos, tiene sentido desde el punto de vista arquitectónico ejecutarlo en la nube, dijo Clayton.

Sin embargo, si se trata de un conjunto de datos privado, o un conjunto de datos al que sólo usted tiene acceso, o el modelo no está entrenado en la nube, debe encontrar otra manera de hacerlo, dijo.

«Reentrenar modelos es un gran desafío desde una perspectiva computacional. Esto le permite hacerlo sin tener que seguir ese camino. Estoy pagando $20 al mes para usarlo ahora mismo. [AI services]. ¿Cuántos de estos servicios en la nube voy a pagar si puedo trabajar mucho localmente con una GPU potente?

Los desarrolladores interesados ​​en desarrollar TensorRT-LLM pueden descargarlo desde Nvidia Developer. Además, los modelos de código abierto optimizados para TensorRT y una demostración de RAG entrenada están disponibles en GeForce News en ngc.nvidia.com y GitHub.com/NVIDIA.

¿Competencia?

Competidores como Intel, Advanced Micro Devices, Qualcomm y Apple están utilizando tecnologías competitivas para mejorar la IA en PC y dispositivos inteligentes. Clayton dijo que estas soluciones son buenas para cargas de trabajo de IA livianas que funcionan con poca energía. Son similares a Table Stakes AI, dijo, y complementan lo que hacen las GPU de Nvidia.

Las GPU RTX tienen entre 20 y 100 veces el rendimiento de las CPU en cargas de trabajo de IA, razón por la cual la tecnología comienza con la GPU. La matemática en el corazón de la IA moderna es la multiplicación de matrices, y en el corazón de la plataforma de Nvidia se encuentran las GPU RTX con núcleos tensoriales diseñados para acelerar la multiplicación de matrices. Las GPU GeForce RTX actuales pueden calcular 1300 billones de operaciones de tensor por segundo, lo que las convierte en los aceleradores de IA para PC más rápidos.

«También representan la base instalada de hardware de IA dedicado más grande del mundo, con más de 100 millones de GPU para PC RTX en todo el mundo», dijo Clayton. «Por lo tanto, realmente tienen el rendimiento y la flexibilidad para asumir no sólo las tareas de hoy, sino también los casos de uso de la IA del mañana».

Su PC puede recurrir a la nube para cualquier tarea de IA que requiera demasiada GPU de su PC. Hoy en día, existen más de 400 aplicaciones y juegos para PC compatibles con IA.