La startup LLM de Kai-Fu Lee de mil millones de dólares presenta un modelo de código abierto

Kai-Fu Lee, el informático conocido en Occidente por sus libros más vendidos Superpoderes de la IA Y en China, para sus apuestas por los unicornios de inteligencia artificial, tiene un nuevo proyecto y una gran ambición.

A finales de marzo, Lee lanzó una empresa llamada… 01.AI Con la visión de desarrollar un gran modelo lingüístico a nivel local para el mercado chino. El proyecto lo pone en competencia con otros destacados líderes tecnológicos chinos, incluido el fundador de Sogou, Wang Xiaochuan, quien ha estado reuniendo rápidamente talento y capital de riesgo para crear equivalentes chinos de OpenAI.

«Creo que la necesidad es la madre de la innovación, y claramente hay una gran necesidad en China», dijo a TechCrunch Li, que tiene 61 años y dirige 01.AI como director ejecutivo, en una entrevista, explicando la motivación detrás de iniciar la empresa. «A diferencia del resto del mundo, China no tiene acceso a OpenAI y Google porque esas dos compañías no han puesto sus productos a disposición en China, por lo que creo que muchos MBA están tratando de hacer su parte para encontrar una solución para el mercado. Esto realmente necesita esto”.

01.El crecimiento de la inteligencia artificial es un reflejo adecuado del rápido desarrollo en el campo de la inteligencia artificial generativa. Siete meses después de su fundación, la startup lanzó su primer prototipo, que es de código abierto. YE-34B. La decisión de ofrecer un LLM abierto como su primer producto es una forma de “retribuir” a la comunidad, dijo Lee. Para las personas que sintieron que LLaMA era una «recompensa del cielo», «les hemos dado una alternativa convincente», añadió.

Al momento de escribir este artículo, Yi-34B, un modelo base bilingüe (inglés y chino) ha sido entrenado con 34 mil millones de parámetros y es mucho más pequeño que otros modelos abiertos como Falcon-180B y Meta LlaMa2-70B. Ocupó el primer lugar entre los modelos LLM previamente entrenados, Según la clasificación de Hugging Face.

“Seguimos creyendo que los modelos más grandes, cuando se entrenan bien, con una gran cantidad de datos de alta calidad, siempre superarán significativamente a los modelos más pequeños de calidad y tecnología similares, así que creo que [Yi-34B] «Superar a los modelos más grandes es algo que normalmente no vemos», dijo Lee. «Estamos muy seguros de que hemos lanzado modelos por un valor de entre 100.000 y 400.000 millones de dólares durante el próximo año o año y medio, y esos modelos serán dramáticamente mejores que el modelo actual que anunciamos».

La capacidad de la startup para comenzar rápidamente la capacitación modular es sin duda el resultado de una recaudación de fondos fluida, que es crucial para asegurar talentos de primer nivel y magos de la IA. Si bien se negó a revelar la cantidad recaudada por 01.AI, Li dijo que estaba valorada en mil millones de dólares después de recibir financiación de Sinovation Ventures, Alibaba Cloud y otros inversores no revelados.

01.AI ya ha crecido hasta contar con más de 100 empleados, más de la mitad de los cuales son expertos en LLM de importantes empresas tecnológicas multinacionales y chinas. Su vicepresidente de tecnología, por ejemplo, es uno de los primeros miembros de Bard de Google, y su ingeniero jefe fue miembro fundador de TensorFlow y trabajó junto a investigadores famosos como Jeff Dean y Samy Bengio en Google Brain. Las figuras clave detrás del Yi-34B son Wenhao Huang, un veterano de Microsoft Research en Asia, y Ethan Dai, que ocupó altos cargos de IA en Huawei y Alibaba.

Habiendo respaldado a más de una docena de unicornios y creado siete empresas a través de Sinovation Ventures, Lee es quizás uno de los inversores y empresarios mejor conectados de China.

«Han pasado más de 25 años desde que se fundó Microsoft Research Asia, y todo lo que he hecho ha sido conseguir talento absolutamente fantástico», dijo Lee, quien lanzó Microsoft Research Asia, el mayor centro de investigación en el extranjero del gigante estadounidense. Antes de que Google liderara China. A lo largo de los años, Microsoft Research Asia se ha ganado la reputación de ser el “Punto Oeste” para nutrir a los emprendedores de IA en China.

«Ahora, por supuesto, uno quiere pagar a los trabajadores de manera justa y necesita ser competitivo en los salarios, pero realmente creo que también se trata de que la gente crea que puede marcar la diferencia y que la empresa pueda tener éxito», dijo Lee, quien apareció en el espectáculo.» Videollamada a las 9:30 p. m., hora de Beijing. Sus empleados también se motivaron. Uno de los expertos en infraestructura de la startup estuvo trabajando hasta bien entrada la madrugada de ese día y todavía enviaba mensajes a Lee a las 2:15 a. m. expresando su entusiasmo por ser parte de la misión 01.AI.

No es ningún secreto que crear un LLM es una tarea costosa. Para mantener sus operaciones con uso intensivo de efectivo, 01.AI cuenta con planes de monetización desde el principio. Si bien la compañía continuará abriendo el código fuente de algunos de sus modelos, su objetivo es construir un modelo patentado de vanguardia que sirva como base para una variedad de productos comerciales.

«nosotros «No se puede abrir todo con código abierto», me dijo. «Éramos muy conscientes del hecho de que estos grandes modelos de lenguaje requieren una gran cantidad de computación y, por lo tanto, son costosos. Cuando recaudamos mucho dinero, la mayor parte se gastará en la GPU. Teniendo en cuenta eso, primero necesitábamos obtener la mayor cantidad posible de recursos». tanta GPU como sea posible. Lo cual hicimos.

Al igual que otros actores de LLM en China, 01.AI ha almacenado GPU de forma proactiva en previsión de las sanciones de Estados Unidos; Pidió dinero prestado para comprar procesadores incluso antes de obtener financiación. Durante el año pasado, la administración Biden endureció las restricciones al acceso de China a chips de inteligencia artificial avanzados. Esto llevó a las empresas chinas a pagar precios inflados por los chips.. La previsión se ha visto recompensada: 01.AI ya dispone de suministros suficientes Al menos durante los próximos 12 a 18 meses.

Además de causar dolores de cabeza a las empresas chinas, las sanciones estadounidenses han sido un catalizador para la innovación al alentarlas a hacer un uso óptimo de la potencia informática. “Con un equipo de infraestructura de alta calidad, por cada 1000 GPU, podríamos extraer 2000 GPU de ellas”, dijo Lee.

01. El camino de la IA hacia la monetización depende en gran medida de su capacidad para encontrar un mercado de productos adecuado para los costosos modelos de IA. Aunque son escasos los académicos destacados en LLM, no hay escasez de talento productivo en China.

«China no está por delante de Estados Unidos en el ámbito de los MBA, pero no hay duda de que China es capaz de crear mejores aplicaciones que los desarrolladores estadounidenses, principalmente debido al enorme ecosistema de Internet móvil que se ha construido a lo largo de los años», afirmó Li. «Los últimos 12 años más o menos.»

Si bien el fundador no proporcionó ningún detalle sobre los servicios en proceso, sí insinuó que la compañía está experimentando con conceptos de productividad y tendencias sociales, y que estaría «decepcionado» si 01.AI no lanza una aplicación. dentro de este calendario. año.

El objetivo final de la startup, según Lee, es convertirse en un ecosistema donde los desarrolladores externos puedan crear aplicaciones fácilmente. «El deber no es sólo publicar buenos modelos de investigación, sino más importante aún, facilitar el desarrollo de aplicaciones para que haya aplicaciones convincentes», afirmó. «Al final del día. Es un juego de ecosistema. El tiempo dirá si los esfuerzos de Lee en IA darán sus frutos.