Transcripción al español de un fragmento de “Surprise AMA 11/26/2023”
Del minuto 01:37:35 al 01:42:50 del video original
Publicado en el canal de Youtube de Charles Hoskinson el 26 de Noviembre de 2023
Enlace a la versión doblada al español
¿Cuándo ves que tendrá lugar Singularity?
Probablemente en los próximos 5 a 10 años al ritmo actual de progreso Si observas los LLMs , lo que tienes con los LLMs es realmente un enfoque escalonado en términos de mejora de capacidades. Así que lo primero que tienes que hacer es entrenar la Red Transformer. Tienes que entrenar los Transformers contra conjuntos enormes de datos, lo que lleva de seis a 12 meses y un enorme clúster de tarjetas gráficas Nvidia H100 que se calientan mucho, biles de millones de dólares gastados en electricidad para hacerlo. Tenés que comprar billones de dólares en equipos. Una vez que terminas, tienes un modelo y tendrá parámetros, como la cantidad de neuronas en él, la cantidad de Transformers que tiene en su interior, y puede ser de 60 o 100 billones, o lo que sea. Y de hecho, estamos empezando a pasar a modelos de múltiples trillones de parámetros. Cuanto más grande sea el modelo, más cara será la inferencia para ese modelo. Entonces, si tienes un modelo con muchos parámetros, podrías tener una situación en la que ejecutar una consulta contra él requiere mucho esfuerzo y mucha potencia de GPU. Hay un equilibrio entre el tamaño de los parámetros y el costo de la inferencia. Ahora hay un nuevo tipo de hardware que está siendo desarrollado por empresas como Rain AI, rain como el agua, no cerebro, rain AI y otro llamado Neuromorphic Computing, donde están construyendo memorias que son idealizadas para este tipo de cálculos, no solo máquinas gigantes de álgebra lineal como GPUs, sino cosas diseñadas específicamente para inferencia y entrenamiento, y son alrededor de mil veces más eficientes energéticamente. Esto significa que puedes hacer algo que requeriría un kilovatio con solo un vatio con una computadora neuromórfica. Estas entrarán al mercado en los próximos dos a cuatro años y serán un cambio de juego en ese primer paso. Pero también necesitas datos y algo llamado RHF. Los datos son bastante autoexplicativos. El problema es que hay todos estos casos particulares, especialmente en visión por computadora y otras cosas. Entonces, si eres como Tesla, ¿con qué frecuencia tienes un camión semirremolque conduciendo en una carretera helada, explotando sus neumáticos delanteros y rodando para luego incendiarse justo frente a ti? Eso no lo tendrás en tu conjunto de entrenamiento, pero podría suceder. ¿Qué hace tu sistema de visión por computadora cuando ocurre un evento así? ¿Y si pudieras simular eso? Se llama datos sintéticos, y hay nuevas empresas que se están formando que están creando datos sintéticos y básicamente te permiten imaginar o simular eventos que son raros o únicos y agregarlos a tu conjunto de entrenamiento, y básicamente eso es tan bueno como la cosa real con respecto al entrenamiento de un gran modelo de lenguaje. Los datos sintéticos ya están aquí, están mejorando mucho, resulta que puedes usar los LLM para hacer datos sintéticos, cada vez que avanzas en LLM tus datos sintéticos mejoran, y luego lo puedes usar para entrenar el próximo LLM. Ahora, RHF, el aprendizaje por refuerzo con retroalimentación humana, es el esfuerzo más consumidor de tiempo. Es donde un grupo de personas se sienta, como un mecánico, e interactúa con el gran modelo de lenguaje y lo ajusta para que puedas tener una experiencia estilo ChatGPT, haces una pregunta y te da una respuesta. También es el paso de alineación donde ajustas para que no te diga cómo hacer armas químicas y cosas así. Bueno, las personas están explorando cómo quitar la H de RHF y tener RL AIF, donde realmente tienes inteligencia artificial entrenando y ajustando la IA. Por ejemplo, OpenAI escribió algo llamado la “Constitución de la IA” y realmente lo usan como una noción de cómo alinean y entrenan a Claud, que es su LLM. Hay enormes avances en la sustitución de RHF por inteligencia artificial y en hacer RAIF. También hay grandes avances en el lado de los datos sintéticos y en el cómputo neuromórfico, estos son los tres pilares, entre otras cosas, como técnicas de ingeniería de indicaciones y muchas ideas de agentes cognitivos que la gente está ideando, dándoles la capacidad de perseguir un objetivo a largo plazo y tener memoria a largo plazo y también hacer dinámico el espacio de tokens según la tarea. Estas son las bases de las chispas de la AGI, y todas están en el horizonte cercano, lo que significa que tendremos mejoras de órdenes de magnitud en 2 a 4 años. Y también, en el mundo de código abierto, la gente está creando todo tipo de arquitecturas cognitivas y agentes cognitivos que están dando vueltas. Entonces, todos estos elementos juntos, mézclalos con una alta competencia, incluso en el mercado de USA, con modelos de código abierto y cerrado, llegaremos a un punto en el que los LLM podrán replicar, desde una perspectiva de inteligencia, lo que podemos hacer y hacerlo a una escala que no podríamos imaginar, y emular personas, lo que significa que puedes empezar a reemplazar personal con estas cosas y pasar a un modo paralelo, y de repente una sola persona puede tener una organización de 10,000 personas que es bastante creativa y capaz, y se autoaprueba. Así que creo que Singularity probablemente esté a 5 o 10 años, dadas esas mejoras: cómputo neuromórfico, datos sintéticos y RLAIF.
¿Cómo va eso como respuesta?