Suenan humanos, pero no piensan como nosotros.<\/p>\n\n\n\n
Cuando interact\u00faas con un chatbot de IA como ChatGPT<\/a> , Claude<\/a> , Copilot<\/a> o Gemini<\/a> , puede parecer que est\u00e1s hablando con otra persona.<\/p>\n\n\n\n Pero estos chatbots en realidad no entienden el significado de las palabras como nosotros. M\u00e1s bien, son la forma en que interactuamos con lo que se conoce como grandes modelos de lenguaje o LLM. Esta tecnolog\u00eda subyacente est\u00e1 entrenada para reconocer c\u00f3mo se usan las palabras y cu\u00e1les aparecen juntas con frecuencia para poder predecir palabras, oraciones o p\u00e1rrafos futuros.<\/p>\n\n\n\n Las herramientas de IA generativa perfeccionan constantemente su comprensi\u00f3n de las palabras para hacer mejores predicciones. Algunos, incluidos Lumiere de Google<\/a> y Sora de OpenAI<\/a> , incluso est\u00e1n aprendiendo a generar im\u00e1genes, v\u00eddeos y audio.<\/p>\n\n\n\n Todo es parte de un flujo constante de superaci\u00f3n iniciado con la introducci\u00f3n de ChatGPT a fines de 2022, seguido de cerca a principios de 2023 por la llegada de la b\u00fasqueda Bing mejorada con inteligencia artificial de Microsoft y Bard (ahora Gemini) de Google. Durante los siguientes 12 meses, Microsoft present\u00f3 Copilot<\/a> , Meta actualiz\u00f3 Llama<\/a> , OpenAI lanz\u00f3 Dall-E 3<\/a> y GPT-4 Turbo<\/a> , Google anunci\u00f3 Gemini Ultra 1.0<\/a> y adelant\u00f3 Gemini 1.5 Pro<\/a> , mientras que Anthropic debut\u00f3 con Claude 3<\/a> . Ha llegado al punto en que empresas tecnol\u00f3gicas como Google y Adobe incluso est\u00e1n lanzando adelantos de herramientas que pueden generar juegos virtuales y m\u00fasica<\/a> para mostrar a los consumidores hacia d\u00f3nde se dirige la tecnolog\u00eda. <\/p>\n\n\n\n Podr\u00eda decirse que una tecnolog\u00eda de vanguardia como esta nunca ha sido tan accesible. Y las empresas que lo desarrollan est\u00e1n ansiosas por atraerlo a sus ecosistemas y reclamar sus derechos en un mercado que\u00a0se prev\u00e9 que tendr\u00e1 un valor de 1,3 billones de d\u00f3lares<\/a>\u00a0para 2032.<\/p>\n\n\n\n Si se pregunta qu\u00e9 tienen que ver los LLM con la IA, esta explicaci\u00f3n es para usted. Esto es lo que necesita saber sobre los LLM.<\/p>\n\n\n\n Puedes pensar en un modelo de lenguaje como un adivino de las palabras.<\/p>\n\n\n\n \u00abUn modelo de lenguaje es algo que intenta predecir c\u00f3mo se ve el lenguaje que producen los humanos\u00bb, dijo Mark Riedl, profesor de la Escuela de Computaci\u00f3n Interactiva de Georgia Tech y director asociado del Centro de Aprendizaje Autom\u00e1tico de Georgia Tech. \u00abLo que hace que algo sea un modelo de lenguaje es si puede predecir palabras futuras dadas las palabras anteriores\u00bb.<\/p>\n\n\n\n Esta es la base de la funci\u00f3n de autocompletar cuando env\u00eda mensajes de texto, as\u00ed como de los chatbots de IA.<\/p>\n\n\n\n Un modelo de lenguaje grande es, por definici\u00f3n, un modelo de lenguaje grande.<\/p>\n\n\n\n \u00bfCuan grande?<\/p>\n\n\n\n Estos modelos se miden en lo que se conoce como \u00abpar\u00e1metros\u00bb.<\/p>\n\n\n\n \u00bfQu\u00e9 es un par\u00e1metro?<\/p>\n\n\n\n Bueno, los LLM utilizan redes neuronales, que son modelos de aprendizaje autom\u00e1tico que toman una entrada y realizan c\u00e1lculos matem\u00e1ticos para producir una salida. El n\u00famero de variables en estos c\u00e1lculos son par\u00e1metros. Un modelo de lenguaje grande puede tener mil millones de par\u00e1metros o m\u00e1s.<\/p>\n\n\n\n \u00abSabemos que son grandes cuando producen un p\u00e1rrafo completo de texto fluido y coherente\u00bb, dijo Riedl.<\/p>\n\n\n\n Los LLM aprenden a trav\u00e9s de un proceso llamado aprendizaje profundo.<\/p>\n\n\n\n \u00abEs muy parecido a cuando le ense\u00f1as a un ni\u00f1o: le muestras muchos ejemplos\u00bb, dijo Jason Alan Snyder, director tecnol\u00f3gico global de la agencia de publicidad Momentum Worldwide.<\/p>\n\n\n\n En otras palabras, usted alimenta al LLM con una biblioteca de contenido (lo que se conoce como datos de capacitaci\u00f3n), como libros, art\u00edculos, c\u00f3digos y publicaciones en redes sociales para ayudarlo a comprender c\u00f3mo se usan las palabras en diferentes contextos, e incluso los matices m\u00e1s sutiles de idioma. <\/p>\n\n\n\n Durante este proceso, el modelo digiere mucho m\u00e1s de lo que una persona podr\u00eda leer en su vida: algo del orden de billones de tokens.<\/p>\n\n\n\n Los tokens ayudan a los modelos de IA a descomponer y procesar texto. Puedes pensar en un modelo de IA como un lector que necesita ayuda. El modelo divide una oraci\u00f3n en partes m\u00e1s peque\u00f1as, o fichas, que equivalen a cuatro caracteres en ingl\u00e9s, o alrededor de tres cuartos de una palabra, para que puedan entender cada parte y luego el significado general.<\/p>\n\n\n\n A partir de ah\u00ed, el LLM puede analizar c\u00f3mo se conectan las palabras y determinar qu\u00e9 palabras suelen aparecer juntas.<\/p>\n\n\n\n \u00abEs como construir este mapa gigante de relaciones entre palabras\u00bb, dijo Snyder. \u00abY luego comienza a ser capaz de hacer algo realmente divertido y genial, y predice cu\u00e1l es la siguiente palabra… y compara la predicci\u00f3n con la palabra real en los datos y ajusta el mapa interno en funci\u00f3n de su precisi\u00f3n\u00bb.<\/p>\n\n\n\n Esta predicci\u00f3n y ajuste ocurre miles de millones de veces, por lo que el LLM refina constantemente su comprensi\u00f3n del lenguaje y mejora en la identificaci\u00f3n de patrones y la predicci\u00f3n de palabras futuras. Incluso puede aprender conceptos y hechos a partir de los datos para responder preguntas, generar formatos de texto creativos y traducir idiomas. Pero no entienden el significado de las palabras como nosotros, s\u00f3lo las relaciones estad\u00edsticas.<\/p>\n\n\n\n Los LLM tambi\u00e9n aprenden a mejorar sus respuestas mediante el aprendizaje reforzado a partir de la retroalimentaci\u00f3n humana.<\/p>\n\n\n\n \u00abSe obtiene un juicio o una preferencia de los humanos sobre qu\u00e9 respuesta fue mejor dada la informaci\u00f3n que se les dio\u00bb, dijo Maarten Sap, profesor asistente en el Instituto de Tecnolog\u00edas del Lenguaje de Carnegie Mellon. \u00abY luego puedes ense\u00f1arle al modelo a mejorar sus respuestas\u00bb.<\/p>\n\n\n\n Dada una serie de palabras de entrada, un LLM puede predecir la siguiente palabra.<\/p>\n\n\n\n Por ejemplo, considere la frase \u00abFui a navegar en el azul profundo…\u00bb<\/p>\n\n\n\n La mayor\u00eda de la gente probablemente adivinar\u00eda \u00abmar\u00bb porque navegar, profundo y azul son palabras que asociamos con el mar. En otras palabras, cada palabra establece el contexto de lo que deber\u00eda venir a continuaci\u00f3n.<\/p>\n\n\n\n \u00abEstos grandes modelos de lenguaje, debido a que tienen muchos par\u00e1metros, pueden almacenar muchos patrones\u00bb, dijo Riedl. \u00abSon muy buenos para detectar estas pistas y hacer conjeturas muy, muy buenas sobre lo que viene a continuaci\u00f3n\u00bb.<\/p>\n\n\n\n Los LLM son muy buenos para descubrir la conexi\u00f3n entre palabras y producir texto que suene natural.<\/p>\n\n\n\n \u00abToman una entrada, que a menudo puede ser un conjunto de instrucciones, como ‘Haz esto por m\u00ed’ o ‘Cu\u00e9ntame sobre esto’ o ‘Resume esto’ y son capaces de extraer esos patrones de la entrada y producir un largo serie de respuestas fluidas\u00bb, afirm\u00f3 Riedl.<\/p>\n\n\n\n Pero tienen varias debilidades.<\/p>\n\n\n\n Primero, no son buenos para decir la verdad. De hecho, a veces simplemente inventan cosas que parecen ciertas, como cuando ChatGPT cit\u00f3 seis casos judiciales falsos<\/a> en un escrito legal o cuando Bard atribuy\u00f3 err\u00f3neamente al Telescopio Espacial James Webb<\/a> el haber tomado las primeras fotograf\u00edas de un planeta fuera de nuestro propio sistema solar. Se les conoce como alucinaciones.<\/p>\n\n\n\n \u00abSon extremadamente poco fiables en el sentido de que confabulan e inventan muchas cosas\u00bb, dijo Sap. \u00abNo est\u00e1n entrenados ni dise\u00f1ados de ninguna manera para decir nada veraz\u00bb.<\/p>\n\n\n\n Tambi\u00e9n luchan con consultas que son fundamentalmente diferentes de cualquier cosa que hayan encontrado antes. Esto se debe a que se centran en encontrar patrones y responder a ellos.<\/p>\n\n\n\n Un buen ejemplo es un problema matem\u00e1tico con un conjunto \u00fanico de n\u00fameros.<\/p>\n\n\n\n \u00abEs posible que no pueda hacer ese c\u00e1lculo correctamente porque en realidad no est\u00e1 resolviendo matem\u00e1ticas\u00bb, dijo Riedl. \u00abEst\u00e1 tratando de relacionar su pregunta de matem\u00e1ticas con ejemplos anteriores de preguntas de matem\u00e1ticas que ha visto antes\u00bb.<\/p>\n\n\n\n Y si bien se destacan en predecir palabras, no son buenos para predecir el futuro, lo que incluye la planificaci\u00f3n y la toma de decisiones. <\/p>\n\n\n\n \u00abLa idea de planificar como lo hacen los humanos… pensando en las diferentes contingencias y alternativas y tomando decisiones, parece ser un obst\u00e1culo realmente dif\u00edcil para nuestros grandes modelos de lenguaje actuales\u00bb, dijo Riedl.<\/p>\n\n\n\n Finalmente, tienen dificultades con los acontecimientos actuales porque sus datos de entrenamiento normalmente solo llegan hasta cierto punto y todo lo que sucede despu\u00e9s no forma parte de su base de conocimientos. Y como no tienen la capacidad de distinguir entre lo que es cierto y lo que es probable, pueden proporcionar con seguridad informaci\u00f3n incorrecta sobre los acontecimientos actuales.<\/p>\n\n\n\n Tampoco interact\u00faan con el mundo como lo hacemos nosotros.<\/p>\n\n\n\n \u00abEsto les dificulta comprender los matices y complejidades de los acontecimientos actuales que a menudo requieren una comprensi\u00f3n del contexto, la din\u00e1mica social y las consecuencias del mundo real\u00bb, dijo Snyder.<\/p>\n\n\n\n Ya estamos empezando a ver empresas de IA generativa como OpenAI y Adobe debutar con modelos multimodales, que se entrenan no solo en texto sino tambi\u00e9n en im\u00e1genes, video y audio.<\/p>\n\n\n\n Tambi\u00e9n es probable que veamos mejoras en las capacidades de los LLM no solo para traducir idiomas del ingl\u00e9s, sino tambi\u00e9n para comprender y conversar en idiomas adicionales.<\/p>\n\n\n\n Tambi\u00e9n es posible que veamos que las capacidades de recuperaci\u00f3n evolucionan m\u00e1s all\u00e1 de aquello en lo que se han entrenado los modelos. Eso podr\u00eda incluir aprovechar motores de b\u00fasqueda como Google para que los modelos puedan realizar b\u00fasquedas en la web y luego introducir esos resultados en el LLM.<\/p>\n\n\n\n Si los LLM estuvieran conectados a motores de b\u00fasqueda, podr\u00edan procesar informaci\u00f3n en tiempo real mucho m\u00e1s all\u00e1 de sus datos de formaci\u00f3n. Esto significa que podr\u00edan comprender mejor las consultas y proporcionar respuestas m\u00e1s precisas y actualizadas.<\/p>\n\n\n\n \u00abEsto ayuda a que nuestros modelos de vinculaci\u00f3n se mantengan actualizados porque pueden buscar informaci\u00f3n nueva en Internet y traerla\u00bb, dijo Riedl.<\/p>\n\n\n\n Hay algunas trampas. La b\u00fasqueda en Internet podr\u00eda empeorar las alucinaciones sin mecanismos adecuados de verificaci\u00f3n de datos. Y los LLM necesitar\u00edan aprender a evaluar la confiabilidad de las fuentes web antes de citarlas. Adem\u00e1s, se necesitar\u00eda mucha potencia inform\u00e1tica (cara) para procesar los resultados de b\u00fasqueda web bajo demanda.<\/p>\n\n\n\n\u00bfQu\u00e9 es un modelo de lenguaje?<\/h2>\n\n\n\n
\u00bfQu\u00e9 es un modelo de lenguaje grande?<\/h2>\n\n\n\n
\u00bfC\u00f3mo aprenden los modelos de lenguaje grandes?<\/h2>\n\n\n\n
\u00bfQu\u00e9 hacen los modelos de lenguaje grandes?<\/h2>\n\n\n\n
\u00bfQu\u00e9 hacen realmente bien los modelos de lenguaje grandes?<\/h2>\n\n\n\n
\u00bfD\u00f3nde luchan los grandes modelos ling\u00fc\u00edsticos?<\/h2>\n\n\n\n
\u00bfC\u00f3mo evolucionar\u00e1n los grandes modelos ling\u00fc\u00edsticos?<\/h2>\n\n\n\n