El gigante de las redes sociales recurrió a la IA generativa para mejorar los servicios a sus miembros. A continuación se ofrece una mirada interna a lo que sus ingenieros aprendieron sobre cómo aprovechar los LLM para obtener resultados comerciales.
Con más de mil millones de usuarios en todo el mundo, LinkedIn choca continuamente con los límites de lo que es técnicamente factible en la empresa actual. Pocas empresas operan a la escala que lo hace LinkedIn o tienen acceso a cantidades similares de datos.
Para la plataforma de redes sociales centrada en los negocios y el empleo, conectar a candidatos calificados con empleadores potenciales para ayudar a cubrir puestos vacantes es su negocio principal. También lo es garantizar que las publicaciones en la plataforma sean relevantes para los miembros que las consumen. Y a escala de LinkedIn, esos procesos de emparejamiento siempre se han basado en la tecnología.
Durante el verano de 2023, en el apogeo de la primera ola de interés en la IA generativa, LinkedIn comenzó a preguntarse si sería mejor conectar candidatos con empleadores y hacer que los feeds fueran más útiles con la ayuda de grandes modelos de lenguaje (LLM).
Por eso, el gigante de las redes sociales lanzó un viaje de IA generativa y ahora informa los resultados de su experiencia aprovechando el servicio Azure OpenAI de Microsoft . Los CIO de todos los sectores pueden aprender uno o dos consejos de las lecciones que LinkedIn aprendió a lo largo del camino.
Se adapta y comienza
Como ha experimentado la mayoría de los CIO, la adopción de tecnologías emergentes conlleva su parte de experimentación y contratiempos. Para LinkedIn, esto no fue diferente, ya que su camino hacia los conocimientos de LLM no fue nada fácil, dijo Juan Bottaro, ingeniero principal de software y líder tecnológico de LinkedIn.
Los resultados iniciales «parecieron deficientes», dijo Bottaro. «No se estaban conectando suficientes puntos».
Esas primeras oleadas de publicidad en torno a la IA generativa no ayudaron.
«El LLM era algo nuevo y parecía que podía resolverlo todo», dijo Bottaro. «No empezamos con una idea muy clara de lo que podía hacer un LLM».
Por ejemplo, una versión inicial del esfuerzo revisado de búsqueda de empleos fue más bien, a falta de una palabra mejor, grosera. O al menos demasiado contundente.
«Hacer clic en ‘Evaluar mi idoneidad para este trabajo’ y obtener ‘Eres un candidato terrible’ no es muy útil», dijo Bottaro. “Queríamos que [las respuestas] fueran objetivas pero también empáticas. Algunos miembros pueden estar contemplando un cambio de carrera hacia campos en los que actualmente no encajan bien y necesitan ayuda para comprender cuáles son las brechas y los próximos pasos”.
Entonces, una de las primeras lecciones de LinkedIn fue la importancia de adaptar los LLM a las expectativas de la audiencia y ayudarlos a comprender cómo ser tal vez no humanos, pero al menos humanos con sus respuestas.
Una cuestión de velocidad
Aunque LinkedIn tiene más de mil millones de miembros, la mayoría de las funciones de búsqueda de empleo que dependerían del trabajo LLM de LinkedIn iban a estar dirigidas inicialmente a miembros Premium, un grupo mucho más pequeño. (LinkedIn se negó a comentar cuántos miembros Premium tiene).
Cuando se opera a esa escala, la velocidad puede ser esencial, especialmente para algo tan sutil como hacer coincidir candidatos con puestos vacantes relevantes. En este caso, se creía que un LLM ayudaría, ya que un beneficio muy promocionado de los LLM es su velocidad, que les permite completar pasos complejos rápidamente. Ese no fue el caso con la implementación de LinkedIn, dijo Bottaro.
“No caracterizaría los LLM como rápidos. No consideraría la velocidad como una ventaja”, dijo.
Pero la velocidad se puede definir de múltiples maneras. Aunque operativamente el LLM puede no haber sido tan rápido como se esperaba, Bottaro dijo que la aceleración del proceso de implementación general fue asombrosa. “El superpoder de esta nueva tecnología es que se pueden crear prototipos muy rápido, entre dos y tres meses. Eso no era posible antes de esta tecnología”, afirmó.
Cuando se le preguntó cuánto tiempo habrían llevado las diversas facetas del proyecto sin LLM, Bottaro dijo que algunas no se habrían podido llevar a cabo en absoluto, mientras que otros elementos «tal vez habrían llevado varios años».
Como ejemplo, Bottaro hizo referencia a la parte del sistema diseñada para comprender la intención. Sin un LLM, eso podría haber llevado de dos a tres meses, dijo, pero el LLM lo dominó “en menos de una semana”.
Consideraciones de costos
Un aspecto que Bottaro denominó “un obstáculo” fue el costo. Una vez más, el costo puede significar diferentes cosas en diferentes fases de un proyecto, como lo demuestra la experiencia de LinkedIn.
«La cantidad que gastamos para poder desarrollarnos fue insignificante», dijo Bottaro. Pero cuando se trataba de entregar datos a los clientes de LinkedIn, los costos se dispararon.
«Incluso si solo fuera para un par de millones de miembros», dijo Bottaro, insinuando potencialmente la cantidad de usuarios Premium, el precio se disparó. Esto se debe a que el precio de los LLM (al menos el acuerdo de licencia que LinkedIn firmó con Microsoft, su proveedor de LLM y empresa matriz) se basó en el uso, específicamente en los tokens de entrada y salida.
El director ejecutivo de un proveedor de inteligencia artificial, Tarun Thummala, explica en una publicación de LinkedIn no relacionada con este proyecto que los tokens de entrada y salida de LLM equivalen aproximadamente a 0,75 de una palabra . Los proveedores de LLM suelen vender tokens por miles o millones. Azure OpenAI, que utiliza LinkedIn, cobra 30 dólares por cada millón de tokens de entrada 8K GPT-4 y 60 dólares por cada 1 millón de tokens de salida 8K GPT-4 fuera de su región del este de EE. UU., por ejemplo.
Desafíos de la evaluación
Otro objetivo de funcionalidad que tenía LinkedIn para su proyecto era la evaluación automática. Los LLM son muy difíciles de evaluar en términos de precisión, relevancia, seguridad y otras preocupaciones. Las organizaciones líderes y los creadores de LLM han estado intentando automatizar parte de este trabajo, pero según LinkedIn, tales capacidades son «todavía un trabajo en progreso».
Sin una evaluación automatizada, LinkedIn informa que «los ingenieros se quedan mirando los resultados y probando un conjunto limitado de ejemplos y tienen un retraso de más de 1 día para conocer las métricas».
La empresa está creando evaluadores basados ??en modelos para ayudar a estimar métricas clave de LLM, como el puntaje de calidad general, la tasa de alucinaciones, la coherencia y las violaciones responsables de la IA. Hacerlo permitirá una experimentación más rápida, dicen los ingenieros de la compañía, y aunque los ingenieros de LinkedIn han tenido cierto éxito con la detección de alucinaciones, aún no han podido terminar el trabajo en esa área.
Calidad de datos
Parte de la lucha que experimentó LinkedIn con su esfuerzo de búsqueda de empleo se reduce a un problema de calidad de los datos de ambas partes: empleadores y empleados potenciales.
Los LLM solo pueden trabajar con lo que se les proporciona y, a veces, los puestos de trabajo no son precisos ni completos en cuanto a las habilidades que busca un empleador. Por otro lado, algunos solicitantes de empleo publican historias mal redactadas que no reflejan eficazmente su amplia experiencia en la resolución de problemas, por ejemplo.
Aquí, Bottaro ve potencial para que los LLM ayuden tanto a los empleadores como a los empleados potenciales. Al mejorar lo que escriben los empleadores y los usuarios de LinkedIn, ambas partes podrían beneficiarse, ya que el LLM de búsqueda de empleo de la empresa podría funcionar mucho más eficazmente cuando sus entradas de datos sean de mayor calidad.
Experiencia de usuario
Cuando se trata de una base de miembros tan grande, las métricas de precisión y relevancia pueden «dar una falsa sensación de comodidad», dijo Bottaro. Por ejemplo, si el LLM “lo hace bien el 90% de las veces, eso significa que uno de cada diez tendría una experiencia horrible”, dijo.
Lo que hace que esta implementación sea más difícil es el nivel extremo de matices y juicios involucrados en la entrega de respuestas útiles, útiles y precisas.
“¿Cómo se pone de acuerdo sobre lo que es bueno y malo? Pasamos mucho tiempo con lingüistas para establecer pautas sobre cómo ofrecer una representación exhaustiva. También hicimos muchos estudios de usuarios”, dijo Bottaro. “¿Cómo se entrena a la persona para que escriba la respuesta correcta? ¿Cómo se define la tarea y se especifica cómo debe verse la respuesta? El producto puede intentar ser constructivo o útil. No se trata de dar por sentado demasiado porque es ahí donde empiezan las alucinaciones. La coherencia de las respuestas es algo de lo que estamos muy orgullosos”.
Operando en tiempo real
La enorme escala de LinkedIn presenta otro desafío para la búsqueda de empleo. Con mil millones de miembros, un anuncio de trabajo puede tener cientos, si no miles, de respuestas a los pocos minutos de su publicación. Muchos solicitantes de empleo no se molestarán en presentar su solicitud si ven que cientos ya lo han hecho. Eso hace que el LLM tenga la responsabilidad de encontrar muy rápidamente miembros que sean compatibles antes de que los solicitantes menos calificados envíen su material. Después de eso, todavía es cuestión de que ese miembro vea la notificación y reaccione lo suficientemente rápido.
Del lado de los empleadores, la lucha es encontrar los solicitantes que mejor se adapten, no necesariamente aquellos que respondan más rápido. La renuencia de algunas empresas a publicar rangos salariales complica aún más ambos esfuerzos, ya que los solicitantes mejor calificados pueden no estar interesados ??en un puesto que depende de su remuneración. Ese es un problema que un LLM no puede solucionar.
API y RAG
El enorme tesoro de datos de LinkedIn incluye mucha información única sobre individuos, empleadores, habilidades y cursos, en los que sus LLM no han sido capacitados. Como resultado, sus LLM no pueden utilizar estos activos, tal como están actualmente almacenados y entregados, para ninguna de sus actividades de razonamiento o generación de respuestas, según los ingenieros de LinkedIn.
En este caso, la generación aumentada de recuperación (RAG) es una solución alternativa típica. Al configurar una canalización de API internas, las empresas pueden «aumentar» las indicaciones del LLM con contexto adicional para guiar mejor (y proteger) la respuesta del LLM. Gran parte de los datos de LinkedIn se exponen a través de API RPC, algo que, según los ingenieros de la compañía, es «conveniente para que los humanos lo invoquen mediante programación», pero «no es muy compatible con LLM».
Para resolver este problema, los ingenieros de LinkedIn «envolvieron habilidades» en torno a sus API para brindarles una «descripción amigable para el LLM de lo que hace la API y cuándo usarla», así como detalles de configuración, esquemas de entrada y salida, y toda la lógica necesaria. para asignar la versión LLM de cada API a su RPC subyacente (real), dijo LinkedIn.
“Habilidades como esta permiten al LLM hacer varias cosas relevantes para nuestro producto, como ver perfiles,
Busque artículos/personas/trabajos/empresas e incluso consulte sistemas de análisis internos”, escribieron los ingenieros de la empresa en un comunicado. «La misma técnica también se utiliza para llamar a API que no son de LinkedIn, como búsquedas y noticias de Bing».
Fuente: cio.com
0 segundos de 1 hora, 4 minutos, 53 segundos Volumen 0%
