Si una web te dice "adiós a los LLM" por Jev, cierra la puñetera pestaña

Me cuesta tomar en serio un artículo que anuncia el fin de los LLM y luego ya si eso, me explica lo que Jev es. Puede ser una herramienta estupenda, ahorrarte dinero y quitarte trabajo. Pero entre eso y decir que los modelos de lenguaje se han quedado obsoletos hay un trecho que yo querio explicar.

Jev, el modelo de TypeSafe AI, recibe información y devuelve categorías, puntuaciones y probabilidades que tu programa puede utilizar. Tú defines qué quieres evaluar y qué hará la aplicación con el resultado. La documentación lo explica sin necesidad de anunciar la muerte de nadie.

Por ejemplo, un cliente escribe «me habéis cobrado dos veces». Jev puede clasificar ese mensaje como un asunto de facturación. Las reglas para enviarlo a ese departamento, pedir una revisión o autorizar una devolución las defines tú en la aplicación. Para esa primera clasificación normalmente usamos un modelo barato, y parece que Jev puede hacerla con suficiente acierto y a menor coste que la llamada al LLM que utilizabas.

Ahora bien, el cliente sigue esperando una respuesta. Hay que consultar qué se le ha cobrado, comprobar si realmente existe un duplicado y explicarle qué vas a hacer. Quizá necesites un modelo de lenguaje para redactarlo teniendo en cuenta la conversación, entonces ahí Jev no te va a escribir esa respuesta y lo mejor es que TypeSafe lo deja CRISTALINO al explicar sus modelos System One.

En ese proceso puede haber trabajo para Jev, para un LLM y para código de toda la vida. No me parece una situación particularmente extraña. Lo extraño es mirar el primer paso, ver que podemos resolverlo con otra herramienta y dar por hecho que hemos reemplazado todo lo demás.

Además, los LLM también pueden devolver respuestas estructuradas, lo que pasa es que hay que comprobar si merece la pena hacer el cambio. Si recibes miles de mensajes, una diferencia de coste o de tiempo puede importar mucho, siempre y cuando se verifíque la precisión de las respuestas.

Aquí TypeSafe promete "cero alucinaciones" en su anuncio y dicen que la respuesta siempre respeta el formato permitido. Si las opciones son facturación, soporte o ventas, no va a inventarse un cuarto departamento. Pero puede elegir ventas para el cliente al que has cobrado dos veces.

Las pruebas que han publicado comparan cuatro flujos de trabajo y utilizan respuestas de otros modelos como referencia. Para decidir si cambiaría mi sistema de atención al cliente, yo necesitaría probar con sus mensajes, incluidos los ambiguos, los que mezclan varios problemas y los que están escritos de cualquier manera, vamos una prueba de toda la vida.

Por eso me fastidia el titular de "adiós a los LLM" porque parece que te obliga a discutir una supuesta sustitución total y deja en segundo plano algo que sí merece tiempo, porque en mi experiencia, mucha gente usa modelos demasiado generales para algunas tareas pequeñas y repetidas, como clasificar mensajes, que quizá Jev resuelva mejor.

Si Jev hace mejor una parte de ese trabajo, lo razonable será darle esa parte. Para anunciar que los LLM han dejado de servir hace falta enseñar bastante más. Mientras tanto, prefiero leer a quien me cuente cómo usa Jev y dónde se equivoca ya ya con eso puedo decidir si me sirve.

Gracias a José Luis Calvo (@joselcs) por señalar la confusión entre clasificación y toma de decisiones. Yo también había usado «tomar decisiones» de forma demasiado amplia y he corregido esa parte del artículo.