ChatGPT no está solo. A la par de éste se han lanzado otros competidores como LaMDA, PaLM y BERT de Google y Llama de Meta. La carrera por la creación de sistemas de procesamiento de lenguaje natural con cantidades astronómicas de parámetros se ha acelerado en estos últimos años. Probablemente, el éxito y la adopción masiva del modelo de OpenAI se debe en gran parte a la innovadora y repentina política de disponibilidad que ha adoptado la empresa dejando que cualquier usuario tenga acceso gratuito pero limitado a su tecnología más sofisticada. Frente a este enfoque, Google se mantuvo reacia a revelar los detalles de sus avances tecnológicos, pero Meta en cambio ha ido más allá creando incluso una IA de código abierto.
Sobre los Large Language Models
Los grandes modelos de lenguaje son sistemas de inteligencia artificial diseñados para entender y generar texto en lenguaje natural. Se denominan “grandes” por la enorme cantidad de parámetros con los que son entrenados y por los masivos corpus de texto que utilizan para aprender las características del lenguaje humano, patrones y reglas gramaticales. De este modo, logran resultados extraordinarios al crear texto plausible y coherente en distintas formas, ya sea contando una historia, manteniendo una conversación o diseñando itinerarios de viaje.
Estos sistemas como GPT-3 y LLaMA utilizan arquitecturas neuronales basadas en el concepto natural de la atención llamadas transformers. Esto le permite al sistema interpretar y conectar conceptos que se encuentran alejados en un texto, además de optimizar el tiempo de entrenamiento y la cantidad de datos necesarios para ello en contraste con modelos anteriores basados en redes neuronales recurrentes.
Nuestro trabajo con los LLMs en las operaciones legales
En Legal HUB contamos con líneas de investigación e implementación de los grandes modelos de lenguaje para aprovechar y maximizar sus beneficios en las operaciones legales. Recientemente hemos lanzado CLAPPI, el clarificador de texto técnico jurídico para el Gobierno de la Ciudad de Buenos Aires que, con una dinámica de funcionamiento parecida a un traductor, permite introducir normas administrativas redactadas en un lenguaje complejo y obtener un texto con palabras más simples y expresiones más comunes que lo hacen más entendible por personas sin conocimiento técnico. Para ello, CLAPPI utiliza GPT-3.5, el cual se ha vuelto “especialista” en lenguaje claro gracias a un proceso de fine-tuning.
Ahora, nuestro equipo de Data Science continúa investigando nuevos modelos que permitan obtener un mayor rendimiento y mejor adaptación a los requerimientos de nuestros clientes. Así lo hemos hecho con Llama, la IA de Meta cuya cantidad de parámetros va de los 7 a 70 billones.
“La gran ventaja de Llama es que al ser open source es más accesible, flexible y menos costoso” explica el Head of Data Science Department de Legal HUB, Exequiel Lobón. En general, los sistemas de IA de código abierto poseen una mayor transparencia en cómo funciona el modelo. Además, permiten a los usuarios personalizar el software para satisfacer sus necesidades específicas y son más innovadores porque se benefician de la colaboración global de una comunidad diversa de desarrolladores.
En este sentido, se abren dos posibilidades en el mundo de los LLMs. En primer lugar, los que son de tipo SaaS (Software as a service) como los ofrecidos por OpenAI, en que las aplicaciones de software son alojadas y gestionadas por un proveedor de servicios en la nube. Quienes opten por esta opción tendrán que asignar más o menos presupuesto para pagar este servicio sin que resulte necesario preocuparse por contar con expertos que se ocupen de la gestión de la infraestructura o la actualización tecnológica. A su vez, resultan más fácilmente escalables, porque la ampliación del servicio es llevada a cabo por el proveedor especializado, volviéndolo más rápido y sencillo para el cliente.
Por otro lado, un entorno on-premise como el que ofrece Llama de Meta, posee la ventaja de posibilitar una integración más profunda, además de los beneficios en términos de transparencia y flexibilidad que se han mencionado más arriba. Por otro lado, cualquier inconveniente o desafío debe ser resuelto internamente por el cliente de manera segura sin tener que acudir al proveedor del software. De este modo, se vuelve el único responsable de tomar medidas adecuadas para la protección de la información. Sin embargo, para ello se debe contar con personal capacitado en entrenar y mantener el modelo afrontando el costo del recambio tecnológico.
En Legal HUB seguiremos experimentando con estos modelos de lenguaje para identificar el más eficaz en cada caso. La prueba constante con estos sistemas nos permite mantenernos actualizados con los últimos avances tecnológicos y brindar soluciones de vanguardia a nuestros clientes. Esto es esencial en un campo tan dinámico como el Legal Tech, donde las demandas y desafíos legales evolucionan constantemente.