Ya hace un tiempo que El rincón del vago, la mítica web en la que quien más quien menos ha buscado un trabajo escolar para entregar al filo del fin del plazo, ha dejado de ser la referencia para este tipo de situaciones.
Ahora, ChatGPT o Gemini se han convertido en la herramienta clave para quienes, a pesar de haberlo intentado con todas sus fuerzas, no han sido capaces de terminar el trabajo a tiempo. Pero, ¿cómo pueden realizar los humanos la verificación de la inteligencia artificial [IA]?
SymGen permite verificar las respuestas de un LLM con mayor rapidez y eficiencia
Verificar las respuestas con SymGen
Porque la precisión y la fiabilidad de los modelos de lenguaje (LLM, por sus siglas en inglés) se han convertido en una preocupación. Por eso, un grupo de investigadores del Instituto de Tecnología de Massachusetts (MIT) han desarrollado una herramienta, denominada SymGen, que permite a los usuarios verificar las respuestas generadas por un LLM con mayor rapidez y eficiencia, al proporcionar citas que apuntan directamente al lugar en un documento fuente, como una celda específica en una base de datos.
“A pesar de sus capacidades impresionantes, estos LLM a menudo son verificados por comprobadores de datos humanos, especialmente si el modelo ha sido desplegado en contextos de alto riesgo como la atención médica o las finanzas, en las que la verificación de la información es esencial”, explican desde el MIT.
Los verificadores humanos deben leer documentos largos citados por el modelo
Una tarea ardua
La verificación manual de las respuestas generadas por un LLM suele ser una tarea ardua y propensa a errores: “Los verificadores humanos deben leer documentos largos citados por el modelo, una tarea tan costosa y propensa a los errores, que algunos usuarios optan por no desplegar modelos de IA generativa”. Aquí es donde entra en juego SymGen.
Los LLM han revolucionado la forma en que interactuamos con la tecnología. Desde asistentes virtuales hasta herramientas de traducción automática, estos modelos son capaces de generar texto coherente y relevante en una variedad de contextos. Sin embargo, su capacidad para "alucinar" información incorrecta plantea serios desafíos.
Foco selectivo
"Damos a las personas la capacidad de enfocarse selectivamente en partes del texto que necesitan ser revisadas con más cuidado”, explican los creadores de la herramienta.
Por eso, “SymGen puede dar a las personas mayor confianza en las respuestas del modelo porque pueden examinar más de cerca para asegurarse de que la información esté verificada", dice Shannon Shen, estudiante de postgrado en ingeniería eléctrica y ciencias de la computación y coautor principal de un artículo científico sobre esta solución.
Una solución innovadora para verificar los datos de la IA
Como explica el MIT, cada vez que el LLM cita palabras en su respuesta, debe escribir la celda específica de la tabla de datos que contiene la información que está referenciando. Luego, SymGen resuelve cada referencia con una herramienta basada en reglas que copia el texto correspondiente de la tabla de datos. Esta metodología permite a los usuarios ver claramente los datos que el modelo utilizó para generar una palabra o frase específica.
En un estudio de usuario, Shen y sus colaboradores concluyeron que SymGen aceleraba el tiempo de verificación en aproximadamente un 20% en comparación con los procedimientos manuales.
Referencias simbólicas
Para ayudar en la validación, muchos LLM están diseñados para generar citas que apuntan a documentos externos junto con sus respuestas basadas en el lenguaje para que los usuarios puedan verificarlas. Sin embargo, estos sistemas de verificación “suelen diseñarse como una idea posterior, sin considerar el esfuerzo que implica para las personas revisar numerosas citas”, dice Shen.
"La IA generativa está destinada a reducir el tiempo del usuario para completar una tarea. Si necesitas pasar horas leyendo todos estos documentos para verificar que el modelo está diciendo algo razonable, entonces es menos útil tener las generaciones en la práctica", dice Shen.
Funcionamiento
Un usuario de SymGen primero proporciona al LLM datos que puede referenciar en su respuesta, como una tabla que contiene estadísticas de un partido de baloncesto. Luego, en lugar de pedirle inmediatamente que complete una tarea, como generar un resumen a partir de esos datos, los investigadores realizan un paso intermedio: piden al modelo que genere su respuesta de forma simbólica.
Así, cada vez que el modelo quiere citar palabras en su respuesta, se debe escribir el nombre específico de la celda de la tabla de datos que contiene esas palabras. Por ejemplo, si el modelo quiere citar la frase "Portland Trail Blazers" en su respuesta, reemplazaría ese texto con el nombre de la celda en la tabla de datos que contiene esas palabras.
SymGen luego resuelve cada referencia con una herramienta basada en reglas que copia el texto correspondiente de la tabla de datos en la respuesta del modelo.
"De esta manera, sabemos que es una copia literal, por lo que sabemos que no habrá errores en la parte del texto que corresponde a la variable de datos real", añade Shen.
