Descargá el libro "ChatGPT vs. GPT-4: ¿imperfecto por diseño?"
Está disponible online y lo vas a podes descargar al final de esta nota. Tiene un subtítulo: "Explorando los límites de la inteligencia artificial conversacional".
El libro "ChatGPT vs. GPT-4: ¿imperfecto por diseño?" representa una herramienta, además de información, en tiempos en que la Inteligencia Artificial se plantea como solución y, a la vez, como un nuevo gran problema para la humanidad.
Está disponible online y lo vas a podes descargar al final de esta nota. Tiene un subtítulo: "Explorando los límites de lainteligencia artificial conversacional".
El proyecto fue dirigido por los siguientes profesionales:
Juan Gustavo Corvalán. Doctor en Ciencias Jurídicas. Master en Inteligencia Artificial. Director del Laboratorio de Innovacióne Inteligencia Artificial de la Facultad de Derecho de la Universidad de Buenos Aires (UBA IALAB).
ChatGPT cambia las reglas del juego: y sí, impacta en Mendoza (o al menos, debería hacerlo)
Elsa Estevez. Doctora en Ciencias de la Computación. Investigadora Principal del CONICET. Profesora a cargo de laCátedra de Unesco en Sociedades del Conocimiento y Gobernanza Digital en la Universidad Nacionaldel Sur.
Enzo María Le Fevre Cervini. Doctor en Políticas Públicas. Master en Inteligencia Artificial para los servicios públicos. Jefe del sectorde soluciones colaborativas del Departamento de Informática de la Comisión EuropeaThe views expressed by the author are strictly personal and do not necessarily reflect those of the European Commission.
Débora Schapira. Posgrado en Educación con especialización en Políticas Educativas. Master en AdministraciónEstratégica. Consultora en innovación, administración y gestión en empresas del sector privado y público.
Gerardo Simari. Ph.D. en Ciencias de la Computación con especialización en inteligencia artificial. Profesor en UNSBahía Blanca. Investigador del CONICET.
Prólogo por Vincenzo Aquaro (ONU)
Esta publicación llega en el momento justodel apogeo de ChatGPT, donde las personase instituciones están comenzando a probar ydiscutir el impacto que tendrá la inteligenciaartificial conversacional en el futuro denuestras sociedades. El lanzamiento deChatGPT ha generado, en tan solo unosmeses, una revolución en la forma en quelas personas perciben el potencial de laIA y en cómo reconocen que la IA puedeayudarnos en nuestras necesidades básicasdiarias.
El potencial de ChatGPT trae consigoinnumerables oportunidades, desafíos,inquietudes y, quizás, hasta hace peligrar lasupervivencia y hegemonía que han tenidohasta ahora los grandes motores de búsqueda.Hoy en día, las grandes empresas que construyen modelos de lenguaje enfrentanel enorme desafío de entrenar un sistema que necesita una cantidad de datos tangrande que solo se puede ser extraída de Internet.
Pero Internet no solo tiene todo tipo de discursos, porque es el lugar donde las personas se expresan libremente, sino que también contiene información falsa, desinformación/misinformación y textos que reflejan las desigualdades, asimetrías, creencias, valores y estereotipos de género que forman parte de nuestras sociedades.
¿Es ChatGPT realmente imperfecto por diseño cuando puede ayudarnos a realizar muchas de las tareas que llevamos a cabo a diario, al igual que nos permite encontrar fácilmente respuestas a muchas de nuestras inquietudes? El foco del análisis y uso de ChatGPT no debe limitarse o verse afectado por su grado de confiabilidad y seguridad,sino que debemos centrarnos en sus implicaciones, fortalezas y debilidades para comprender qué sucederá con los agentes conversacionales en los próximos años.Al día de hoy, las respuestas de ChatGPT a menudo requieren algunos ajustes antes de que puedan usarse, ya sea porque la solicitud del ser humano es ambigua o simplemente porque el modelo es limitado.
Este libro, que es el resultado de un profundo análisis e investigación realizado porUBA IALAB, nos ayuda a identificar e incluso reconocer los importantes avances quese han logrado en los modelos de lenguaje, favoreciendo el desarrollo de sistemas deIA capaces de resolver tareas cada vez más sofisticadas.En un futuro cercano, puede que nos encontremos en un mundo como Matrix,donde los agentes conversacionales brinden asistencia a los ciudadanos, no soloayudándonos a encontrar información confiable, sino también operando muchasveces de manera autónoma por nosotros y trabajando mejor y más rápido. Una vezmás, el objetivo no es reemplazar a las personas, sino poner a disposición herramientasque puedan beneficiarnos.
Al igual que ChatGPT ciertamente cree acerca de su futuro, no hay duda de quelos chatbots de IA seguirán evolucionando y se volverán más sofisticados con eltiempo. Una de las principales tendencias que podemos esperar es el uso de cadavez más inteligencias artificiales conversacionales de formas más personalizadas yconscientes del contexto, así como su uso en una gama más amplia de aplicaciones,como en el cuidado de la salud, la educación y otras industrias en las que puedenayudar realizando tareas operativas y aumentando la eficiencia.
Los usuarios podránpersonalizar las interacciones con el chatbot teniendo en consideración sus valores,pero con ciertos límites establecidos por la regulación y el gobierno, para evitar quealgunas personas dirijan la IA hacia usos maliciosos. Afortunadamente, los principiosy valores centrados en los derechos humanos y la seguridad de los usuariosacompañarán toda esta ola de evolución y desarrollo tecnológico.
Vincenzo Aquaro
Resumen ejecutivo
En los últimos años se han desarrollado vertiginosamente los algoritmos deinteligencia artificial vinculados al procesamiento del lenguaje. Con cada lanzamientoque realizan las grandes empresas tecnológicas, sobreviene una ola de discusionesy publicaciones cargadas de optimismo sobre la revolución de los agentesconversacionales y sus capacidades cada vez más impresionantes. Como si estofuera poco, en los últimos meses ChatGPT -y más recientemente- GPT-4, su nuevaversión lanzada hace pocos días, ha provocado el nacimiento de una nueva etapa enla evolución de la inteligencia artificial (en adelante IA).
Esta nueva estrella de la IA se presenta para muchos, como un cambio de paradigmallamado a revolucionar industrias, la educación y múltiples actividades humanas.
Frente a este escenario, decidimos explorar cuán revolucionario o diferente es estechatbot en relación a lo que se venía desarrollando hasta el momento. A partir de unabatería de pruebas, interactuamos a través de 600 ejemplos1 o entradas sobre distintastemáticas en la versión 3.5. lanzada en noviembre de 2022. Desde conversacionescorrientes que implican el uso del sentido común, hasta preguntas sobre un dominioespecífico, como son las cuestiones jurídicas o de la salud. Por otro lado, destinamosuna gran cantidad de interacciones a evaluar la presencia de los sesgos negativos enlas respuestas de ChatGPT.
Por último, un día después del lanzamiento de GPT-4 (14 de marzo de 2023),testeamos este nuevo modelo sobre 163 respuestas incorrectas, incoherentes ysesgadas. Aquí adelantamos los principales resultados de las 600 pruebas realizadasen ChatGPT versión 3.5 y de las pruebas realizadas en GPT-4, tomando como basesólo las que su antecesora contestó como incorrectas, incoherentes y sesgadas:
Si observamos los porcentajes de la versión ChatGPT gratuita y conocida por todos,estos reflejan una gran variedad de desafíos, ventajas y límites vinculados a la lógicasubyacente de los modelos de inteligencia artificial.
Desde nuestra óptica, ChatGPT esimperfecto por diseño en razón de dos grandes fenómenos que abordaremos en estaguía de divulgación.Por un lado, las respuestas sesgadas, parcialmente sesgadas, incorrectas,incompletas o incoherentes, en general se vinculan con limitaciones propias decualquier modelo de lenguaje de IA. Es decir, son producto de las limitaciones o sesgosde los datos e información con las que se entrenan y, además por la lógica subyacenteal modo de procesamiento a través del aprendizaje profundo (Deep learning) y susdiferentes variantes.
Por otra parte, ChatGPT desde su propio diseño se presenta como un agenteconversacional limitado e imperfecto. Desde OpenAI afirman que su enfoque consisteen introducir enormes modelos de lenguaje defectuosos en la sociedad para que éstase vaya adaptando. Es por eso que ChatGPT tiene algunas limitaciones específicas,que han sido decididas por sus programadores.
Por ejemplo, no posee conocimientode los eventos y del mundo posterior al año 2021, carece de conexión a internet, yal menos por ahora, sólo trabaja con procesamiento del lenguaje natural: no puedeprocesar imágenes o videos (esto cambia en el modelo GPT-4).Para entender a qué nos referimos, vea la siguiente prueba en la que el chatbotarroja dos respuestas contradictorias a la misma entrada:
Otras pruebas que hemos realizado evidencian que, aunque el chatbot puedaparecer muy sofisticado en algunas interacciones, no "comprende" en absoluto lo quese le plantea. Es decir, detectamos errores "bobos" o sobre cuestiones muy simples,especialmente en los campos del razonamiento temporal, la lógica y aritmética.Veamos algunos ejemplos:
Es sensible a los ajustes en el en la formulación de frases u oraciones de entradao al intentar el mismo mensaje varias veces;
Es excesivamente detallado y sobre explica algunas cuestiones;
Ante ambigüedades, supone lo que el usuario pretende obtener como respuestaen lugar de realizar preguntas aclaratorias.
Limitaciones generales de los modelos de lenguaje:
Sesgos de máquina injustos o discriminatorios;
Falta de contexto;
Incapacidad de razonamiento.
Ventajas de ChatGPT:
Se niega a responder preguntas sobre temas en los que no ha recibidoentrenamiento;
Admite errores o reconoce cuando no está seguro de su intervención;
Presenta mejorías en torno a los sesgos injustos respecto de sus antecesores:rechaza solicitudes de violencia o desaconseja acciones inapropiadas;
Enfoque AI Alignment.
ChatGPT en la educación
Las pruebas que realizamos en un curso intensivo universitario en una materia dela carrera derecho, arrojó resultados relevantes en torno al impacto que comienza aevidenciarse en materia educativa. Sobre 65 estudiantes encuestados, el 61,53% delos alumnos dice usar la respuesta de ChatGPT como guía o primera aproximaciónal tema y luego elaborar la respuesta él/ella mismo/a partiendo de otras fuentes.Asimismo, el 38% corrobora la veracidad de la respuesta contrastándola con otrasfuentes y eventualmente la modifica.
Un dato llamativo se evidencia con relación a los sesgos injustos: el 62% de losalumnos considera que el chatbot no es una herramienta sesgada, sino que es objetivay neutral en sus respuestas.
Resultados bastante parejos se obtuvieron en materia de capacitación parautilizar ChatGPT en el aula: el 37% opina que los alumnos y docentes deberían recibircapacitación sobre la herramienta en específico y sobre la IA en general. Otro 37%dice que se podría brindar exclusivamente una breve introducción sobre ChatGPTen particular, su contexto y ciertas advertencias. Finalmente, el 26% opina que no esnecesaria ningún tipo de capacitación dada la sencillez de la herramienta.
El 90% de los estudiantes consideró útil y beneficiosa la posibilidad de que, comoestudiante, pudiera extrapolar el uso de ChatGPT para compartirlo con el docente.Esta es una funcionalidad en la que actualmente se encuentra trabajando OpenAI.