ChatGPT Me Mintió Descaradamente … ¿Se Puede Confiar En Esta IA?

Preparando la clase de un curso introductorio de IA para Estudiantes de Derecho le pedí a ChatGPT “ejemplos con bibliografía de respaldo donde se haya aplicado la Minería de Datos con Inteligencia de Datos en temas de derecho”. Este fue el resultado.

Fuente: https://tn.com.ar/tecno/novedades/2023/07/08/chatgpt-y-su-compleja-relacion-con-la-mentira/ ChatGPT entregó esta respuesta: “La aplicación de la minería de datos y la inteligencia de datos en el campo del derecho ha ganado relevancia en los últimos años, ya que puede ayudar a los profesionales legales a extraer información valiosa a partir de grandes conjuntos de datos legales. A continuación, proporciono ejemplos con bibliografía de respaldo para cada uno de los temas que mencionaste: 1. Clasificación: Ejemplo: Clasificación de documentos legales para la revisión automática. Referencia: "Automatic Document Classification for Legal Electronic Discovery Using Machine Learning Techniques" de D. Yang, et al. Link al artículo: https://ieeexplore.ieee.org/document/4315163 En este ejemplo, se utiliza la minería de datos y técnicas de aprendizaje automático para clasificar documentos legales en categorías específicas, como relevante o no relevante para un caso legal. 2. Estimación: Ejemplo: Estimación de la probabilidad de éxito en un caso legal. Referencia: "Predicting Legal Outcomes with Textual Features" de Daniel Katz, et al. Link al artículo: https://papers.ssrn.com/sol3/papers.cfm?abstract_id=2464021 En este caso, se emplean técnicas de minería de datos para analizar datos legales y estimar la probabilidad de éxito en un caso legal basándose en patrones y características extraídas de textos legales. 3. Pronóstico: Ejemplo: Pronóstico de demandas judiciales futuras en función de datos históricos. Referencia: "Predicting Legal Judgments: An Empirical Analysis of the Italian Court of Cassation" de M. Aletras, et al. Link al artículo: https://aclanthology.org/D16-1247.pdf En este estudio, se utiliza la minería de datos para analizar decisiones judiciales pasadas y predecir posibles resultados en futuros casos judiciales. 4. Asociación: Ejemplo: Identificación de relaciones y patrones ocultos en contratos legales. Referencia: "Mining Contracts: A Workflow for Legal Data Analysis" de E. Francesconi, et al. Link al artículo: https://arxiv.org/abs/1810.04456 En este caso, se aplican técnicas de minería de datos para identificar patrones y relaciones en contratos legales, lo que puede ser útil para la detección de cláusulas estandarizadas o problemas potenciales. 5. Agrupación o segmentación: Ejemplo: Segmentación de casos legales similares para una gestión más eficiente. Referencia: "Legal Case Clustering Using Topic Models" de N. Aletras, et al. Link al artículo: https://dl.acm.org/doi/10.1145/3080283.3080301 En este ejemplo, se aplican técnicas de agrupación para segmentar casos legales similares en grupos, lo que puede ayudar a los abogados a gestionar de manera más eficiente su trabajo. Estos ejemplos ilustran cómo la minería de datos y la inteligencia de datos se han aplicado en diversos aspectos del derecho, desde la clasificación de documentos legales hasta la estimación de resultados legales, el pronóstico de decisiones judiciales, la identificación de relaciones en contratos y la segmentación de casos. Estas aplicaciones ofrecen beneficios significativos en términos de eficiencia y toma de decisiones en el campo legal”. Parece razonable, ¿no es cierto? El problema es que los documentos de referencias NO TIENEN nada que ver con el tema que supuestamente apoyan. Y esto es muy curioso porque le pedí que indicara fuentes en castellano y la respuesta fue: “Lamentablemente, no tengo acceso a una base de datos específica de literatura en español, por lo que no puedo proporcionar referencias precisas en español para los ejemplos de aplicaciones de minería de datos en el derecho”. Entonces … ¿por qué si la IA se da cuenta de lo que tiene o no disponible entrega datos a sabiendas que son incorrectos? Si alguien tiene la respuesta agradecería que la dejara en los comentarios.

Moraleja de la experiencia: no confiarse en las respuestas y siempre revisarlas y validarlas. Como reza el dicho “En la confianza está el peligro”.