En este artículo puedes encontrar
1. La realidad de los detectores de IA
¿Buscas probar deshonestidad académica usando detectores de IA cuando calificas un trabajo académico?
Muchos profesores de todo el mundo sí.
Confían en la fiabilidad de las herramientas de detección de Inteligencia Artificial Generativa (IAG) como GPTZero, CopyLeaks y Turnitin.
Estas herramientas realizan un análisis detallado de un texto escrito y determinan con qué probabilidad ha sido escrito por la IA o por un humano.
Sin embargo, la precisión de estas herramientas no es nada fiable.
Es probable que identifiquen un texto escrito por humanos como escrito por IA (falso positivo) y al contrario, identifiquen un texto escrito por la IA como escrito por humanos (falso negativo).
Por tanto, puedes acusar a estudiantes de hacer trampas sin ser cierto.
De hecho OpenAI retiró en febrero su detector de IA por su baja precisión y Turnitin afirma que sus puntuaciones deben tratarse como una indicación, no como una acusación.
Además en el estudio Sample 2023 se observó que los estudiantes no nativos en inglés tienen más probabilidades de generar falsos positivos por los detectores de IA.
También se observa en el caso de falsos negativos, los estudiantes solicitan a ChatGPT que use un lenguaje sofisticado o coloquial para engañar a los detectores de IA.
A continuación puedes ver los resultados de una simple prueba de fiabilidad que realicé con estos dos detectores, GPTZero y CopyLeaks.
Puedes probarlo por ti mismo con textos propios.
APRENDE DE LA MANO DE CHATGPT
DESCUBRE COMO TRANSFORMARLO EN TU TUTOR PERSONAL, AHORRAR TIEMPO Y MEJORAR LOS RESULTADOS EN CUALQUIER APRENDIZAJE
OBTÉN MI GUÍA GRATUITA
2. Test de precisión de los detectores de IA
Planteé a ChatGPT la siguiente petición en español y después en inglés para ver si la precisión en la detección de IA aumenta en uno de los dos idiomas.
2.1 Petición y resultado en español
Petición original insertada en ChatGPT
Copio y pego el resultado exacto obtenido en GPTZero.
Concluye que es probable que el texto en español haya sido escrito por una mezcla entre un humano y la IA. Sólo hay un 47% de probabilidad de que el texto se haya escrito por la IA en su integridad.
Ahora añado especificaciones a la petición marcadas en el recuadro verde.
Copio y pego de nuevo el resultado en GPTZero.
En este caso concluye que es probable que el texto haya sido escrito por un humano y sólo hay un 33% de probabilidad que el texto haya sido escrito por la IA en su integridad.
Pruebo con otra herramienta considerada de alta fiabilidad, CopyLeaks, con el mismo texto en español.
Aquí identifica correctamente que el texto ha sido creado por la IA. No especifica ninguna probabilidad.
Dirías que CopyLeaks es una herramienta de mayor fiabilidad.
Pero ahora decido probar en CopyLeaks un texto escrito por mí en su integridad. Desafortunadamente detecta incorrectamente que se ha escrito por la IA con un 99,9% de probabilidad.
Con CopyLeaks, cualquier texto se identifica como escrito por la IA en su integridad.
2.2 Petición y resultado en inglés
Inserto ahora la misma petición original pero en inglés
GPTZero parece tener mayor fiabilidad en inglés identificando con un 93% de probabilidad que ha sido escrito por la IA
Paso a la misma petición modificada añadiendo el texto marcado en verde
Ahora la probabilidad de que se haya escrito con IA en su integridad se reduce al 5%. Las especificaciones han funcionado para engañar al detector de IA.
Ahora pruebo en CopyLeaks el texto con la petición modificada.
La probabilidad que sea haya creado por la IA en su integridad también se reduce a un 67%. Pero de nuevo un texto creado por mí lo identifica como escrito por la IA.
3. Conclusión
En ambos idiomas los detectores de IA producen con demasiada frecuencia falsos negativos y falsos positivos.
No se puede concluir con certeza que un estudiante ha incurrido en deshonestidad académica y tomar medidas disciplinarias.
Los modelos lingüísticos (LLM) como ChatGPT producen resultados únicos. No hay un plagio de palabra por palabra de un texto de Internet y han sido entrenados con el lenguaje humano.
Por tanto un estudiante puede redactar un trabajo como un modelo LLM sin usarlo, o por el contrario, un modelo LLM se puede expresar como un estudiante de cualquier nivel con simples peticiones modificadas.
También has de tener en cuenta que existen herramientas como Undetectable AI, cuyo objetivo es hacer que un texto de IA se parezca más al texto humano para evitar ser detectado.
Algunas empresas de detección de IA, como Turnitin, afirman que su tasa de falsos positivos es sólo del 4%. Estas afirmaciones deben ponerse en duda dados los resultados de varios estudios.
Y aunque este porcentaje fuera cierto, tampoco es un gran nivel de precisión.
Si revisas 200 trabajos académicos por asignatura, esto significa que 8 trabajos serán etiquetados como generados por la IA de forma errónea. Además nunca tendrás un 100% de seguridad en el resto.
Además los modelos LLM cada vez son más potentes y producen textos impresionantes, de manera que cada vez es más difícil detectar qué texto ha sido escrito por un ser humano y cuál no.
Los detectores de IA siempre van un paso por detrás.
4. Recomendaciones
4.1 Usar la IA con frecuencia, te ayudará a detectarla
Si tus estudiantes invierten mucho tiempo en evadir la detección, te será difícil probar el uso de la IA. Pero en el caso que hagan un simple copiar y pegar, o un mero cambio de palabras, te será más sencillo.
Copia y pega el enunciado de la actividad solicitada en ChatGPT y mira los resultados.
Expresiones concretas o el uso de frases idénticas, que además repiten varios estudiantes en un mismo trabajo, te ayudarán a identificar su uso.
4.2 Crea actividades que dificulten el uso íntegro de ChatGPT
La manera de dificultar el uso de ChatGPT en un trabajo es solicitar menos teoría y más aplicación de la misma.
Propón una actividad que requiera aplicar conceptos esenciales de una unidad a un supuesto práctico, un evento reciente o a un escenario real.
Además con este tipo de actividad se mejora el aprendizaje y se contextualiza en el mundo real.
Gracias a ChatGPT o el Chat de Bing, puedes crear supuestos prácticos o encontrar casos reales fácilmente.
Puedes ver un ejemplo de este tipo de actividad debajo:
4.3 Solicita pruebas del desarrollo de la actividad
Puedes solicitar los siguientes requisitos:
- Es necesario especificar el esquema, los recursos de investigación, los borradores y la versión final.
- O solicita que te muestren el historial de versiones del documento de la actividad, que crean por defecto las aplicaciones de Google y Microsoft.
- Demostrar los conocimientos mediante presentaciones orales y vídeos
- Si tienes dudas, comprueba la comprensión mediante preguntas al estudiante
- Es imprescindible incluir citas o reconocer el uso de la IAG
4.4 Establecer un protocolo de uso de la IAG
Un ambiente de sospecha constante en clase no es agradable para nadie.
En mis cursos he establecido un protocolo de aplicación de la IA, de manera que especifico cuándo y cómo se puede usar la IAG.
Cuando permito el uso de la IAG, les hago reconocer o citar su uso acorde con las directrices establecidas en el protocolo IA del curso.
De esta manera los estudiantes conocen mis expectativas en cualquier actividad y pueden evitar incurrir en deshonestidad académica.
APRENDE DE LA MANO DE CHATGPT
DESCUBRE COMO TRANSFORMARLO EN TU TUTOR PERSONAL, AHORRAR TIEMPO Y MEJORAR LOS RESULTADOS EN CUALQUIER APRENDIZAJE
OBTÉN MI GUÍA GRATUITA
Si quieres prevenir deshonestidad académica y establecer un protocolo de IA en tu asignatura, te puede interesar el Curso «IA en la educación: Descubre oportunidades y desafíos y diseña tu plan de acción«
3 respuestas a "Detectores de IA ¿son fiables? Y qué hacer al respecto"
Excelentes consejos!! Comparto totalmente tu enfoque sobre el uso de la IA.
Creo que el problema no esta tanto en la capacidad de la IA, que sin duda ira aumentando cada día, sino en el enfoque docente de hacer las cosas igual «año tras año, tras año…» porque alguna vez le funcionó bien.
El conocimiento crece (siempre), los alumnos cambian, las condiciones cambian, el docente también debería «cambiar y actualizarse» para bien.
Saludos desde Argentina.
Carlos Rodriguez
Soy de los que aprendí a hacer la raíz cuadrada a mano y las operaciones con regla de cálculo y el libro de logaritmos, en aquellos entonces era obligatorio saberlo hacer de ese modo. Con el paso del tiempo las calculadoras digitales se fueron apropiando de cada sector educativo y ya no era necesario saber hacerlo a mano, lo que era indispensable era saber usar la calculadora, ser preciso y más rápido. Al día de hoy se desgarran las vestiduras por la nueva «calculadora» llamada «Inteligencia artificial» que ha llegado para quedarse, similar a cuando nuestros profesores se molestaban porque usábamos la calculadora y no lo hacíamos a mano. Quizá deberían enfocarse en enseñar a darle el uso correcto y evitar molestarse por el «fraude académico» de los estudiantes. El mundo cambia, y con él, la humanidad. Es mi humilde opinión.
Gracias por tu opinión Alberto. Estoy de acuerdo que no es posible evitar el fraude académico ni ahora con la IA ni antes. Propongo en el artículo por ello enfocar a reconocer su uso en las actividades planteadas al igual que se citan referencias.
Un saludo,
Meritxell