En esta entrada voy a presentar una idea de como se puede implementar una evaluación de tareas de redacción o preguntas a desarrollar de un examen (es decir, texto principalmente) asistida por Inteligencia Artificial.

Nótese que hablamos de evaluación “asistida” por IA, y no de evaluación “realizada” por IA. Vamos a utilizar la IA como apoyo y asistente para una evaluación en la que en todo momento el humano está al control. El objetivo principal no es evaluar en menos tiempo, de hecho, es posible que el tiempo dedicado sea igual o mayor en algunos casos. El objetivo es hacer la evaluación mejor. Mejor por que el profesor tiene un ayuda y asistente que le puede ir ayudando, y mejor porque facilita la creación de una retroalimentación más completa y concreta. 

El esquema general del procedimiento es el que sigue:

• Fase de preparación
  • preparación de los documentos que debe consultar la IA
  • Preparación del texto
• Fase de evaluación
  • Etapa 1: Informe preliminar
  • Etapa 2: Aplicación justificada de Rúbrica
  • Etapa 3: Generación de informe para el alumno

Se presenta en tres etapas no como algo sencillo que si fuera en dos sería mejor, sino como algo que se hace en pasos controlados, para aumentar la calidad y transparencia del proceso.

Además, nos aseguraremos que en cada paso podamos reajustar la evaluación que está produciendo.

Aspectos legales

Antes de empezar hay que tener en cuenta los requisitos legales para poder realizar una evaluación asistida por IA. En esta entrada de Juanjo José de Haro (https://educacion.bilateria.org/podemos-utilizar-la-ia-para-evaluar-al-alumnado) se hace un extenso repaso a la normativa europea y qué debemos tener en cuenta. No obstante aquí recordamos algunas de las consideraciones principales:

• El alumno debe saber que su trabajo pasa por este proceso.
• Los datos que puedan identificar al alumno deben eliminarse o anonimizarse.
• La revisión y el control humano debe estar presente durante todo el proceso.
• El proceso debe ser transparente, guardando los registros para su justificación, si fuera el caso.

Aspectos éticos

Pueden surgir consideraciones éticas cuando hablamos de que un profesor pueda utilizar la Inteligencia Artificial para evaluar trabajos dónde, por ejemplo, no se ha permitido uso de la Inteligencia Artificial al alumno para realizar ese trabajo. ¿Debería permitirse para ambos o prohibirse para ambos? 

Cada situación tiene sus particularidades, y ciertamente es un debate que actualmente se está llevando a cabo. No es el momento aquí de entrar en detalles, pero simplemente aportaré la idea de que el objetivo de realizar trabajos de redacción, siempre debe ser formativo, es decir; perseguimos el fin último del aprendizaje del alumno. Y si para mejorar ese aprendizaje, en ciertos momentos el alumno no debe usar la IA para ello, pero al mismo tiempo los docentes son capaces de mejorar la calidad de sus evaluaciones para que esa retroalimentación ayude al aprendizaje, pues entonces, no hay mucha duda de porqué a un colectivo (alumnado) no se le permite y a otro (profesorado) sí.

Técnicas de prompting implicadas

Ya sabemos que la IA no será más lista que los prompts que utilizas. Hay un dicho en informática que reza así: “Garbage in, garbage out”, que se puede traducir (con una ligera adaptación para nuestro contexto de interacción con la IA)  por; si entra basura, saldrá basura. Así que si no sabemos interactuar correctamente con los prompts que les proporcionamos a la IA, esta no nos devolverá nada relevante realmente.

Por eso, toda esta entrada se basa en proponer un modelo concreto de interacción con los grandes modelos de lenguaje para obtener resultados que puedan ser útiles y válidos.

Para ello, utilizaremos dos técnicas de prompting simultáneamente. 

Encadenamiento de prompts y cadena de pensamientos

• Prompt Chaining (Encadenamiento de prompts): Planificar que vamos a resolver un problema complejo mediante diferentes prompts que vamos a encadenar alternándolos con las respuestas del modelo. En lugar de proporcionar un prompt y esperar una respuesta definitiva, iremos sucesivamente interactuando con el modelos hasta llegar al resultado final deseado.
• Chain-of-Thought Prompting (Cadena de Pensamiento): Técnica que utiliza un prompt para guiar al modelo a desglosar un problema complejo en pasos lógicos, mejorando así su capacidad de razonamiento y la calidad de las respuestas.

Fase de Preparación

Difiere en su etapa de preparación según si tenemos capacidad para crear una IA personalizada (customGPT o Claude Project).

Si podemos tenemos capacidad para ello, lo ideal es crear una IA personalizada con los documentos que a continuación vamos a describir para poder reutilizarla con cada trabajo a evaluar. Si no disponemos de capacidad para ello, deberemos empezar la conversación cda vez proporcionándole estos documentos y explicándole qué son.

Debemos alimentar a la IA con tres documentos:

• Tarea
• Conocimiento
• Instrumento de evaluación (por ejemplo rúbrica)

Cada documento puede tener a nivel de contenido dos formas diferentes de presentarse. Una forma simple (que es el documento tal cual lo tendríamos en si forma original) y una forma extendida (que sería un documento con indicaciones específicas para la IA). Aunque no es necesario que los tres documentos estén en forma simple o en forma extendida, sí que es necesario que de cada documento solo exista una única versión (para no marear a la IA) y además recomendamos que sean entregados en formato markdown.

A continuación procedemos a describir en qué consiste cada documento.

• tarea:
  • forma simple: es el enunciado de la tarea que se le presenta al alumno sin ninguna modificación.
  • forma extendida: es lo mismo que lo anterior, pero aparecen una serie de indicaciones explícitamente para la IA, en las que le indicamos qué esperamos encontrar en las respuestas del alumnado, si hay alguna “trampa” en la pregunta o cualquier cosa que ayude a la IA a entender mejor la tarea.
• conocimiento:
  • forma simple: El texto teórico que sustenta la información que el alumno debe manejar para contestar la pregunta. Es decir, los apuntes de la asignatura relacionados con la tarea.
  • forma extendida: Los apuntes de la parte de la asignatura relacionada con la tarea, pero en los que se destaca qué información concreta (o cómo queremos que aparezca en la respuesta del alumno) esperamos que sea utilizada en la respuesta del alumno o qué nos parece más relevante, así como un listado de malentendidos típicos.
• rúbrica:
  • forma simple: la rúbrica que se ha de aplicar a la tarea del alumno.
  • forma extendida: lo mismo que lo anterior, pero con mas detalles de las condiciones para otorgar un determinado nivel u otro de cada ítem rúbrica.

Una vez tenemos estos tres documentos (en cualesquiera de sus versiones) podemos crear un texto que sean las instrucciones de funcionamiento de la IA.

Habiendo separado estos tres documentos de las instrucciones generales, podemos incluso crear un texto genérico que nos puede servir en otras IA para evaluar tareas diferentes.

Pero antes de presentar un ejemplo del texto, veamos en qué fases vamos a dividir nuestra evaluación.

Fase de Evaluación

Ahora se trata de usar las dos técnicas de prompting que ya hemos explicado simultáneamente y con ventanas de oportunidad para que el humano que interactúa con la IA pueda ir ajustando los procesos y resultados.

Fase 1

En esta primera fase nuestros objetivos serán:

• asegurarnos que la IA tiene en cuenta la información que le hemos proporcionado
• que haga una primera valoración general sobre el trabajo

Después de esta primera respuesta de la IA, podemos compartir con ella nuestras propias impresiones generales del trabajo e indicarle incluso sus aciertos y errores de su valoración. De este modo reajustamos la comprensión global de la calidad del trabajo del alumno.

Fase 2

En esta segunda fase nuestros objetivos son:

• que la IA aplique la rúbrica al trabajo del alumno
• que justifique con ejemplos concretos sus decisiones a la hora de otorgar los diferentes niveles de la rúbrica

Después de esta segunda respuesta de la IA, podemos igualmente indicarle si queremos que corrija alguna de las calificaciones de los diferentes niveles de la rubrica, y al mismo tiempo si estamos de acuerdo con las justificaciones elegidas o si queremos incluir o excluir alguna más.

De este modo nos aseguramos que tenemos una rúbrica aplicada, revisada por nosotros y con un conjunto de justificaciones para cada nivel.

Fase 3

En esta última fase, nuestro objetivo principal es obtener un informe de retroalimentación para el alumno. Como hemos ido paso a paso y solicitando y reajustando justificaciones de cada decisión, la IA ahora tiene mucha información para poder crear dicho informe, que puede estar redactado en las siguientes secciones:

• Nivel alcanzado: un comentario global sobre la calidad del trabajo y pequeño desglose del resultado por apartados de la rúbrica.
• Puntos fuertes: un listado, con ejemplos concretos de los aciertos y aspectos a destacar positivamente del trabajo
• Áreas de mejora: un listado con los aspectos que podrían mejorare del trabajo, señalando ejemplos concretos y proporcionando sugerencias para la mejora.
• Una frase final, con espíritu constructivo de ánimo final para seguir mejorando.

Igual que hemos hecho con todas las respuestas anteriores, somos capaces de retocar libremente este informe para el alumnado según nuestras consideraciones.

Cómo ya he indicado, posiblemente con este sistema de evaluación asistido por IA, no ahorremos apenas tiempo en la corrección de cada trabajo, pero tenemos un asistente que nos da soporte y apoyo en cada paso, y especialmente sí que nos ayuda en la generación de una retroalimentación muy completa para el alumnado que en otros casos sí que nos ocuparía bastante tiempo en realizar desde cero.

Propuesta de Instrucciones

Ahora que ya conocemos todas las fases y detalles de este sistema de evaluación, podemos presentar una propuesta de instrucciones personalizadas.

En caso de no tener capacidad para crear una IA personalizada, siempre se puede empezar cada conversación con un texto muy similar a este, e introducir a continuación los tres documentos para que los tenga en cuenta.

Eres un evaluador académico experto, especializado en brindar análisis detallado y constructivo de trabajos estudiantiles. Utiliza un tono profesional y amigable, proyectando confianza en tu capacidad para aplicar la rúbrica y analizar cada criterio con precisión. Asegúrate de que tanto el profesor como el alumno perciban tu enfoque imparcial y objetivo, destacando siempre la intención constructiva de tus comentarios. Organiza la información de manera clara y accesible, con encabezados y estructura sencilla, para facilitar la comprensión del análisis y motivar al estudiante a mejorar.

Recuerda que tienes a tu disposición estos tres documentos para realizar tu función:

• “tarea.md”: las instrucciones de la tarea que el alumno debe realizar y tú debes evaluar.
• “conocimiento.md”: los conocimientos de la asignatura que se tienen que utilizar para resolver la tarea que debes evaluar
• “rúbrica.md”:  el instrumento de evaluación que debes utilizar para evaluar la tarea.

Sigue el siguiente orden para interactuar con el profesor que te proporcionará el trabajo a evaluar.

1. Primera Interacción: Informe General para el Profesor

   – Revisa el trabajo del estudiante comparándolo con los requerimientos específicos de la tarea. Considera si el trabajo aborda los puntos clave solicitados y si cumple con las expectativas establecidas en las instrucciones.

   – Elabora un informe breve para el profesor en el que expongas tu interpretación de la calidad general del trabajo, destacando tanto sus aciertos como las áreas en las que podría no ajustarse completamente a los requerimientos de la tarea, y si tienes sospecha de que el texto ha sido generado mayoritariamente por una IA.

   – Al final del informe, formula la siguiente pregunta al profesor:

     > ¿Desea continuar con la aplicación de la rúbrica para una evaluación detallada o prefiere hacer ajustes a esta interpretación de la calidad general del trabajo?

2. Segunda Interacción: Aplicación de la Rúbrica

   – Si el profesor confirma que puedes proceder, aplica la rúbrica proporcionada en el análisis del trabajo del estudiante. Evalúa cada criterio de la rúbrica detalladamente y proporciona:

     – El nivel de cumplimiento (por ejemplo, excelente, adecuado, insuficiente).

     – Observaciones específicas para cada criterio, justificando la evaluación asignada.

   – Una vez completada la rúbrica, presenta un resumen de la evaluación basada en la rúbrica y concluye con la pregunta:

     > ¿Tiene alguna aportación o ajuste que desee hacer en la evaluación de la rúbrica, o puedo proceder con el informe dirigido al alumno?

3. Tercera Interacción: Informe para el Alumno

   – Con la aprobación del profesor, elabora el informe final para el estudiante. Este informe estará organizado en tres secciones, cada una claramente delimitada con encabezados y emojis para una comunicación más accesible.

     – [🎯 Nivel alcanzado]

       Empieza este apartado con unos comentarios generales sobre la calidad global del trabajo, y a continuación proporciona un resumen esquemático de los niveles alcanzados por el estudiante en cada criterio de la rúbrica, de forma clara y concisa. Enumera cada criterio junto con el nivel de cumplimiento, de manera que el estudiante pueda comprender rápidamente su rendimiento en cada aspecto evaluado.

     – [🌟 Puntos Fuertes]

       Identifica y destaca los aspectos positivos del trabajo. Explica cualquier característica que refleje un buen dominio del tema, creatividad, precisión, o una organización sobresaliente de ideas. Señala aquellos elementos que muestren un esfuerzo adicional o claridad destacable para reforzar la motivación del estudiante.

     – [📈 Sugerencias para Mejorar]

       Ofrece recomendaciones concretas sobre cómo mejorar en cada uno de los aspectos donde el desempeño del estudiante podría fortalecerse. Estas sugerencias deben enfocarse en las áreas que se mencionaron previamente en la rúbrica y deben ser prácticas y orientadas a mejorar habilidades específicas en el tema.

Consideraciones de Estilo:

– Utiliza un tono positivo y constructivo en todas las interacciones.

– Evita comentarios negativos directos y formula las sugerencias para mejorar como recomendaciones para el desarrollo y aprendizaje continuo.

– En el informe para el estudiante, emplea un lenguaje accesible, motivador y centrado en el crecimiento personal.

Nota Final: Antes de comenzar cada interacción, asegúrate de revisar la tarea y rúbrica para alinear tus observaciones a los objetivos de la evaluación.

Hay que tener en cuenta que, pese a que se le ha indicado en las instrucciones, hay veces que me he encontrado con que se inventa una rúbrica diferente a partir de lo que ha encontrado en la primera interacción. Para asegurarnos que sigue todos los pasos correctamente y que aplica la rúbrica que queremos, así como tener en cuenta el resto de documentos, he encontrado que es mejor empezar la conversación con una interacción previa para recordarle su tarea antes de presentarle el trabajo del alumno.

Si es posible se puede programar un iniciador de conversación como este:

Recuerda las características de la tarea que debes evaluar (tarea.md), qué conocimientos deben aplicarse (conocimiento.md) y la rúbrica que debes aplicar (rúbrica.md).

Conclusiones

Como hemos visto hasta ahora, utilizar la IA para la evaluación de tareas de redacción del alumnado no se reduce a subir el trabajo y decirle a la IA “corrige”. La IA no sabrá ni qué esperamos que demuestre el alumno, ni cómo queremos evaluarlo; y si no lo sabe se lo inventará. Además, se lo inventará de nuevo para cada corrección, lo cual equivaldría a que las expectativas y criterios cambien a cada revisión de redacción.

En esta entrada hemos intentado presentar un sistema que nos asegura que se utiliza el mismo método de corrección a cada nueva conversación y que está en todo momento dirigido por el profesor, pudiendo ajustar en todo momento, por si se desvía de nuestro propio criterio. Debemos insistir en la recomendación de que en las interacciones con la IA, el humano debe estar siempre controlando y supervisando el proceso.