La evaluación mediada por tecnologías. Apostillas desde una universidad bimodal.

      Comentarios desactivados en La evaluación mediada por tecnologías. Apostillas desde una universidad bimodal.

Dr Walter Marcelo Campi – Secretario de Educación Virtual
Mg Griselda Leguizamón – Coordinación de Evaluación, Programa UVQ
wcampi@unq.edu.ar – gleguizamon@unq.edu.ar
Diciembre 2020

Antes que nada, es necesario volver a afirmar que no es lo mismo, no puede serlo, un programa de educación a distancia mediado por tecnologías, que un abordaje de emergencia para garantizar la continuidad educativa, a través de mediaciones tecnológicas en contextos de emergencia de la educación tradicionalmente presencial. Y no se trata, en modo alguno, de juegos de palabras para nada graciosos (Del Bello, 2020).

No es lo mismo porque un programa de educación a distancia debe contemplar al menos siete componentes y planificar lo más detalladamente posible cada uno de estos: un modelo pedagógico más o menos exclusivo para la modalidad; la capacitación de un equipo de docentes en competencias especificas; la previsión de  interacciones entre todos los actores y componentes, docentes entre sí y con los estudiantes, estudiantes entre si y con los docentes, y todos ellos con los contenidos; la creación de materiales didácticos más o menos exclusivos para la opción, teniendo en cuenta las características de la misma; las previsiones tecnológicas necesarias para las mediaciones e interacciones en un entorno tecnológico: las previsiones para un modelo de evaluación coherente con las características de la modalidad y que garanticen la validez y confiabilidad del mismo y, eventualmente, las previsiones relativas a las unidades de apoyo remotas, localizadas en el territorio.

La evaluación es uno de los puntos nodales que, el Argentina, están regulados de modo divergente.

Pinta tu aldea.

La Universidad Nacional de Quilmes tiene dos modalidades de evaluación divergentes, según la carrera de referencia esté acreditada como presencial o a distancia. En ambos casos debe enmarcarse en las previsiones de la Resolución CS. 201/18(I), que para cursos presenciales, virtualizados o no, se rigen por los los artículos 9 y 11 inciso b.1 y b.2. del Régimen de Estudios.

ARTÍCULO 9°: Las asignaturas podrán ser aprobadas mediante un régimen regular, mediante exámenes libres o por equivalencias.

Las instancias de evaluación parcial serán al menos 2 (dos) en cada asignatura y tendrán carácter obligatorio. Cada asignatura deberá incorporar al menos una instancia de recuperación.

El/la docente a cargo de la asignatura calificará y completará el acta correspondiente, consignando si el/la estudiante se encuentra:

  1. a) Aprobado (de 4 a 10 puntos)
  2. b) Reprobado (de 1 a 3 puntos)
  3. c) Ausente
  4. d) Pendiente de Aprobación (solo para la modalidad presencial).

Dicho sistema de calificación será aplicado para las asignaturas de la modalidad presencial y para las cursadas y los exámenes finales de las asignaturas de la modalidad virtual (con excepción de la categoría indicada en el punto d).

Se considerará Ausente a aquel estudiante que no se haya presentado a la/s instancia/s de evaluación pautada/s en el programa de la asignatura. Los ausentes a exámenes finales de la modalidad virtual no se contabilizan a los efectos de la regularidad.

ARTÍCULO 11°: En el caso de las asignaturas correspondientes a carreras de modalidad presencial se requerirá:

  1. Una asistencia no inferior al 75% (setenta y cinco por ciento) en las clases presenciales y la obtención de un promedio mínimo de 7 (siete) puntos en las instancias parciales de evaluación y un mínimo de 6 (seis) puntos en cada una de ellas; o,
  2. Una asistencia no inferior al 75% (setenta y cinco por ciento) en las clases presenciales y la obtención de un mínimo de 4 (cuatro) puntos en cada instancia parcial de evaluación; y

b.1. La obtención de un mínimo de 4 (cuatro) puntos en un examen integrador, que se tomará dentro de los plazos del curso y transcurrido un plazo de -al menos- 1 (una) semana desde la última instancia parcial de evaluación o de recuperación; o

b.2. En caso de no aprobarse o no rendirse el examen integrador en la instancia de la cursada, se considerará la asignatura como pendiente de aprobación (PA) y el/la estudiante deberá obtener un mínimo de 4 (cuatro) puntos en un examen integrador organizado una vez finalizado el dictado del curso. El calendario académico anual establecerá la administración de 2 (dos) instancias de exámenes integradores antes del cierre de actas del siguiente cuatrimestre. Los/las estudiantes, deberán inscribirse previamente a dichas instancias. La Unidad Académica respectiva designará a un/a profesor/a del área, quien integrará con el/la profesor/a a cargo del curso, la/s mesa/s evaluadora/s del/los examen/es integrador/es indicado/s en este punto.

Por su parte, el Articulo 10 regula en modo exclusivo las características del modelo educativo de la modalidad virtual:

ARTÍCULO 10°: En el caso de las asignaturas correspondientes a carreras de modalidad virtual, los/las estudiantes deberán cursar en el Campus y acreditar un examen final presencial o la instancia de evaluación final que se establezca en su reemplazo. La cursada estará aprobada, luego de la aprobación de instancias de evaluación parcial que el/la docente a cargo de la asignatura organice a tales fines. Para estar habilitado/a a rendir un examen final, el/la estudiante debe haber aprobado previamente la cursada virtual y sus instancias parciales. Las/los estudiantes que se presentaran a rendir finales, deberán presentar su Documento Nacional de Identidad o Pasaporte. Cada asignatura debe contar con un modelo de examen final virtual, diseñado por el/la docente, que consiste en una simulación del examen final presencial. Esta instancia es orientativa y no reemplaza a los finales obligatorios con previa inscripción. Los/las estudiantes que hayan aprobado la cursada virtual en las condiciones estipuladas en el artículo precedente podrán inscribirse para rendir el examen final presencial, o su equivalente, en un plazo máximo de 24 (veinticuatro) meses a ser contados desde la finalización de la respectiva cursada.

Quisiéramos poner el acento en que se regula expresamente “ examen final presencial, o su equivalente” y que esto se debe a la exigencia de la regulación nacional, la RM 2641/17(II) que en su anexo único articulo 2 regula que las universidades deben garantizar, entre otras, la  sincronía entre docentes y estudiantes a la hora de evaluarlos.

2.09. Las formas que adopta la evaluación de los aprendizajes y el desarrollo de competencias de escritura y oralidad, así como la explicitación de los procedimientos que garanticen las condiciones de confiabilidad y validez, sincronía entre docentes y alumnos.

Esta notoria diferencia, en tiempo de restricciones debido a la pandemia ha significado un importante obstáculo para la logística de exámenes finales “equivalentes” a presenciales, cómo regula la RCS 201/18 que garanticen la sincronía entre docentes y estudiantes cómo exige la RM 2641/17.

Volveremos sobre esto. A pesar de las restricciones que impone la norma, la universidad realizó un importante esfuerzo por pensar cómo colectivo, alternativas al examen oral presencial o escrito presencial, al menos en los casos que la norma no lo exige, es decir, en los cursos presenciales virtualizados por la emergencia sanitaria.

Repensar la evaluación educativa en entornos virtuales

Se invitó a la comunidad a repensar y rediseñar instancias e instrumentos de evaluación y a considerar, en un principio, los siguientes temas centrales (Tessio & Pérez, 2017):

  • La importancia de comprender los procesos de evaluación como parte de una propuesta más amplia de enseñanza que guía el aprendizaje de los estudiantes.
  • La importancia de las actividades en la programación de la enseñanza. En esta misma línea, considerar la necesaria adecuación de las actividades y los instrumentos para los estudiantes con discapacidades atendiendo a sus especificidades (visual, mental, intelectual, auditiva, física).
  • La implicancia de las devoluciones en el proceso de autoevaluación y valoración del aprendizaje del estudiante. De esta forma los estudiantes pueden valorar su propio proceso de aprendizaje, que no se da en forma lineal, sino a través de avances y retrocesos, aciertos, errores, avances espiralados, interrupciones.
  • Los momentos y tipos de evaluación de aprendizajes y la importancia de considerar la coherencia de las herramientas con el momento y el tipo de contenido o estrategia que se va a evaluar.
  • La centralidad de considerar la diferencia entre la evaluación sumativa y el significado de la evaluación formativa. Y en relación con esto, el riesgo de que se califique al estudiante sólo a partir de un resultado arbitrario en las calificaciones en los exámenes parciales o integradores.
  • La importancia de comprender que la evaluación educativa es democrática y requiere de la negociación o aclaración respecto de las evaluaciones y actividades, así como de la claridad en los tiempos de las evaluaciones optativas u obligatorias, entre otras cuestiones.
  • La relevancia de los criterios de evaluación que deben ser públicos y que se deben dar a conocer con anterioridad a la instancia de evaluación, incluidas las rúbricas y las escalas de valoración.

Estrategias pedagógico-didácticas:

Considerando las particularidades disciplinares de cada asignatura, la estrategia pedagógico-didáctica y los recursos técnicos y digitales existentes en el campus virtual, en nuestro caso un fork de Moodle 3.x, se pueden desarrollar diferentes instancias de evaluación.

Es decir que existen diferentes formas de evaluación, pero ninguna puede considerarse definitivamente mejor que otras dado que su calidad radica en su adecuación al desarrollo de un campo disciplinar, a los sujetos implicados y a la situación específica de su aplicación (Garbarini, 2020); aunque siempre debe presentarse de forma clara y al inicio de la cursada, cuáles serán los criterios de evaluación, cuántas instancias de evaluación se planifican y la metodología que se utilizará. Además, los criterios de evaluación también deben publicarse claramente en el aula, antes del desarrollo de cada instancia evaluativa.

En este sentido tenemos dos grandes enfoques para diseñar la evaluación considerando que “evaluar” es un proceso integral y una acción estrechamente ligada con el proceso de enseñanza y de aprendizaje y con los objetivos pedagógicos planteados.

Para los cursos presenciales virtualizados recomendamos combinar metodologías formativas y sumativas. Es importante hacer un seguimiento del proceso de aprendizaje de los contenidos y del grado de comprensión de cada tema por parte de los estudiantes. Las evaluaciones formativas, pueden ser complementarias a las instancias de evaluación parcial o a los exámenes integradores, en las cuales se acreditan los aprendizajes logrados y estar plasmadas como actividades prácticas semanales, por ejemplo.

“Se podría afirmar que la evaluación no solo no es algo ajeno al proceso de enseñanza y de aprendizaje, sino que constituye un ingrediente esencial del mismo: es el instrumento básico que permite el ajuste de la ayuda educativa que brinda el profesor a sus alumnos.” (Coll & Onrubia, 2002)

En concordancia, es de suma importancia mantener un intercambio y una retroalimentación constante con los alumnos para poder guiarlos durante el proceso, realizando devoluciones a cada actividad (reflexiones que sinteticen intervenciones de los alumnos, recomendaciones puntuales en base a errores sistemáticos identificados en las respuestas, correcciones individuales numéricas o conceptuales, entre otras).

Estas devoluciones (Wilson, 2006) pueden ser formales (valoraciones, notas, calificaciones conceptuales) o informales (conversaciones, comentarios de profesores/as o estudiantes, explicaciones) y se pueden realizar de las siguientes maneras: verbal (podcast, conferencia telefónica, audios); no verbal (por ejemplo: lenguaje de señas, gráficos, imágenes, tablas); escrita (doc, pdf, odt, excel); actuada (audiovisuales). Finalmente, resulta relevante que la evaluación sea realizada no solo por el profesor/a a cargo del curso (heteroevaluación) sino también por los/as compañeros/as (coevaluación) y por el/la mismo/a estudiante (autoevaluación).

Instancias de Evaluación:

Exámenes integradores o libres:

Pueden ser orales:

Individuales o grupales: por videoconferencias.

En estos casos, se debe pactar e informar con la mayor antelación posible el día y horario, y el tipo de videoconferencia a utilizar.

En el caso de considerarlo necesario se pueden validar los datos y la identidad de las/os estudiantes al habilitar el espacio de evaluación de la asignatura. También es recomendable grabar las sesiones y guardarlas en un espacio de almacenamiento que permita futuros accesos de auditoría.

Es importante tener en cuenta la cantidad de estudiantes a evaluar y la duración del examen por las restricciones de conectividad y duración de las mesas.

En el caso de ser grupales se conformarán coloquios posteriores a un trabajo grupal (escrito, audiovisual, etc.) que ya haya sido evaluado por el/la profesor/a con anterioridad.

Resulta interesante en la opción grupal, que los compañeros realicen una coevaluación entre pares en base a criterios anteriormente definidos.

Pueden ser escritos:

Trabajos Finales Individuales: se publican las Consignas en el aula y las resoluciones (en diversos formatos: audios, documentos, excel, videos, web, imágenes cuyo peso no sea excesivo) que se pueden enviar a un espacio de Tareas determinado en el aula virtual.

Hay que recordar que se debe pactar la fecha de entrega y luego configurarla en el espacio de Tarea. También la calificación (nota) o escala (conceptual) debe ser establecida en Calificación y configurar adecuadamente la retroalimentación eligiendo su tipo: comentarios, anotaciones en PDF, archivos adjuntos.

Trabajos grupales o colaborativos: pueden realizarse en la misma forma que los trabajos individuales o con la utilización de Wikis o documentos compartidos que permiten efectuar el seguimiento histórico de las participaciones personales, o configurar una actividad en una Base de datos para que los/as estudiantes puedan realizar coevaluaciones grupales en base a rúbricas sencillas o escalas de valoración conceptuales.

Ambas instancias pueden complementarse con una defensa oral por videoconferencia tal como ya fue definido en las evaluaciones orales. En estas instancias orales se pueden implementar Autoevaluaciones.

Otra opción para complementar las evaluaciones escritas es solicitar a los/as estudiantes que se filmen exponiendo sus defensas en un lapso corto de 2 o 3 minutos, que suban sus producciones audiovisuales al campus virtal o un almacenamiento externo, por ejemplo a un canal alternativo o a una nube y luego compartan el enlace con el/la profesor/a.

Portafolios: los e-portafolios permiten involucrar a cada estudiante en su propio proceso de aprendizaje y a la vez, el profesor puede seguir el grado de avance de los aprendizajes construidos y la profundidad de lo producido. Constituye un registro de los aprendizajes del estudiante que reúne materiales creados en el proceso de aprender.

El portafolio es elaborado por cada estudiante a lo largo de parte o de toda la cursada, y posibilita entregas parciales (evaluaciones formativas) y la entrega completa al finalizar el curso (evaluación sumativa), por lo tanto, sirve también como instancia de evaluación de proceso o parcial.

Los portafolios pueden ser confeccionados en torno a problemas, temas en controversia, biografías, propuestas de acción, proyectos de investigación bibliográfica o experimental, reseñas y comentarios sobre noticias científicas aparecidas en diarios y /o revistas, informes de laboratorio, monografías, narraciones propias, registros de observaciones, etc.

Se publican en sitios especiales, por ejemplo, foros de Moodle creados cómo grupos separados no visibles de un sólo integrante, cómo grupos de un integrante visibles, o bien utilizando la herramienta URL el profesor puede proporcionar uno externo y/o pueden alojarlos en espacios externos propios y luego compartir sus enlaces. Pueden ser evaluados por pares  como coevaluación e incluir autoevaluaciones.

Audiovisuales: consisten en una grabación narrada de una obra o producción realizada de acuerdo con los requerimientos estipulados en las Consignas.

Pueden realizarse en forma individual o grupal. Generalmente, debido a su peso es necesario almacenarlos como en el caso anterior en un espacio externo y luego, compartir el enlace, por ejemplo aprovechando la tecnología Peertube creando previamente una cuenta en https://joinpeertube.org/

Cuando las instancias de evaluación se utilizan en casos de masividad debe tenerse en cuenta la conectividad y la capacidad de los servidores para evitar la saturación y que, en consecuencia, algunos estudiantes no puedan acceder a las mismas o no puedan subir sus producciones a los espacios determinados, en los tiempos previstos para la entrega. Para ello es importante solicitar a nuestros administradores de sistemas que realicen previamente pruebas de estrés e informen las capacidades aproximadas para conexiones simultaneas o concurrentes.

Evaluaciones parciales:

El aula virtual cuenta con una serie de instrumentos para realizar evaluaciones parciales o procesuales.

“Existe una variedad de modelos de instrumentos de evaluación. Cada uno de ellos, tomado aisladamente, es insuficiente para obtener información sobre el aprendizaje de los alumnos. El diseño del programa exige, pues, la combinación de instrumentos diversos para obtener una cobertura adecuada. La eficacia de la evaluación depende, entonces, de la pertinencia de la combinación de diferentes instrumentos, oportunidad en que se administran y de la inteligencia y propiedad del análisis e interpretación de sus resultados.” (Camilloni, 1998)

E-portafolios, bitácoras o diarios del profesor: permiten visualizar y seguir procesos de elaboración y producción que realicen los estudiantes por etapas, en base a un proyecto, temática particular o consignas metacognitivas transversales de la cursada. Pueden subirse a Tareas y ser calificados o valorados conceptualmente.

Cuestionarios: permite al profesor diseñar preguntas de tipo verdadero/falso, multiple choice, respuesta corta, ensayo, emparejamiento, entre otras. La opción de respuesta corta, se configurar para solicitar respuestas numéricas o palabras concretas. Todas las respuestas pueden ser calificadas automáticamente o recalificarse manualmente, sobre todo en el caso de la opción de ensayo o respuesta corta. Se puede programar con un tiempo determinado para ser resueltos y fecha de realización, así como establecer la cantidad de intentos para responder el cuestionario.

Embeber Google Forms, nativa en Classroom, puede usarse en Moodle mediante la opción de “etiquetas” del campus que permite embeber formularios creados previamente en Google Drive. Google Forms da la posibilidad de segmentar por hojas la cantidad de preguntas que uno desee y por temas, pueden ser calificables automáticamente o no y se pueden configurar respuestas obligatorias, así como ver estadísticas parciales o totales con gráficos. También se pueden exportar a excel todas las respuestas cargadas por los estudiantes y tener registro de fecha y horario en el cual se resolvió. Google Forms, permite crear preguntas de tipo verdadero/falso, multiple choice, respuestas corta, emparejamiento, verificación múltiple y combinada, entre otros.

Wikis Colaborativas: son espacios de trabajo colaborativo que permiten ver las ediciones realizadas por cada estudiante en dicho espacio y que son guardadas progresivamente en relación con una consigna dada; pueden ser utilizados para trabajos grupales parciales o finales.

Foros de debate: permiten abrir temas específicos de debate y pedir opiniones argumentadas teóricamente sobre cuestiones relevantes de la materia; se les puede solicitar que hagan aportaciones novedosas y/o continúen ampliando o contra argumentando las opiniones de los pares (lo que les obliga a leer las opiniones previas) y que realicen las citas de las fuentes en las que se han basado para realizar su contribución al foro utilizando alguna norma vigente (por ejemplo: APA 7ma edición). Pueden configurarse para enviar adjuntos y colocar una calificación individual o una valoración.

Se debe tener siempre presente que todas las instancias de evaluación a distancia deben cumplir con las condiciones de validez y confiabilidad (Garbarini, 2020), para asegurar que estas condiciones se cumplan, resulta indispensable especificar en cada instancia de evaluación las siguientes características:

  • la funcionalidad: formativa / sumativa;
  • la temporalidad: inicio / proceso / final;
  • los sujetos implicados: autoevaluaciones / coevaluaciones / heteroevaluaciones.

Prometimos volver sobre las limitaciones de la interpretación de finales “equivalentes” a presenciales, cómo regula la RCS 201/18 y que garanticen la sincronía entre docentes y estudiantes cómo exige la RM 2641/17.

Lamentablemente nuestra comunidad interpreta en modo excluyente la sincronía como sinónimo de videoconferencia, lo que reduce drásticamente las posibilidades a exámenes orales individuales o grupales por videoconferencia y a exámenes escritos, en cualquiera de sus modalidades, individuales o grupales supervisados por videoconferencia.

Esto genera, además de un limite, una importante confusión, tal vez dos. Se confunde sincronía con videoconferencia, siendo que existen otras formas de sincronía, tales cómo una sesión de audiconferencia, sin video, e incluso una sesión de chat sincrónico. También es sincrónico que evaluador y estudiante estén conectados al mismo servidor en una hora pactada ex ante para intercambiar un documento, un audio, una imagen o cualquier tipo de archivo digital o digitalizado que se haya desarrollado sin supervisión. Y es esta la segunda confusión, tristemente muy generalizada y firmemente asentada sobre la desconfianza sobre la mediación tecnológica: confundir la evaluación con la vigilancia, homologando al docente con el gendarme que identifica a un pasajero en una frontera.

Esta confusión es tan frecuente que las universidades de Argentina han desarrollado como colectivo a través del SIU una herramienta, el SIU Quechua(III), que valida la identidad de los estudiantes ante el Registro Nacional de las Personas por medio de un software de reconocimiento de rostros.

Esta confusión es tan frecuente que las universidades del mundo invierten grandes cantidades de dinero en la contratación de software de proctoring.

Pero validez y confiabilidad, finalmente, es otra cosa.

Notas

I Texto unificado del Régimen de Estudios para los/ las estudiantes regulares de las carreras de pregrado y grado de la UNQ, según Resolución (CS) Nº201/18 y modificatorias http://www.unq.edu.ar/advf/documentos/5c23b0c6a8a03.pdf

II Aprobar el documento sobre la opción pedagógica y didáctica de Educación a Distancia propuesto por el CONSEJO DE UNIVERSIDADES RM 2641/17 http://servicios.infoleg.gob.ar/infolegInternet/anexos/275000-279999/275872/norma.htm

III SIU-Quechua para la identificación digital de estudiantes de instituciones universitarias públicas https://www.cin.edu.ar/siu-quechua-para-la-identificacion-digital-de-estudiantes-de-instituciones-universitarias-publicas/

Referencias

Camilloni, A. (1998). Calidad de programas e instrumentos de evaluación. La evaluación de los aprendizajes en el debate didáctico contemporáneo, Buenos Aires/Barcelona/México, Paidós, 67-91.

Coll, C., & Onrubia, J. (2002). Evaluar en una escuela para todos. Cuadernos de pedagogía, 318, 50-54.

Del Bello, J. C. (2020). Lecciones de la educación universitaria en tiempos del COVID-19. Debate Universitario, 8(16), 85-86.

Garbarini, L. (2020). RUEDA CIN. Sugerencias para los exámenes finales y parciales a distancia en las universidades nacionales en el contexto del COVID-19 [Informe].

Tessio, N., & Pérez, E. (2017). Seminario: Evaluación de los aprendizajes y de la enseñanza. Carrera de Especialización en Docencia en Entornos Virtuales [Material multimedial (MDM)].

Wilson, D. (2006). La retroalimentación a través de la pirámide. Traducido al español por Patricia León Agusti, Constanza Hazelwood, Maria Ximena, Barrera.