Maximizar el aporte que pueden entregar los datos de las evaluaciones docentes, fue el objetivo con el que Pablo Marshall, académico de la Escuela de Administración UC, desarrolló la investsigación “ Contribution of open-ended questions in student evaluation of teaching”. El paper se publicó en Higher Education Research & Development.

¿De qué manera podemos explicar, básicamente, de qué se trata esta investigación?

Las encuestas de evaluación docente (EED) son aplicadas en la gran mayoría de las universidades e instituciones de educación superior para evaluar el desempeño docente de los profesores en los cursos. Las EED consideran típicamente una evaluación cuantitativa global del profesor y/o del curso, evaluaciones cuantitativas específicas del profesor como: conocimiento, claridad de enseñanza, organización de la clase, cercanía, honestidad, contribución al aprendizaje del alumno, etc. Además de evaluaciones cuantitativas específicas del curso como dificultad, organización, sistema de calificación, horarios, etc. Adicionalmente, al final de la encuesta, los estudiantes tienen, típicamente, la opción de hacer un comentario sobre el profesor y/o el curso. El objetivo de este estudio es medir el aporte que se puede obtener del análisis de los comentarios que hacen los estudiantes en las preguntas abiertas de la EED y testear una metodología de text analytics para el análisis masivo de estos textos. La pregunta de investigación central que se quiere responder es si el número de comentarios positivos, el número de comentarios negativos, y los tópicos o temas que abordan los estudiantes en la EED pueden ayudar a obtener un análisis más completo y una medición más válida y/o confiable de la experiencia de aprendizaje de los estudiantes.

¿De dónde nace tu interés por investigar sobre este tema?

En los últimos años han surgido cuestionamientos a las EED. Las tasas de respuesta de los estudiantes han disminuido y la validez predictiva de estos instrumentos para el aprendizaje de los estudiantes se ha cuestionado. Muchas veces los profesores comentan que una de las partes más informativas de la EED son los comentarios que espontáneamente realizan los estudiantes como parte de la encuesta. Y si bien los profesores pueden mirar los comentarios que hacen los estudiantes en sus cursos, es difícil hacer un análisis de todos los comentarios en todos los cursos de manera que las autoridades académicas puedan disponer de la información completa, de forma que puedan gestionar los programas de perfeccionamiento en docencia, evaluar de manera más completa el desempeño de los profesores, además de elaborar informes de desempeño docente en procesos de acreditación.

¿Cómo se llevó a cabo? Entiendo que se tomó una muestra de 737 cursos impartidos, ¿pero son datos a partir de un número específico de estudiantes?

En este estudio se utilizan datos de la EED de todos los cursos que dicta la Facultad de Economía y Administración en pregrado durante los años 2017 y 2018 en formato presencial. El 51.4% de los estudiantes responden la encuesta y, en promedio, el 77% de los estudiantes realiza algún comentario. El 42% de los estudiantes realiza un comentario positivo y el 36% un comentario negativo.

¿Cuáles son las principales conclusiones y por qué te parece que estas son relevantes? 

Los resultados de aplicar la metodología de análisis de texto Latent Dirichlet Allocation a la EED muestra la presencia de 8 tópicos en los comentarios positivos y 12 tópicos en los comentarios negativos. Los conceptos latentes a estos tópicos muestran que la mayoría de estos son interpretables, obedecen a conceptos intuitivos y son bastante específicos por lo que pueden ser muy útiles como feedback para los profesores y para las autoridades. Los tópicos se pueden agregar en dimensiones más amplias: en el caso de los positivos se refieren a la disposición del profesor (25%), el que facilite el aprendizaje (63%) y uso de aplicaciones y ejemplos reales (12%). En el caso de los tópicos extraídos de los comentarios negativos, estos se agregan en el sistema de evaluación y calificación (40%), aspectos que no facilitan el aprendizaje (35%), coordinación con el ayudante (16%) y uso de aplicaciones y ejemplos reales (9%). Aproximadamente el 50% de los temas o tópicos relevados por los estudiantes en sus comentarios son directamente accionables y pueden mejorar la experiencia de aprendizaje de los estudiantes.