Publicado el 01 Dic 2014 / 1 comentario

“Lo que no se mide, no se puede mejorar”: evidencia del impacto del sistema de evaluación IMPACT sobre el desempeño docente

Por Gabriela Sicilia (UCM)
Fundación Europea Sociedad y Educación

 

La calidad de los docentes es un elemento clave del rendimiento académico de los estudiantes y de su desarrollo futuro. Sin embargo, su definición y medición no son nada evidentes y no existe consenso aún sobre cómo lograr mejoras sistemáticas en el desempeño. En general, el principal punto de controversia radica en qué aspectos del desempeño medir, cómo medirlos y cómo establecer los estándares de calidad mínimos e incentivos adecuados para alcanzarlos. En este sentido, en un reciente estudio[1] los profesores Thomas Dee y James Wyckoff aportan nueva evidencia acerca del impacto sobre la retención (permanencia en el sistema) y el desempeño de los docentes del controvertido sistema de evaluación docente IMPACT, implantado en los colegios públicos del distrito de Columbia desde el curso académico 2009-2010.

IMPACT es un potente sistema de evaluación docente diseñado para impulsar mejoras en el desempeño docente y el rendimiento de los estudiantes. Al finalizar el año académico, cada docente recibe una puntuación individual de su desempeño basado en múltiples componentes de su actividad (observaciones de los directores y externas de las clases que imparte, rendimiento académico de los alumnos, evaluación del director del grado de compromiso del profesor con la comunidad escolar y el valor añadido del colegio en el rendimiento de los alumnos)[2]. En función de la puntuación obtenida, los docentes se clasifican en cuatro categorías: “Muy Efectivo” (HE), “Efectivo” (E), “Mínimamente Efectivo” (ME) e “Inefectivo” (I). Los docentes categorizados como I son despedidos automáticamente. Los clasificados como ME están sujetos a amenaza de despido si en el próximo año no alcanzan la categoría E o HE. Asimismo, los docentes clasificados como HE reciben un bono económico anual, el cual se incrementa al año siguiente si se mantiene en dicha categoría. El programa IMPACT tiene ciertas características que lo hacen altamente creíble y por tanto atractivo a la hora de evaluar su impacto: introduce incentivos de alto impacto tanto para los docentes de bajo como alto desempeño, considera diversas facetas del despeño docente y no sólo el rendimiento de los alumnos como muchos otros programas, y es aplicado a gran escala (a diferencia de un programa piloto que no tiene la misma credibilidad). La Figura 1 muestra la distribución de los docentes evaluados según categoría de desempeño para los cursos 2009-2011, 2011-2012 y 2012-2013 donde se observa que la puntuación ha mejorado para todos los docentes en los sucesivos cursos académicos (la distribución se desplaza hacia la derecha).

Asimismo, la Figura 2 muestra la evolución de la retención o permanencia docente en función de la categoría IMPACT donde se observa que el programa incentiva a los docentes de bajo rendimiento al retiro voluntario. En efecto, una cuarta parte de los docentes “Mínimamente Efectivos” se retiran del sistema voluntariamente.

Figura 1. Distribución de docentes según puntuación IMPACT, 2009-2010 a 2011-2012.
Fuente: Elaboración propia según Dee y Wykoff (2013).

 

Figura 2. Retención docente según puntuación IMPACT, 2010-2011 a 2011-2012.
Nota: Las puntuaciones IMPACT corresponden al curso académico 2009-2010 y 2010-2011. La retención corresponde a la observa en el año siguiente.
Fuente: Elaboración propia según Dee y Wykoff (2013).

 

Sin embargo, del análisis descriptivo anterior no es posible establecer relaciones de causalidad. Es decir, parte de la evolución observada podría deberse a otros factores o cambios ocurridos de manera simultánea a la implementación del programa. Para poder analizar rigurosamente el impacto causal del programa en el desempeño y retención docente, los autores aplican una técnica de evaluación de impacto cuasi-experimental: la “regresión en discontinuidad”[3]. Los resultados obtenidos por los autores evidencian que las amenazas de despido no sólo aumentaron el abandono voluntario de los profesores de bajo rendimiento, sino que además mejoraron el desempeño de los que permanecen en el sistema educativo. Asimismo, los autores encuentran que los incentivos financieros son efectivos para mejorar el desempeño de los docentes de alto rendimiento.

En resumen, el presente estudio aporta nueva evidencia sugiriendo que evaluar múltiples rasgos de la actividad docente junto con el rendimiento de los estudiantes conduce a una mejora del desempeño de los docentes y a retener en el sistema a aquellos más efectivos. Definir, medir, evaluar e incentivar la mejora del desempeño docente implica grandes desafíos y no existe una receta general aplicable a todos, sino que cada sistema educativo deberá tener en cuenta sus particularidades. Sin embargo, el hecho de ser una tarea desafiante no debería desalentar su diseño e implementación, ya que para mejorar hay que evaluar.

___
LINKS

blog.educalab.es
www.mecd.gob.es
www.mecd.gob.es
___
NOTAS
[1] Dee, T., & Wyckoff, J. (2013). “Incentives, selection, and teacher performance: Evidence from IMPACT” (No. w19529). National Bureau of Economic Research.

[2] La mayoría de los profesores son evaluados en función de estos cuatro componentes, aunque existen algunas excepciones y particularidades dependiendo del tipo de asignatura que el docente imparta. Para mayor detalle de la forma de puntuación ver pp. 8-10.

[3] La “regresión en discontinuidad” estudia los efectos locales de una intervención en torno al umbral o punto de corte que define una intervención. Las unidades que están justo por debajo y justo por encima del punto de corte son muy similares, sin embargo, por razones aleatorias unas caen por debajo y otras por encima del umbral y por tanto la asignación al programa entre éstas unidades se considera aleatoria. En este estudio, para observar el efecto de la amenaza de despido, los autores comparan los docentes en torno al punto de corte (E) y para estudiar el efecto de los incentivos financieros comparan los docentes que se encuentran en torno al punto de corte (HE).