Autora: Gabriela Sicilia. Universidad Autónoma de Madrid. Fundación Europea Sociedad y Educación.
Fecha y fuente: The Journal of Economic Perspectives, 2016
La reciente publicación de los resultados de la última oleada del programa PISA 2015 ha evidenciado nuevamente la presencia de diferencias sustantivas y significativas en el desempeño de los alumnos entre países. Como consecuencia, hemos visto en las últimas semanas revivir el debate y el interés público acerca de cuáles son las características que identifican a los sistemas educativos que obtienen mejores resultados académicos.
Más allá de la comparación de los resultados (promedios o distribuciones) y la elaboración de rankings de países, las evaluaciones estandarizadas internacionales representan una potencial herramienta para evaluar el impacto de las características y factores organizativos e institucionales de los sistemas educativos sobre el rendimiento de los alumnos, que sólo es posible estimar mediante la comparación entre países (ya que estas características en general, son similares a nivel nacional). En efecto, cada vez más países deciden participar en las diferentes evaluaciones internacionales (Figura 1)[1].
Figura 1. Países participantes en pruebas estandarizadas internacionales, 1964-2015
Notas: sombreado: estudios IEA pre-1995 (1964: 1er matemáticas: 1971: 1er ciencias; 1972: 1er lectura; 1982: 2do matemáticas; 1984: 2do ciencia: 1991: 2nd lectura): gris oscuro: estudio TIMSS-IEA; negro: estudio PISA-OCDE:
gris claro: estudio PIRLS-IEA.
Fuente: Woessmann,L. “The importance of Schools systems: Evidence from International Differences in Students Achievement”, IZA discussion Discussion Paper, No. 10001, June 2016 (Figure 1).
En un reciente estudio “The importance of school systems: Evidence from international differences in student achievement” el profesor Woessman (2016)[2] proporciona una sistematización exhaustiva de investigaciones académicas que estudian las diferencias internacionales en el rendimiento de los alumnos. En primer lugar, el estudio analiza la evidencia disponible en cuanto a la magnitud de las diferencias internacionales en el rendimiento de los estudiantes y la consistencia de estos resultados cuando se comparan diferentes pruebas. El análisis comparado evidencia diferencias considerables entre los países, independientemente del tipo de evaluación que se considere.
Existen diferencias considerables en el rendimiento de los alumnos entre países independientemente del tipo de evaluación internacional que se considere.
Más aún, si bien las evaluaciones de los programas TIMSS-PIRLS y PISA tienen diferente enfoque (curricular y competencial respectivamente) y se evalúan alumnos de diferentes edades, los resultados que obtienen los alumnos en ambas pruebas presentan una fuerte correlación positiva (0,944 y 0,930 en matemáticas y ciencias respectivamente). Este resultado muestra que el diseño específico de las pruebas es un aspecto secundario a la hora de realizar comparaciones internacionales.
Además, el autor explora el efecto causal de ciertos recursos educativos y factores institucionales sobre las diferencias de los logros académicos entre los países. La primera conclusión es que lo relevante a la hora de explicar las diferencias internacionales no es el nivel de recursos de que disponen los sistemas educativos en sí mismo, sino cómo los utilizan. En este sentido, el tamaño del aula juega un rol limitado, mientras que factores como el tiempo de instrucción y la calidad de los docentes juegan un rol determinante.
Lo relevante a la hora de explicar las diferencias internacionales no es el nivel de recursos de que disponen los sistemas educativos en sí mismo, sino cómo los utilizan.
En segundo lugar, el estudio concluye que ciertas estructuras institucionales de los sistemas educativos explican las diferencias en rendimiento entre países. En concreto, la implementación de exámenes externos estandarizados, la autonomía de los centros educativos y el nivel de competencia privada en el mercado son factores claves que mejoran los logros académicos de los estudiantes.
Si bien los resultados sistematizados en este estudio que surgen de las comparaciones internacionales deben interpretarse con cautela, ya que las evaluaciones estandarizadas presentan ciertas limitaciones (Woessmann, 2016, p.4)[3], es importante remarcar la utilidad de estas evaluaciones como una herramienta potente para investigar y comprehender qué características de los sistemas educativos impactan positivamente en el logro académico de los estudiantes para mejorar el diseño e implementación de las políticas y reformas educativas.
[1] Algunos países donde las competencias educativas están descentralizadas, también deciden ampliar muestras para tener representatividad a nivel regional. Por ejemplo, en PISA 2015 España ha ampliado la muestra para tener representatividad a nivel de todas sus CC.AA.
[2] Woessmann, L. (2016). “The importance of school systems: Evidence from international differences in student achievement”. The Journal of Economic Perspectives, 30 (3), 3-31.
[3] Una de las mayores limitaciones de las pruebas estandarizadas externas está en el hecho de que recogen solo una parte del verdadero producto de la educación recibida por un individuo que es muy difícil de medir debido a su intangibilidad inherente. La educación no se compone únicamente de la capacidad cognitiva, sino que comprende además otras habilidades no cognitivas como la capacidad de razonar, los buenos modales en la sociedad, la adaptabilidad, el trabajo en equipo y la capacidad de juicio crítico, todos ellos de muy difícil cuantificación, aunque sin duda relevantes a la hora de analizar los sistemas educativos (Levin, 2012).
Etiquetas: PISA / pruebas estandarizadas internacionales / Rendimiento académico / sistemas educativos / TIMSS
Gracias por la entrada, que me permite comprobar que Wössman sigue atacando.
Me atrevo a algunos comentarios, con tan solo la información del blog.
1. Los recursos no importan (al menos a partir de cierto nivel). Resultado importante, pero poco original. Se viene reiterando desde el informe Coleman, y es una de las principales aportaciones de Hanushek. Lo importante es usarlos bien: pura tautología, ¿qué es emplearlos bien?.
2. “Factores como el tiempo de instrucción y la calidad de los docentes juegan un rol determinante”. Resultado trivial si no se dan más detalles. ¿Cuánto tiempo de instrucción produce diferencias?. ¿Cuánta diferencia de calidad en los profesores?. Por cierto, ¿cómo se sabe mide la calidad de los profesores? No con datos de PISA.
3. “La implementación de exámenes externos estandarizados, la autonomía de los centros educativos y el nivel de competencia privada en el mercado son factores claves que mejoran los logros académicos de los estudiantes”. En este párrafo sobra con toda probabilidad la palabra ‘claves’. Las diferencias entre países que esos factores llegan a explicar son o muy pequeñas o nulas en los estudios anteriores de Wössman. ¿De verdead logra en este que sea distinto?.
Julio Carabaña
UCM
Buenas tardes,
En relación con este artículo,me pregunto:
-¿Qué se entiende por rendimiento de los alumnos? ¿Cómo se cuantifica?¿Sólo buenas calificaciones? Ya se apunta en la nota 3 a pie de página de las dificultades, y yo diría, riesgos a la hora de sacar conclusiones.
-¿Qué se entiende por “competencia privada en el mercado? ¿Acaso se entiende la educación como una especie de factoría para lanzar personas al mercado ¿laboral?¿O la cuestión es “vender” a padres y alumnos una “educación” que permita ser competitivos en ese mercado, sea cual sea?¿ Es la educación un producto de consumo?….Sí, preguntas, muchas preguntas ….Creo qu lo primero y básico es considerar qué es la educación y qué tipo de educación se quiere impartir. Según sea la respuesta a esta pregunta, el análisis se dirigirá en un determinado sentido.
Nieves Romero, profesora de Educación Secundaria
Muchas gracias por los comentarios, que denotan el interés por la temática y contribuyen positivamente al debate educativo, uno de los objetivos que tiene este blog.
En cuanto a las interrogantes que surgen, intentaré responder a algunas de ellas, pero antes quisiera remarcar dos cuestiones importantes a considerar la hora de interpretar los resultados.
1. Las conclusiones que surgen del artículo del profesor Woessmann no son producto de una estimación concreta, sino que son consecuencia de una sistematización de diversos trabajos previos que investigan el efecto causal de factores y variables relevantes de los sistemas educativos. Por tanto, recomiendo que para las inquietudes acerca de resultados concretos de las estimaciones de los efectos causales se consulten las investigaciones originales (algunas están replicadas en el texto de Woessmann pero no todas).
2. Es importante tener presente que la evidencia sistematizada que se discute en el artículo refiere a estudios que exploran el efecto causal de los factores educativos sobre los resultados, y no a investigaciones basadas en la exploración de asociaciones entre recursos y resultados. Desde el reporte Coleman y posteriormente con los trabajos de profesor Hanushek, la importancia de los recursos educativos ha sido cuestionada a partir del estudio de asociaciones entre resultados y recursos educativos. Sin embargo, los trabajos que exploran el efecto causal no son igual de concluyentes al respecto y el debate sigue siendo relevante. Sobre todo, cuando se evalúa el impacto de recursos como la cantidad de profesores por alumno (tamaño del aula), que son los recursos más costosos (y valiosos) en el proceso productivo. Lo mismo sucede respecto del impacto causal de factores como los exámenes externos estandarizados, la autonomía de los centros educativos y el nivel de competencia privada en el mercado sobre el rendimiento de los alumnos.
En cuanto a la cuestión de qué se entiende por rendimiento de los alumnos y por competencia privada, coincido por supuesto en que los resultados deben ser interpretados en función de cómo se definan estas variables, y que para ello existen diversas alternativas. En este caso, dado que el objeto es comparar sistemas educativos entre países, el rendimiento de los alumnos refleja el nivel de competencias adquirido en las disciplinas que se evalúan en las pruebas estandarizadas internacionales y la competencia privada refleja la proporción de alumnos que participan de la prueba que asisten a centros privados.