Análisis:el blog de Sociedad y Educación

Autor: Óscar D. Marcenaro-Gutiérrez. Catedrático de Economía Aplicada de la Universidad de Málaga.
Entrada basada en el artículo Language at home and academic performance: The case of Spain, del que son autores Luis López-Agudo,  Sara González y Oscar Marcenaro-Gutiérrez. Economic Analysis and Policy. 

La influencia causal de las diferencias entre la lengua hablada en casa y la de las pruebas de evaluación

En los programas internacionales de evaluación del rendimiento académico, entre los que destaca por su popularidad PISA (Programme for International Student Assessment), los estudiantes migrantes obtuvieron peores resultados que los nativos en todas las competencias evaluadas y en la mayoría de los países en los que se administraron.

Entre las razones argumentadas para ello se encuentra el hecho de que la lengua que hablan estos migrantes en casa, cuando no coincide con la lengua de enseñanza, puede condicionar un peor rendimiento que el de sus compañeros nativos. De hecho, según la OCDE (2018) “los estudiantes inmigrantes de los países de la OCDE que no hablan el idioma de evaluación en casa tienen alrededor de ocho puntos porcentuales menos probabilidades de ser académicamente resilientes que los estudiantes inmigrantes nativos” (p. 14).

En el caso de España, esta coincidencia entre la lengua de las pruebas de evaluación y la lengua utilizada en casa también parece ser un tema relevante para explicar el rendimiento académico de los estudiantes, no solo para el estudiantado inmigrante, sino también para los estudiantes nativos en aquellas regiones donde existe una lengua cooficial además del español.

Centrándonos en la prueba PISA, se han destacado, por ejemplo en el caso de Cataluña, las diferencias en términos de rendimiento académico entre el alumnado que realizó la prueba en una lengua diferente a la que hablaban en casa; en particular, Convivencia Cívica Catalana (2015) indicó que, en PISA 2015, los estudiantes que no hablaban catalán en casa tenían una tasa de fracaso (no superaban el nivel mínimo de competencia) que era dos veces mayor a la de los estudiantes que hablaban catalán. Además, este informe destaca que esto ha sido un problema desde el comienzo de PISA. Por otra parte, en un informe reciente, Calero y Choi (2019), utilizando técnicas de estimación no causal, también encontraron un menor rendimiento académico en lectura y ciencias que los estudiantes que no hablaban catalán en casa.

La lengua de la prueba en Cataluña

Una cuestión esencial al respecto, sobre la que la literatura ha puesto poco énfasis, es que de la observación de la información aportada por PISA sobre la lengua de la prueba para Cataluña se infiere que todo el alumnado realizó las pruebas PISA en catalán en todos los ciclos PISA, independientemente de la lengua que usaban en casa.

A priori, esto contradice las indicaciones de la OCDE de permitir que los estudiantes realicen las pruebas de evaluación de competencia en la lengua en que se sientan más cómodos, de modo que la puntuación de la prueba refleje realmente la competencia que se evalúa y no se vea influida por el nivel de habilidades lingüísticas del estudiante. Específicamente, el Estándar 2.1 en los informes técnicos de PISA indica que: “Se asume que los estudiantes evaluados han alcanzado un nivel de comprensión en el idioma de instrucción que es suficiente para poder trabajar en la prueba de PISA sin encontrar problemas lingüísticos (…). Por lo tanto, el nivel de alfabetización en lectura, matemáticas y ciencias puede evaluarse sin interferencias debido a una variación crítica en el dominio del idioma” (OCDE, 2012a, págs. 369-370).

Ante esta aparente contradicción, en López, González y Marcenaro (2021) se abordó un análisis, recientemente publicado en la revista científica Economic Analysis and Policy, en el que se ha tratado de responder a la siguiente pregunta: ¿El rendimiento del alumnado en las pruebas de competencia lingüística y matemática de PISA se ve obstaculizado por realizar la prueba en una lengua diferente a la que se utiliza en casa? Para responder a esa cuestión se utilizó metodología cuasi-experimental que permitió acercar al efecto causal de ese desajuste sobre el rendimiento del alumnado, empleando los datos referidos a España durante 5 ciclos de PISA (2006-2018), superando así los resultados de aportaciones previas, como las mencionadas, que cuantificaban meras correlaciones.

Los resultados obtenidos muestran que los estudiantes que no realizaron la prueba en la lengua que usaban en casa obtuvieron un rendimiento 0,24 desviaciones estándar más bajo en lectura y 0,06 desviaciones estándar más bajo en matemáticas, que el alumnado que si la realizó en la lengua empleada en casa.

Ese impacto negativo es relevante, puesto que esas 0,24 desviaciones estándar se traducen en alrededor de 24 puntos menos en las puntuaciones de PISA, que es aproximadamente la distancia entre las puntuaciones medias de la OCDE y las del conjunto del territorio de España (en PISA) y representa más de medio año de escolaridad. Por lo tanto, es posible que estas pruebas no midan las competencias de los estudiantes de manera precisa, ya que las calificaciones de los estudiantes pueden estar sesgadas por las dificultades de algunos estudiantes para comprender el contenido de la prueba, debido a su menor competencia en la lengua de la prueba; además, no se puede descartar que el alumnado que no habla la lengua cooficial en el hogar alcance los 15-16 años de edad (momento en el que los evalúa PISA) con un menor nivel competencial general, fruto de desajustes en años previos entre el uso lingüístico que hace en el hogar y en el centro educativo, que sería un potencial déficit que la técnica quasi-experimental empleada permitiría aproximar.

Recomendaciones para la evaluación del desempeño en regiones con lenguas cooficiales 

En síntesis, nuestros resultados indican que la aplicación del Estándar PISA 2.1 no se está cumpliendo en todas las regiones españolas y ciclos PISA, lo que podría estar influyendo en los resultados obtenidos por los estudiantes, así como en la comparabilidad entre ciclos PISA.

En nuestro estudio de investigación esto también se comprueba claramente en el caso de Galicia, en el que encontramos que dejar que los alumnos eligieran la lengua de la prueba en los últimos ciclos de PISA (2015 y 2018) no perjudicaba su rendimiento académico, y que obligarlos a realizar la prueba en un lengua particular en ciclos anteriores influyó negativamente sobre sus resultados. Por lo tanto, sugerimos que los supervisores de la OCDE presten especial atención a la aplicación adecuada del Estándar 2.1 de PISA.

La aplicación del Estándar 2.1 de PISA es relevante en regiones con lenguas oficiales.

Otro resultado interesante es que esta influencia negativa del desajuste entre la prueba y los idiomas del hogar es cuatro veces mayor para la competencia lectora que para las matemáticas. Este resultado parece lógico, ya que la competencia lingüística es más relevante en la prueba de lectura que en la prueba de matemáticas. Por lo tanto, podemos ver que la falta de competencia en el idioma tiene un “efecto derrame” (“spill-over effect”) que podría empeorar el rendimiento en competencias como las matemáticas.

Por último, el desajuste entre la lengua empleada en la prueba de evaluación y la lengua empleada en el hogar puede convertirse en un tema aún más grave si las decisiones de política educativa se basan en los resultados en este tipo de pruebas de competencias.