José S. Martínez

Los padres consultan estos días con el banco y con los reyes magos la pertinencia o no de regalar vídeoconsolas a sus hijos. Hay cierto pánico moral con estos inventos del demonio, pues es normal temer lo que se desconoce y es más fácil “elegir” estar a favor o en contra de algo que dedicar tiempo para tomar una posición matizada. Por suerte, los menores cuentan con aliados entre los adolescentes cuarentones, que somos de la primera generación de vídeojugones.

Recientemente, en el blog «Nada es gratis» se ha publicado una entrada sobre este tema por Antonio Cabrales y Florentino Felgueroso (Los regalos, aún los de Reyes, tampoco son gratis: videoconsolas y efecto sobre la lectura en PISA), aprovechando que los datos del reciente informe PISA, dedicado a rendimiento educativo de los jóvenes, tiene en cuenta si en casa tienen una vídeoconsola y si la usan. Permítanme establecer polémica con este blog, en este tema concreto, pues en su razonamiento he visto varios de los errores que comúnmente se cometen en la interpretación de los datos de PISA. Una equivocación es fallar en la interpretación de las puntuaciones de PISA.Estas pruebas contienen dos tipos de errores, uno puramente aleatorio (son muestrales) y otro de medición (las preguntas que emplean para medir el nivel de competencia pueden ser equivocadas). El primer error es fácil de estimar, el segundo no. Por otro lado, está la cuestión de cómo interpretar las diferencias en puntuaciones; teniendo en cuenta que la media es de 500 y la desviación típica es de 100, si convertimos 10 puntos PISA en estatura (suponiendo una estatura media de 170 cm. y que el 95,5% de la población esté entre 150 cm. y 190 cm.), esos 10 puntos serían equivalentes a un centímetro, y ese centímetro es el margen de error aleatorio (es decir, entre 490 y 500 puntos de la diferencia puede ser por puro error estadístico). Lo digo porque estoy cansado de ver grandes propuestas de reformas educativas basadas en diferencias que son errores estadísticos o «milímetros» de estatura. Si los autores tuviesen esto en cuenta, verían que no en todos los países las vídeoconsolas producen efectos sobre la lectura.

Otro fallo común es la comparación alegre entre países. Hay patrones de relación entre los datos que operan en el mismo sentido en los 65 países participantes y en todas sus regiones. Por ejemplo, los jóvenes con padres de mayor nivel educativo o de más estatus social siempre puntúan mejor. Sin embargo, hay relaciones que son positivas en unos países o regiones y negativas en otras. Por ejemplo, el sistema educativo francés es muy centralizado, mientras que el de EEUU es muy descentralizado, y sin embargo sus resultados son muy similares. O cuando aplicamos una mirada temporal, en EEUU los resultados actuales son muy parecidos a los de 2000, pero en 2002 se aplicaron importantes reformas educativas, y los resultados en 2009 son similares a los de 2000. Julio Carabaña ha analizado con detalle este tipo tan frecuente de error en el análisis de PISA. El fallo metodológico que subyace a este tipo de comparaciones es aplicar análisis estadístico a países, cuando no se cumple uno de los supuestos básicos de la estadística: que las unidades comparadas sean homogéneas. Esto quiere decir que la inercia histórica e institucional puede llevar a que políticas que son buenas en un país son totalmente inaplicables en otro país. Pensamos mucho cómo copiar las recetas educativas finlandesas, pero nos olvidamos en que allí no cierran las puertas de la casa o de los coches con llave, es decir, que el nivel de confianza (capital social) es mucho mayor, por lo que no es necesario establecer tantos controles sobre la actividad del profesorado o del alumnado como en otros sitios.

Entrando ya en faena, si ven uno de los gráficos del citado blog (pinche aquí) podrán observar que jugar con la videoconsola tiende a producir efectos negativos en lectura. La explicación de este hecho, según los autores, podría ser que el tiempo dedicado a la videoconsola es tiempo que se sustrae a la lectura. Pero la evidencia no es tan robusta, pues en unos países el efecto es positivo, mientras que en otros es neutral (recuerden que 10 puntos de PISA son la horquilla del error aleatorio), aunque ciertamente en la mayoría es negativo. El efecto positivo podría deberse al bajo nivel de desarrollo de estos países (Panamá, Jordania y Turquía), pero ¿por qué no en otros países de bajo nivel de desarrollo, como Bulgaria o Trinidad y Tobago? En Suecia, Chile o España parece que las diferencias no son significativas, y sin embargo lo son en Noruega o en lo que fue Checoslovaquia. Moraleja: no conviene hacer comparaciones entre países si no conocemos a fondo las peculiaridades de cada país. Quizá sea cierto que en unos países el tiempo del videojuego se sustrae a la lectura, pero quizá en otros se sustrae de ver Gran Hermano o de jugar al fútbol. O puede que la relación sea más compleja.

Aplicándome el cuento, me quedo sólo con los datos de España, y considero un matiz que apuntan atinadamente Antonio Cabrales y Florentino Felgueroso, pero que no terminan de desarrollar bien: las videoconsolas no solo son un juguete, son también un símbolo de estatus. Para analizar esta afirmación con más detalle es necesario tener en cuenta el estatus de la familia. En la tabla 1 y el gráfico 1 muestro los resultados de la prueba de PISA en lectura por nivel de estudios de la madre y relación con las videoconsolas. Tengo en cuenta el nivel de estudios de la madre debido a que es la característica que produce más efecto sobre su rendimiento en lectura, y porque además es una buena aproximación a la posición social de la familia.

[Quienes no estén familiarizados con la estadística necesitan de una pequeña aclaración. Los circulitos son la puntuación media de los jóvenes de 15 años en lectura y las líneas que salen de los circulitos tienen en cuenta el margen de error estadístico que les comenté previamente. Para interpretar estas líneas de error debe tenerse en cuenta que cuanto más se superponen, más probable es que las diferencias entre las medias se deban al azar. El error más frecuente al comentar los datos de PISA (y de cualquier estudio muestral) es mirar los circulitos -la estimación puntual- y olvidarse de que tiene márgenes de error (estimación por intervalos). (Disculpen el inglés: azul tiene video-consola y la usa, verde, la tiene pero no la usa, canelo no tiene videoconsola, y en el eje horizontal, el nivel de estudios de la madre, empezando por licenciada y acabando en sin estudios)].

El resultado, por inesperado, me da mucha risa, todo hay que decirlo. Si hago de comentarista estándar de PISA diría que lo mejor que puede hacer estos reyes es regalarle una videoconsola al menor que la pida, y acto seguido guardarla en el desván: los jóvenes con mejores puntuaciones son aquellos que tienen videoconsola y no la usan. En todos los niveles de estudios de la madre esto es así, aunque no siempre es estadísticamente significativa la diferencia. Lo bueno del asunto es que jugones y quienes no tienen videoconsola obtienen resultados similares en todos los grupos, excepto para las madres universitarias. Es el único caso en el que claramente los videojugones obtienen malos resultados. Sin embargo, aquellos con madres con bajo nivel de estudios (primarios y sin estudios) los videojugones obtienen mejores resultados (aunque podría ser por errores aleatorios, debido a que son pocos los que tienen videoconsolas en estas familias).

Podríamos atribuir causalidad al efecto mágico de guardar la videoconsola en el armario. Esto es lo que suelen hacer muchos estudios que intentan sacar recetas educativas de malas lecturas de los datos de PISA (no tienen en cuenta márgenes de error aleatorios, lo grande que son las diferencias o comparan países al tuntún). O podemos pensar que el estatus de la familia es crucial para conocer la relación entre videoconsola y rendimiento educativo (sin olvidar que no contemplamos el efecto de que hay muchos videojugones que prefieren el PC a la videoconsola). Quizá la relación no sea causal, sino que las características de las familias varían tanto por su nivel cultural como por las razones que les llevan a comprar una videoconsola (una posibilidad, en términos técnicos, es que haya interacciones con efectos positivos para las familias de bajo nivel educativo y negativos para las de alto nivel educativo). Incluso puede que las familias tiendan a regalar la videoconsola como gratificación por las buenas notas, así que el menor tiempo dedicado al estudio se equilibra con la mayor capacidad del niño; además, esto podría explicar los buenos resultados de los “niños pobres”: la videoconsola como premio, no como capricho. En todo caso, como pueden observar las diferencias son pequeñas, por lo que quizá no sea necesario hilar tan fino. ¿Está dispuesto a que su hijo o hija sea unos milímetros más bajito que la media lectora de la clase a cambio de que disfrute matando zombies nazis? Claro que sí, pues el día que lleguen esos zombies, tendrá a quien recurrir para que le salve la vida…

Espero no haberles aburrido mucho con cuestiones metodológicas y que por lo menos haya quedado claro que los datos de PISA son de gran interés, pero que deben interpretarse con sumo cuidado.