En ciencia es fundamental medir, como dicen algunos divulgadores de Naukas “Quien mide sabe, quien no, solo opina”, pero igual de importante es el cómo (métodos de medida) y el qué (unidades de medida) medir, lo que en campos como las ciencias sociales no suele ser tan sencillo.

Un problema asociado es que se han utilizado modelos demasiado simplificadores en ciencias sociales para temas que son complejos porque tienen decenas de variables que son difíciles de aislar al estar relacionadas entre sí.

La evaluación de la calidad de la educación es un ejemplo, donde múltiples variables como el entorno familiar, laboral y escolar (1), no suelen asociarse al rendimiento de los estudiantes de informes comparativos como PISA, que además se toma como baremo objetivo y domina las políticas de educación.

Es arriesgado inferir conclusiones generales de un examen que además ha sido cuestionado metodológicamente por no estar realmente estandarizado y evaluar competencias no ligadas a contenidos (2, 3), más bien solo la habilidad para hacer el test (4). Además el modelo estadístico (Rasch) parece no ser adecuado (5, 6) con rangos de variación de hasta 10 puestos y puntuaciones arbitrarias (con una media de 500 y una desviación estándar de 100 fijas), como tampoco parecen serlo la selección y representatividad de los estudiantes (6). Sin contar el sesgo político que pueda tener la OCDE en la elaboración de las preguntas.

La cuantificación puede ayudar a la mejora de la educación pero si las medidas tienen solo en cuenta una variable y ésta no se basa en una metodología robusta y sin errores, las conclusiones que se infieran tendrán escasa validez.

pisa

Anuncios