Crédito: A. Uno
PSU: en busca de un estándar internacional
Opinión

PSU: en busca de un estándar internacional

Hace ya más de una década que las críticas a la PSU van y vienen. En 2005 un informe de ETS (la organización de EE.UU. que desarrolla y administra las pruebas SAT, el NAEP, y es propietaria del TOEFL y GRE), se refirió a una serie de fallas en esta prueba. El informe, que solo fue liberado en 2012 después de una serie de batallas legales, presenta varias críticas. Una de ellas, por ejemplo, se refiere al nivel de dificultad de la prueba de matemáticas, y a distorsiones en la escala de puntajes (ver página 42 de dicho informe).

A pesar de las críticas de ETS, la PSU no realizó mayores modificaciones a sus procesos o especificaciones y seguía presentando problemas similares en 2012, cuando se realizó otra evaluación internacional esta vez a cargo de la empresa Pearson. El 22 de enero de 2013 el nuevo informe de evaluación de la PSU salió a la luz pública, contiene 124 observaciones, algunas referidas a problemas graves del instrumento, otras a asuntos de menor importancia.

El Consejo de Rectores reaccionó frente a las críticas haciéndose cargo de algunos de los problemas levantados por Pearson. Así, se eliminó la corrección por adivinación, se agregaron preguntas piloto a la forma operacional, se intensificó el uso de la teoría de respuesta al ítem en los análisis. Sin embargo, quedaron varios puntos delicados sin resolver, y que no sabemos cómo (o si) serán abordados en algún momento en el futuro. A continuación desarrollaré algunos de estos.

La prueba de ciencias, por ejemplo, fue muy mal evaluada. En esta prueba el estudiante elige si responder preguntas de Física, Química o Biología (o Ciencias Básicas, nueva opción para estudiantes técnico profesionales). El estudiante debe elegir uno y solo uno de esos módulos. El puntaje final se reporta como de “ciencias”, sin distinguir la elección realizada por el alumno. Lo complicado de este  puntaje único, es que se basa en el supuesto de que responder bien las preguntas de Biología es equivalente a responder bien las de Química o las de Física.

"Se eliminó la corrección por adivinación, se agregaron preguntas piloto a la forma operacional, se intensificó el uso de la teoría de respuesta al ítem en los análisis. Sin embargo, quedaron varios puntos delicados sin resolver"

Pearson cuestiona este supuesto e indica que bajo esas especificaciones  la prueba no responde a los estándares internacionales de calidad. En esa línea, el informe recomienda desarrollar pruebas separadas para Biología, Física y Química con propósitos específicos, y reportar sus resultados en forma independiente. Se sugiere al lector interesado revisar la recomendación 94 en las páginas 44 y 45 del informe.

Otro asunto de importancia se refiere a la comparabilidad de resultados (ver recomendaciones 98 y 120 en las páginas 49 y 63). Este es un tópico bastante técnico pero crucial para la justicia de cualquier prueba que tenga validez en más de un proceso de admisión a la universidad. Todos los años la PSU se construye con un promedio de 500 puntos. Pero no todas las PSU tienen la misma dificultad. Así, 500 puntos de 2012 no son lo mismo que 500 puntos de 2013.

Quienes postularon en 2013 con puntajes del año anterior estaban en desventaja (o ventaja) respecto de quienes postularon con puntajes 2013. La equiparación de resultados es un proceso que se implementa con éxito en prácticamente todas las pruebas de admisión del mundo. ¿Por qué en Chile no?

"El informe indica que aun cuando la prueba predice desempeño en la universidad, no lo hace tan bien como se esperaría de una medición de este tipo."

La predictibilidad de la prueba fue también criticada. Una prueba de admisión debiese ser una herramienta útil para predecir el desempeño de los estudiantes en la universidad. El informe indica que aun cuando la prueba predice desempeño en la universidad, no lo hace tan bien como se esperaría de una medición de este tipo.

La PSU, en este aspecto, está por debajo de parámetros internacionales (ver pg 65). Es posible que lo anterior ocurra porque la prueba contiene preguntas que miden conocimientos o destrezas que no son relevantes para el buen desempeño universitario.

La PSU se autodefine como una medición del currículum de Educación Media, y no trabaja en base a definiciones de conocimientos y aptitudes relevantes para el buen desempeño en la educación superior. Pearson se pronuncia al respecto en la que puede ser la más importante de todas las observaciones del informe (ver observación 117, página 61). El Consejo de Rectores no ha dicho hasta ahora si va a modificar la prueba de acuerdo a lo sugerido por la consultora.

"Los $27.520 pesos por estudiante que recibe el DEMRE por concepto PSU nos permitirían importar el SAT de Estados Unidos, que cuesta prácticamente lo mismo (U$52.5)"

Las pruebas de admisión son una herramienta muy útil para identificar a los estudiantes que tendrán mejor desempeño en la universidad. A diferencia de las notas que solo permiten comparar al interior de un determinado colegio, los puntajes de estas pruebas permiten comparar los desempeños de todos quienes las rinden.

En el mundo estas pruebas son ampliamente utilizadas y su diseño se ha sofisticado enormemente en el último tiempo. La solución por tanto a los graves déficits de nuestra PSU no van por el lado de prescindir totalmente de este instrumento (seleccionando cada vez más vía ranking o notas), sino reconociendo y corrigiendo sus deficiencias.

El problema de la PSU se solucionará en la medida que haya voluntad para hacer los cambios que se deben hacer. En efecto, las dificultades que ha habido para avanzar nada tienen que ver con problemas de presupuesto. La PSU cuesta casi dos veces lo que cuesta el SIMCE ( y este último tiene desafíos logísticos mucho mayores). De hecho, los $27.520 pesos por estudiante que recibe el DEMRE por concepto PSU nos permitirían importar el SAT de Estados Unidos, que cuesta prácticamente lo mismo (U$52.5). Entonces, ¿qué estamos esperando?


Lo más visto en T13