Prueba Avanzo, ¿cómo saber si se avanza si no sabemos dónde estamos?

Finalmente, luego de dos aplazamientos a causa de las tormentas Eta e Iota, el Ministerio de Educación, Ciencia y Tecnología (Mineducyt) llevó a cabo la prueba Avanzo que sustituye a la Paes como evaluación obligatoria para los estudiantes que buscan egresar de Educación Media tal como es exigido por la Ley General de Educación (LGE). Avanzo fue presentada de forma oficial el 16 de septiembre, a menos de dos meses de su primera programación. Luego de una discusión con colegas docentes, directores y estudiantes surgieron unas dudas que me gustaría plantear en los párrafos siguientes. 

La primera duda que surge es, ¿qué es Avanzo? Según su documento informativo la prueba se vincula al llamado “Sistema Nacional de Evaluación” que tiene como finalidad “resignificar y ampliar los procesos de evaluación” (Mineducyt, 2020, p. 4) y se suma, según este mismo documento, a la “implementación de una Educación Multimodal” que es entendida por el Mineducyt a partir de las estrategias utilizadas para la continuidad educativa en el marco de la emergencia por el COVID-19, a decir, la Franja Educativa de TV y radio, clases en plataformas digitales y las clases presenciales. Todo esto, según el Mineducyt, obligó a proponer un nuevo instrumento que evalúe de forma integral las habilidades de los estudiantes.  

Estas premisas levantadas por el Mineducyt dan la impresión de que, la decisión de sustituir la Paes por Avanzo surge de la crisis causada por el COVID-19. Esto nos lleva a la segunda duda, ¿cuál es el origen de la prueba Avanzo?, como ya discutimos en un artículo anterior, la prueba surgió de forma inconsulta, poco transparente y a espalda de la academia. Una política educativa, como es la evaluación, debe contar con la máxima transparencia posible y con un amplio proceso de consulta que permita que esta deje de ser una política de gobierno (pasajera y con criterios políticos) y se convierta en una política de Estado (a largo plazo y criterios académicos). Así, la prueba Avanzo tiene las mismas características de otras políticas del Gobierno del presidente Bukele que busca acostumbrarnos a dar información a cuentagotas (A esta fecha el Ministerio no ha informado datos de la matrícula escolar 2019, matrícula inicial, final, deserción, sobreedad, matrícula neta y bruta, repitencia y reprobación).  

Con todo esto, ¿qué diferencias presenta la prueba Avanzo de la Paes? Para analizar estas características me auxiliaré del cuadro A siguiente: 

Existen varios puntos en común entre Paes y Avanzo. Ambas pruebas evaluarán las cuatro disciplinas básicas del currículo de Educación Media (Matemática, Lenguaje y Literatura, Ciencias Naturales y Estudios Sociales y Cívica) además incluye ítems que buscan estudiar actitudes socioemocionales de los estudiantes. Además, ambas pruebas siguen la Teoría Clásica del Test (TCT) en la que se los resultados de los estudiantes están comparados en función de una nota global (en el caso de Paes y Avanzo, la nota está en escala de 1 a 10). 

Existen dos criterios para el diseño de pruebas estandarizadas: pruebas referidas a criterio y pruebas referidas a norma. Las pruebas referidas según norma buscan comparar los resultados del estudiante según la población o grupo al que pertenece, las pruebas referidas según criterio buscan comparar el resultado del estudiante con un criterio preestablecido sin necesidad de compararlo con los otros miembros o grupos.   

En los aspectos que se diferencian, se puede mencionar la fuente de los ítems que componen ambas pruebas. Para el caso de la Paes estos eran construidos a partir de los Planes de Estudio de primer y segundo año de bachillerato; en el caso de Avanzo los ítems puntuables serán únicamente del Plan de Estudio de primer año de bachillerato. La justificación del Ministerio a esta decisión era que, dadas las condiciones especiales de este año, no se podía evaluar los contenidos del segundo año, esto a pesar de que en distintas oportunidades el Ministerio ha sostenido que se ha garantizado la continuidad educativa. Esta decisión, como la propuesta de flexibilización de los criterios de promoción, fue muy criticada por la comunidad educativa. Precisamente esta decisión de exclusión de la ponderación de los ítems de segundo año contradice la posición de la ministra Carla Hananía de Varela que aseguraba que con esta prueba se pretendía “honrar los esfuerzos que hemos hecho todos: padres de familia, docentes, alumnos y el mismo MINED (…)” y puede interpretarse como una desconfianza a toda la estrategia seguida para mantener el año escolar activo. 

Otra diferencia radica en la cantidad de ítem y el tiempo disponible para desarrollar la prueba. La cantidad de ítems ponderados por asignatura en la Paes era de 25 y a pesar de que Avanzo cuenta con la misma cantidad de ítems por asignatura, los ítems ponderados se reducen significativamente a 15 ítems por asignatura (los otros 10 ítems no ponderables se dividen en cinco ítems socioemocionales y cinco ítems del Programa de Estudios de segundo año de bachillerato). Hasta el momento no se cuenta con una justificación oficial del porqué de esta reducción. 

Quizás una de las explicaciones del porqué el Ministerio decidió no ponderar los ítems de segundo año se deba a la tardanza de la divulgación de la prueba. Hasta mediados de septiembre no se contaba con ninguna información oficial para docentes, padres y madres de familia y sobre todo para los estudiantes que la realizarían. La misma normativa de evaluación del Ministerio y otros criterios internacionales reconocen el derecho del estudiante de contar con una evaluación justa y donde el estudiante cuente con la máxima información posible sobre lo que será evaluado, como y que implicaciones tendrá (Fernández, 2019). ¿Los estudiantes contaron con la información suficiente y necesaria para realizar esta prueba?  

El tiempo para contestar ambas pruebas es el mismo, el estudiante cuenta con dos horas para cada asignatura y se agrega una hora más a Avanzo para responder los ítems socioemocionales. La diferencia en este punto está en que con la Paes el estudiante debía responder los ítems en cuatro horas consecutivas (dos asignaturas por jornada) y mientras la Avanzo daba un margen de hasta 12 horas para completar toda la prueba. 

Un tema relacionado a estos dos puntos está en la fuente que alimenta los ítems de Avanzo. Para el diseño de los ítems de la Paes el Ministerio contaba con un banco de ítems construido a lo largo de los años alimentado por especialistas del Ministerio y de universidades del país; este diseño contaba con los cuidados internacionales de pruebas estandarizadas: contó con criterios psicométricos, tablas de especificaciones, fichas de ítems (justificación de las respuestas y distractores, discriminación, nivel de dificultad, confiabilidad, validez y la fuente o de dónde fue tomado el ítem) y con análisis de dificultad y discriminación a través del software Iteman. Los ítems en Paes pasaban por un proceso de “calibración” que se encarga de medir el índice de confianza de validez, o sea, si el ítem seleccionado mide lo que debe de medir. En el caso de Avanzo no se conoce quienes son los diseñadores, si la base de datos es la misma que la base de Paes o no, tampoco si han pasado por un proceso de evaluación que certifique si los ítems discriminan o no, el nivel de dificultad, si hubo un proceso de validación. En este mismo punto la Paes contaba con cuatro claves distintas que permitían dificultar más algún tipo de fraude en las aulas de aplicación, en el caso de Avanzo no se sabe exactamente cuántas pruebas se podrían construir, pero al ser un ítem digital con un banco de ítems “amplio” se podría decir a priori que no se repetirían los mismos ítems para los estudiantes. Además, dado que no se sabe si los ítems pasaron por un proceso de validación, se puede cuestionar el nivel de dificultad al que se enfrentaron los estudiantes. 

La gran diferencia de las pruebas es la modalidad. La Paes siempre fue una prueba presencial, mientras que Avanzo, influenciada por la emergencia por COVID-19, se realizó de forma online por medio de plataformas digitales. Para el desarrollo de la plataforma Avanzo el Mineducyt se apoyó en la Secretaría de Innovación quienes afirmaron que la prueba contará con estándares de seguridad “garantizaremos la seguridad, primordialmente, de los datos personales de todos los estudiantes, así como la verificación de cada usuario, con el objetivo de evitar una situación de fraude. Para ello, afirma la Secretaría, “La prueba contará con una verificación facial a través de una fotografía y generará claves diferentes para cada estudiante y podrán acceder de cualquier dispositivo móvil o de escritorio, es totalmente adaptable e inclusiva”. 

Estas palabras de ambas entidades acerca de la confiabilidad de los resultados buscaban adelantarse a las críticas que podrían surgir ante esta decisión. De hecho, al consultar con docentes y directores en un estudio paralelo a este nos contaban sobre la dificultad de garantizar que al calificar tareas y pruebas objetivas estas hayan sido efectivamente realizadas por los estudiantes, en este sentido, ¿cómo se puede saber con seguridad que quien realizó la Avanzo son efectivamente los estudiantes? Sin duda, el gran reto posterior a la aplicación de la prueba Avanzo será convencer a la comunidad educativa de sus resultados.   

Ahora bien, son dos los elementos que convergen en la confiabilidad de los resultados de Avanzo, garantizar que el estudiante sea efectivamente el que haga la prueba, que ya discutimos, y el tratamiento de los resultados. La Paes, a excepción de un año, fue tratada por la Universidad Centroamericana José Simeón Cañas que eran los responsables de sistematizar los resultados y entregarlos al Ministerio, estos generalmente eran divulgados y entregados a los estudiantes dos meses después de realizada la prueba. En el caso de Avanzo, como ya se dijo anteriormente, tanto el diseño como la sistematización de los resultados estará a cargo de la Secretaría de Innovación. No obstante, dado que Avanzo es una plataforma digital se informó que al finalizar cada una de las pruebas, el estudiante sería informado de la nota final obtenida lo que significa que en el estudiante contará con sus resultados el mismo día de la evaluación y los docentes y directores de las instituciones podrán sistematizar los resultados antes de contar con la notificación oficial del Ministerio. 

Sobre la entrega y uso de los resultados. Tanto la Paes como Avanzo tienen una ponderación en la nota final de las asignaturas evaluadas del segundo año de bachillerato. Así, Paes tenía una ponderación de 25% y Avanzo una ponderación del 15%. No obstante, existe una diferencia más en este punto. La nota en Paes era multiplicada por el porcentaje y esta era la nota que era sumada a la nota final, por ejemplo, si un estudiante obtenía ocho en la Paes de Matemática, el valor que se sumaría a la nota era de 8×0.25= 2. En el caso de Avanzo, que se define como una prueba más “cualitativa”, pretende que el valor sumado a la nota final parta de unos intervalos previamente definidos, así si un estudiante obtiene entre 0 y 5 aciertos en la prueba de x asignatura quedaría en un “nivel básico” y se sumaría 0.5 a su promedio final, si obtiene entre 6 y 10 aciertos, quedaría en el “nivel intermedio” y sumaría a su promedio final 1.0 y, si obtiene entre 11 y 15 aciertos, estaría clasificado en el “nivel superior” sumando 1.5 a su promedio final. 

La escala de calificación y su uso es un tema polémico. Históricamente, cuando eran divulgados los resultados de la Paes los medios de comunicación los utilizaban de forma simplista, mostrando interés en cuando había mejorado o empeorado la nota final y si había un diez o incluso en señalar los “peores” centros escolares; los colegios privados con alto desempeño la utilizaban como medio de promoción de sus marcas para mejorar sus matrículas; los docentes y directores en general la ocupaban para poner notas en el cuadro final y; el Gobierno, dependiendo de la nota, culpaba al docente, al estudiante, a gobiernos de años anteriores y entregaba las becas a los estudiantes con mejores resultados y así, el siguiente día se continuaba con la normalidad y repetíamos el ciclo el año siguiente. 

Estas situaciones son las que, probablemente, el Minieducyt ponderó para modificar la escala de calificación de Avanzo. Oficialmente el Ministerio ha dicho que esto responde a que Avanzo quiere acercarse más a una prueba “cualitativa”, sin embargo, puede especularse que esto responde a un interés en no enfrentarse a la realidad de los resultados. El Ministerio sabe las implicaciones de una prueba de este tipo. Según el artículo 57 de la LGE, la prueba obligatoria tiene dos grandes objetivos: establecer el rendimiento de los estudiantes y la eficacia del currículo escolar: “El Ministerio de Educación establecerá una prueba obligatoria orientada a medir el aprendizaje y las aptitudes de los estudiantes que permita establecer su rendimiento y la eficacia en las diferentes áreas de atención curricular” (LGE, 1996). Este último punto significa que esta prueba estandarizada debe servir como evaluación del sistema educativo y en este contexto, la nota puede interpretarse como una evaluación a las acciones y estrategias de continuidad educativa del Ministerio y según unos estudios recientes los datos sobre aprendizaje no son muy alentadores.  

En el estudio reciente de Picardo, Ábrego y Cuchillac (2020) los estudiantes de educación básica y media al ser consultados sobre su desempeño este año escolar 2020 dijeron haber aprendido durante las clases de ese año 2020 entre un 20% y 12% respectivamente. Lo que indica un poco confianza de los estudiantes en el proceso educativo del corriente año. Ante este panorama y tomando en cuenta la decisión de no evaluar los ítems del segundo año, se puede entender la decisión de cambiar la escala de calificación de la prueba básico, intermedio y avanzado. No obstante, esto es una conjetura y esperaremos a conocer como manejará y como recibirán los resultados la comunidad educativa. 

Sin embargo, como comunidad educativa, debemos esperar que el Ministerio presente los resultados. El Mineducyt tiene la oportunidad de darle un mejor uso de los resultados de Avanzo, de vincularlos al currículo, que estos sirvan para planificación escolar, que, en lugar de señalar culpables, se identifique a los centros escolares y se les dé un tratamiento acorde a su realidad, invirtiendo más en los centros escolares públicos con mayores deficiencias y apoyando y dignificando el trabajo de los docentes que se esfuerzan en los centros escolares de alto rendimiento. No puede suceder lo que tristemente pasó en los más de 20 años de la Paes que nada cambiaba de la realidad educativa. Veamos los casos de los Institutos del departamento de La Unión que, a pesar de contar buenos resultados, no han contado con el apoyo para su mayor desarrollo. Corregir esto también es dignificar el trabajo docente. 

Por último, nos gustaría hacer un llamado al Mineducyt. Es cierto que los resultados eran eventualmente mal utilizados y mal interpretados, pero eso no significa que sea válido esconder ni declarar en reserva los resultados de Avanzo como se especula que se hará. De engavetar los resultados, de no permitirle a la academia el acceso a los resultados brutos de todos los ítems, incluyendo los ítems no ponderables, no solo se estaría evadiendo el control ciudadano, sino que también obstaculizaría la devolución de los resultados, su mejor aprovechamiento y levantaría más dudas sobre la prueba, de reservar los datos de Avanzo se entraría en una gran contradicción, incluso, del nombre de la prueba, ¿cómo saber si se avanza si no sabemos dónde estamos? Esto no es justo para los docentes, padres y madres de familia ni para los estudiantes que, a pesar de las dificultades este año, han hecho un gran esfuerzo. 

Ley General de Educación. (1996). Disponible en: https://www.mined.gob.sv/descargas/category/1287-leyes.html  

Ministerio de Educación, Ciencia y Tecnología. Mineducyt. (2020). Documento informativo para directores, docentes y estudiantes de Educación Media. Prueba para estudiantes de segundo año de bachillerato. Disponible en: http://www.mined.gob.sv/jdownloads/Avanzo/A%C3%B1o%202020/DOCUMENTO%20INFORMATIVO%20AVANZO_1ok.pdf  

Fernández, A. (2019). Evaluando la evaluación de los aprendizajes 2da Edición. UFG Editores, San Salvador.  

Picardo, O.; Ábrego, A.; Cuchillac, V. (2020). Educación y COVID-19: Estudio de factores asociados al rendimiento académico online en tiempos de pandemia. San Salvador: UFG Editores.