PAÍS
A pesar de la cláusula de confidencialidad, un grupo de correctores del Simce 2018 rompió el silencio, para denunciar la revisión de pruebas mal escaneadas e ilegibles que debieron ser calificadas en el nivel 1, porque la Agencia de Calidad de la Educación no incluyó un ítem para su corrección, salvo un código especial que se agregaba. Además, la Agencia cambió la interpretación de la pauta para corregir e instruyó a la empresa Seleduc Ltda. a eliminar la corrección de un número importante de pruebas, las que aún están siendo recorregidas. Esta compañía se adjudicó más de $550 millones para la revisión del Simce de Escritura, solo semanas después que la sociedad fuera constituida. Seleduc Ltda. es de propiedad de dos exfuncionarios de la Agencia de Calidad de la Educación.
El Simce es una de las herramientas más controvertidas de la Agencia de Calidad de la Educación (ACE). Especialistas, académicos, docentes y organizaciones sociales han criticado su efectividad para medir la calidad educativa, ya que en los hechos la prueba ha perdido el sentido original, para convertirse en una carrera de competencia entre escuelas, que centran sus fuerzas en la preparación de sus estudiantes para la evaluación de la cual depende una parte importante de los recursos que reciben del Estado, como los de la Ley SEP.
Su modelo de ejecución y revisión privatizado ha sido cuestionado por la Contraloría, por el no cobro de sanciones a las empresas ejecutoras, dobles pagos y los conflictos de intereses entre sociedades revisoras y las ATEs (Asistencias Técnicas Educativas) que preparan a las escuelas para rendir el Simce. Pero, a pesar de las críticas, esta prueba se ha mantenido durante décadas, sosteniendo un negocio que en el 2014 superó los $20 mil millones desembolsados por el Estado, y que para el Presupuesto 2019 llega a los $18 mil millones (*).
El Sistema Nacional de Evaluación de Resultados de Aprendizaje (Simce) mantiene un contrato de confidencialidad con todos los involucrados en la toma de pruebas y su revisión, razón por la que los cuestionamientos a su aplicación y corrección siempre han quedado bajo tierra. Pero un grupo de correctores de la prueba Simce de Escritura para 6° básico, rendida en 2018, decidió romper el silencio y relató a El Mostrador –de forma anónima– una serie de irregularidades en el proceso de revisión realizado por la empresa Seleduc Ltda.
Entre las irregularidades denunciadas destaca que la Agencia de Calidad de la Educación pidió eliminar miles de revisiones de pruebas que habían sido calificadas en el nivel 4, para ser recorregidas con una pauta distinta a la del resto de las pruebas.
Otras de las situaciones denunciadas se dan en los casos de pruebas ilegibles o respondidas en otros idiomas, como en creole, que fueron calificadas con nota 1. Es importante señalar que el creole es hablado por la amplia mayoría de niños y niñas haitianos que viven en nuestro país, que al 2017 alcanzaban el 0,9% de la matrícula nacional. Además se le agrega el código 95, que es para problemas con la letra, y también se podían agregar otros códigos, como negativa a responder o respuesta con dibujos, pero todos eran calificados en el nivel 1.
Según el contrato publicado en Mercado Público, Seleduc quedó a cargo de la “corrección holística” de las 426 mil pruebas Simce de Escritura para 6° básico, rendidas el año 2018. Para ello, la empresa contrató a docentes de filosofía, literatura y periodistas, durante media jornada, por un sueldo mensual de $500 mil.
La prueba que debían revisar consistía en la entrega de un estímulo, compuesto por una imagen y una frase que describe un contexto. Allí, los estudiantes tenían que identificar la situación y escribir un cuento con introducción, desarrollo y cierre, incluyendo a personajes y diálogos. Para ello, se les daba una plana para ordenar las ideas y otra hoja para escribir el cuento.
Se dividieron las tres pruebas en tres grupos de correctores, que fueron capacitados por los monitores de Seleduc con un folleto entregado por la Agencia de Calidad de la Educación, en el que se les explicaba brevemente la pauta con la que debían medir a los estudiantes de 6° básico, con una rúbrica de niveles divididas del 1 al 6. “A los correctores que llegaron después les hacían una ‘capacitación exprés’, hasta en los pasillos”, recalca un trabajador de Seleduc.
Una de las principales exigencias para ser un corrector destacado era la rapidez. “Nos exigían rendir un mínimo de 80 pruebas por hora, algunos llegaban a los 100 o 140”, destaca uno de los revisores. Eso da un promedio de 1,3 minutos de revisión por cada prueba que “en teoría tenía que ser leída tres veces antes de ingresar la calificación al sistema, eso nunca fue así”, agrega un corrector.
Un hecho que llamó la atención entre correctores y correctoras es que todo lo que no se entendiera se calificaba en el nivel 1. Un ejemplo son las pruebas mal escaneadas (cuya responsabilidad no es del alumno) o ilegibles, casos que “llegaban a ser el 1% de las revisiones al día”, unas 600 en total, señala un corrector. Además, “había muchas respuestas en creole que se les ponía un 1, porque no había una categoría especial para esos casos. Quizás estaba muy bien escrito y con perfecta redacción, pero nunca lo sabremos”.
Desde la Agencia justifican que la prueba de Simce de Escritura mide la lengua materna. «En este caso el español, según los objetivos de aprendizaje indicados en el currículum», aseguran ,mientras sostienen que a estas pruebas no se las asigna en el nivel 1, solo con el código. En la entidad descartan también que las pruebas mal fotografiadas o ilegibles lleguen al 1% del total de Simce revisado al día.
Las denuncias sobre irregularidades en las correcciones de las pruebas Simce, sin embargo, no parece extrañarle a nadie. Exautoridades del Ministerio de Educación y de la Agencia de Calidad de la Educación manifiestan que “el Simce siempre ha tenido problemas en las correcciones y el informe de la Contraloría de Supervisión de la aplicación del Simce, deja claro que tiene muchos focos y flancos abiertos”.
“La Agencia es una caja negra, ni siquiera el Consejo Nacional de Educación (CNED) se metía mucho, su revisión privada es lo más riesgoso para el Estado, porque pasan por encima de los filtros”, agrega una exautoridad del Mineduc.
Para Teresa Flórez, doctora en educación en la Universidad de Oxford y consejera nacional de Nueva Educación Pública, este tipo de denuncias tampoco es novedad. “No es primera vez que lo escucho”, destaca la académica que ha estudiado a fondo el Simce. Recuerda que en el caso de Ingemas S.A., “que era gente de la Universidad Federico Santa María, los correctores decían que trabajaban en una situación sumamente compleja, trabajaban en un espacio cerrado, y resolvían las inconsistencias en el pasillo”.
Agrega que en un estudio que realizó en 2013, “los correctores de matemática recordaban casos en que había respuestas en mapudungun, y también se les calificaba como respuestas malas. Hay poco control de la Agencia tras los procesos de licitación”.
En la oficina que Seleduc arrendó en el piso -2 del edificio de la Cámara de Comercio, ubicado en Huérfanos 1055, para desarrollar el proceso de revisión holística del Simce de Escritura, los correctores y supervisores corregían un promedio de 6 mil pruebas al día. Debido a la falta de consistencia de los resultados entre los grupos de revisión, las fuentes afirman que el criterio que se fijó era valorar que la mitad de todo fuera “nivel 4”. “Si se corregían 2 mil pruebas por grupo al día, la mitad eran nivel 4”, puntualiza un corrector.
Días antes que cerrara el proceso de revisión –sostienen las fuentes– llegó hasta la empresa Susana Rodríguez, encargada de evaluación de la Agencia a dar una nueva inducción. “Solo a días de cerrar, el proceso cambió totalmente”, relata un trabajador. Todos los correctores consultados coinciden en que la nueva inducción “cambió radicalmente la interpretación de la pauta”.
De acuerdo a trabajadoras y trabajadores consultados, los cambios de criterios entregados por la funcionaria de la Agencia modificaron el sentido de la pauta. Según estos, el nivel 1 primero era “textos sin final o muy breves, luego pasó a ser un texto sin sentido, sin final y breve”; el 2 pasó de ser “un texto con sentido y sin orden, a un texto con sentido, sin orden y sin final claro”; el 3 pasó de ser “textos desordenados, sin sentido, pero narrativo o informativo, a ser un texto con sentido, con estructura, pero con ideas sin cierre”.
El cuestionado nivel 4, “al principio eran cuentos generales y quedaron como cuentos bien hechos, pero con lenguaje repetitivo”; el 5 eran cuentos “perfectos a nivel de escritura, pero con algún error, pero pasaron a ser bien escritos, coherentes, pero con errores”. Solo la ponderación 6 se mantuvo como “cuentos perfectos”. Cabe destacar que debido al contrato de confidencialidad que exige el Simce, los correctores no podían utilizar cámaras ni celulares en el lugar de trabajo.
Debido a los resultados obtenidos con estos cambios, las fuentes afirman que desde la Agencia habrían mandado a eliminar miles de correcciones de pruebas, para ser revisadas nuevamente. Puesto que la información es parcelada y segmentada al interior de los tres grupos de revisión, los correctores no tienen un número claro de cuántas debieron ser recorregidas, pero revisando los testimonios, alcanzan al menos a unas 30 mil a lo largo de los 45 días de revisión. Más de la mitad se habría dado tras la nueva inducción dictada por Susana Rodríguez.
Desde la Agencia plantean que “la recorrección de pruebas es un procedimiento que se encuentra establecido en las bases de licitación del servicio, para aquellos casos en que no se cumpla con los estándares de calidad requeridos, de manera de garantizar la confiabilidad de los resultados obtenidos. Además, cabe destacar que la recorrección es un procedimiento regular que no debería afectar mayormente los plazos de ejecución del servicio”.
Añadieron que “es importante destacar que la Agencia entregó los criterios de corrección al inicio del proceso y que estos se han mantenido a lo largo de toda la corrección. Además, la Agencia ha supervisado al proveedor a lo largo de las distintas etapas del proceso, manteniendo una comunicación permanente”.
Respecto a este cambio en la interpretación de la pauta, el investigador de Fundación Nodo XXI y académico de la Universidad de Chile, Iván Salinas, destaca que la Agencia de la Calidad ha publicado criterios y niveles “para que los evaluadores puedan puntuar de forma válida y consistente el trabajo que están recibiendo”, pero que “cuando arbitrariamente se asocia un nivel con un indicador que no corresponde, se produce un problema de confiabilidad y de validez: no podemos asegurar que lo que se dice de los datos sea efectivamente lo que se juzga”. Agrega que, de existir alguna arbitrariedad, las escuelas podrían recibir datos con “deficiencias informativas, poniendo en riesgo el principal objetivo de la Agencia de la Calidad, que es entregar información que exceda al mero puntaje Simce”.
Cabe recalcar que estas irregularidades se dan en la prueba Simce creada (en 2013) con el fin de dar mayores antecedentes de calidad a las escuelas, ya que no hay respuestas predeterminadas, sino que ella consiste en analizar los procesos creativos y de redacción de los estudiantes. Esto, al menos en el papel. En la última medición del Simce de Escritura, publicados en 2017, disminuyó la brecha entre escuelas rurales y urbanas, y el puntaje promedio fue de 51 puntos.
Además, el conflicto se da en medio de cambios estructurales en la Agencia, ya que Carlos Henríquez Calderón, secretario ejecutivo de la entidad desde 2014 renunció en abril de este año. Por el momento, Juan Bravo, actual jefe de la División de Evaluación de Logros de Aprendizaje, ocupa su lugar como subrogante.
El 21 de marzo, la Agencia de Calidad de la Educación otorgó la licitación “servicio de corrección de respuestas de preguntas abiertas incluidas en la prueba censal Simce Escritura” a dos empresas: Contextuales SpA y Seleduc, por un monto superior a $1.750 millones.
El concurso había sido abierto el 14 de enero de 2019 por Agencia de Calidad de la Educación, tres semanas después, el 6 de febrero, Juan Zapata y Rodrigo Ponce inscribieron la sociedad Seleduc Limitada en el Registro de Empresas del Ministerio de Economía, ante la notaria María Angélica Santibáñez. El capital inicial de la sociedad fue de $3 millones, aporte dividido en partes iguales por los socios. El 14 de febrero, la Agencia cerró el periodo de inscripción de postulaciones para la licitación y el 21 de marzo fueron dados los resultados.
Con una antigüedad de apenas unos días, el Servicio de Logística Educativa Limitada (Seleduc) se adjudicó el “ítem 1” de revisión con “pauta holística” para el Simce de Escritura 6° básico de la licitación N°721703-50-LR18, por $550.392 millones, para revisar 852 mil pruebas divididas entre 2019 y 2021.
Seleduc fue una de las siete postulaciones a la licitación, y dejó atrás a “SGS Chile Ltda. Sociedad de Control”, “Ingeniería e Inversiones Fernández Ltda.”, “E-MACH CA.” y el centro de la análisis de datos de la Pontificia Universidad Católica, una de las principales e histórica revisora de pruebas Simce. La PUC quedó fuera del proceso al no cumplir con las bases de la licitación, debido a un error en la fecha de vencimiento de la garantía entregada. Su propuesta ni siquiera fue revisada por la comisión evaluadora de la Agencia.
Inicialmente, Seleduc fue inscrita bajo el objeto de desarrollar “actividades de consultoría de gestión”, pero el 8 de abril de 2019, después de adjudicarse la licitación, cambió su giro a “Asesorías, Consultorías y Capacitaciones en todo lo relacionado directa y/o indirectamente al giro de la empresa en el área operacional y logística educacional”, según señala el registro de la empresa en el Diario Oficial. El cambio fue certificado con firma virtual por la notaria Elena Torres Seguel.
Sus socios no son unos aparecidos dentro del mundo del Simce. Ambos trabajaron para la Agencia de Calidad de la Educación durante el primer Gobierno de Sebastián Piñera. El ingeniero industrial Rodrigo Ponce Iturrieta fue funcionario a honorarios del Mineduc, entre 2010 y 2012, año en que comenzó a funcionar la Agencia. En los registros de Transparencia, figura como integrante del “Equipo Operaciones: responsable de implementar las acciones del Simce en el traspaso a la Nueva Institucionalidad ‘Agencia de la Calidad’”.
Juan Zapata Aránguiz ocupó cargos de jefatura en la Agencia. El ingeniero comercial fue encargado del Área de Estudios y Licitaciones del Simce hasta el año 2015. En años anteriores fue “jefe Área de Gestión de Licitaciones” de la ACE y hasta fue parte de la comisión evaluadora de la licitación para la digitalización de pruebas Simce del 2013.
Ambos tienen otras dos sociedades en conjunto: Solución Integral de Negocios SPA, ubicada en calle Huérfanos 1055, la cual da origen a otra sociedad, la OTEC Sointe Capacitaciones Ltda., domiciliada –al igual que Seleduc– en Las Urbinas 81.
Entre las personas que fueron contratadas por Seleduc para llevar a cabo la revisión holística del Simce, a algunas les llamó profundamente la atención que la sociedad “parece una empresa fantasma”.
Seleduc –hasta el cierre de esta edición– no cuenta con página web, redes sociales, ni un teléfono de contacto. Es más, en la ficha de postulación que ingresaron a Mercado Público, no aparece número telefónico, sino que se leen las palabras “Chili Meli”. Las únicas menciones de la empresa son ofertas en sitios para encontrar trabajo, todas publicadas hace tres meses, en las que buscaban correctores para la revisión del Simce de Escritura de 6° básico.
La pregunta que surge es cómo una empresa, creada en plena licitación pública, se adjudica un contrato por $550 millones con el Estado. El principal criterio para la entrega de este concurso público es el económico, con un 50%, por ende, se entrega al mejor postor. El criterio técnico (infraestructura, experiencia de jefe y supervisores, remuneración de correctores y bienestar laboral) concentra el 45% del puntaje y el 5% restante es para el área administrativa.
Seleduc ofertó el segundo precio más bajo de la licitación, con $646 por prueba, lo que le dio un puntaje de 99,96% en dicha área. Otro ítem en que destacó fue en la preparación de sus directivos y bienestar laboral, pero cabe recordar que –según el relato de sus trabajadores–, la compañía no contaba con la infraestructura necesaria para llevar a cabo el trabajo, ya que arrendó las instalaciones de la Cámara de Comercio para instalar al equipo de corrección.
Hasta el cierre de esta edición, la Agencia de Calidad de la Educación había pagado $41.279.400 a la empresa Seleduc Ltda., correspondientes a la cuota N° 1 del contrato entre la Agencia y la Sociedad. Además, la compañía fue sancionada debido al retraso en la aprobación del lugar para llevar a cabo la corrección de las pruebas.
El Mostrador se contactó con Rodrigo Ponce Iturrieta para consultarle por el proceso de licitación y revisión del Simce de Escritura, y señaló que no tiene las facultades para dar declaraciones y entrevistas de parte de la empresa. Agregó que le daría aviso a la Agencia de Calidad de la Educación como contraparte técnica del proceso.
Por su parte, desde la ACE señalaron que “la normativa vigente en el sector público no impide que personas naturales o empresas de exfuncionarios de los servicios públicos puedan postular a sus licitaciones. En ese sentido, es importante recalcar que existe un principio jurídico de igualdad de trato de los oferentes que no permite a los servicios discriminar, ni inhabilitar a exfuncionarios de participar en dichas licitaciones”.
Para los especialistas en mediciones de la calidad educativa, lo ocurrido con el Simce de Escritura para 6° básico es un ejemplo más de que el instrumento de la Agencia de Calidad de Educación no es eficiente a la hora de medir calidad educativa, más aún cuando esta prueba fue creada en 2013 para entregar resultados más acabados de la realidad de los estudiantes chilenos. Coinciden en que Simce debe ser eliminado y sustituido por una fórmula más colectiva y comunitaria de medición de la calidad.
Para Iván Salinas, “más allá del problema actual con el tema de las pautas de corrección, la crítica al Simce se sigue sosteniendo sobre la ideología que lo sustenta: ordenar un mercado de la educación escolar”. El investigador de Nodo XXI apunta a que “el Simce es defendido por quienes buscan –con o sin intención–, reducir la labor pedagógica al procesamiento técnico de las ‘buenas prácticas’”.
Gonzalo Muñoz, académico Facultad de Educación UDP, recalca que el Simce “ha generado varias consecuencias negativas en el sistema escolar y no ha sido un impulsor de la mejora educativa. Hoy el sistema de evaluación asfixia a las escuelas más que ayudarles a mejorar su trabajo y es momento de hacerse cargo de esta situación”.
“Chile requiere urgentemente moverse hacia un modelo que deje de clasificar y sancionar a las escuelas –lo que obliga a modificar la ley SAC– y que efectivamente ponga el foco de la evaluación en el uso pedagógico que puedan darle los propios directivos y profesores, que privilegie las pruebas muestrales por sobre las censales para los diagnósticos nacionales y que regule de manera muy clara el uso de los resultados de estas pruebas, para no repetir nunca más los semáforos del exministro Lavín, entre otros malos usos que muestra nuestra historia reciente”, agrega el exjefe de Educación Escolar del Mineduc.
Según Teresa Flórez, “toda la vida del Simce se la juega por una respuesta automática y mecanicista, por eso las escuelas terminan toda su labor ejercitando para la prueba”, al tiempo que recalca que “el negocio alrededor del Simce” es una de las principales piedras de tope para eliminar el sistema, junto “a la falta de voluntad política, habiendo acuerdo entre la academia, la escuela y los movimientos sociales. Los únicos que no han dado el paso son los políticos”.
*A pesar de que el presupuesto solo para la realización y corrección del Simce no está detallado en la Glosa Presupuestaria de la Agencia de la Calidad de la Educación (ACE), el ítem Evaluación de Logros de Aprendizaje, concentra el 49% del presupuesto total de esta entidad, equivalente a M$18.045.149. El exsecretario ejecutivo de la ACE, Carlos Henríquez, ante la comisión mixta de presupuesto del Congreso, entregó el detalle de este ítem, que financia el diseño, operación, análisis y entrega de resultados del Simce.
