Educar con evidencias

¿Cómo implementar programas efectivos en educación si tenemos escasos recursos económicos ?

En América Latina necesitamos mejorar los aprendizajes de nuestros alumnos  pero nuestros recursos son limitados. ¿Cómo podemos lograr esta mejora?, ¿por dónde  empezar?, ¿con qué herramientas contamos? Estas fueron algunas preguntas que fueron debatidas en la Conferencia Internacional   “Educar con Evidencia. Políticas Públicas en base a mediciones” que se desarrolló recientemente en Chile.

“Educar con Evidencia” fue la exposición a cargo de Julián Cristia   @JulianCristia del Banco Interamericano de Desarrollo quien pesentó de una manera muy clara y precisa el ABC de las evaluaciones de impacto.

¿Cómo se puede innovar con éxito en educación?

Julián propone que el punto clave es identificar cuáles son los programas más costo-efectivos. Esto significa implementar programas que nos puedan dar un mayor impacto en el aprendizaje por cada moneda que se gaste. Es decir, utilizar bien los recursos públicos que son escasos en países de América Latina. Plantea que parte de la solución es usar evaluaciones de impacto: usar estudios que nos permitan saber cuál es la efectividad de los programas y de esta forma usaríamos mejor los recursos públicos. En este sentido, sugiere que hay tres puntos clave que habría que conocer:

1. ¿Qué son las evaluaciones de impacto?

Las evaluaciones de impacto analizan  el efecto de un programa sobre un resultado clave. Por ejemplo, si queremos mejorar el aprendizaje de las matemáticas y saber cuál  es el efecto de la distribución de computadoras en el aprendizaje de esta asignatura. En este sentido, una evaluación de impacto NO sería:

• Una evaluación descriptiva: por ejemplo, si vamos a escuelas, recogemos información, número de niños, perfil de padres, etc. Esta información es útil pero no es una evaluación de impacto.
• Una evaluación de procesos: saber cómo funciona un programa, si está funcionando adecuadamente, cuáles son los problemas que se presentan, etc. Esta información también resulta útil pero tampoco es evaluación de impacto.
• Un monitoreo de resultados: seguimiento de los resultados de diferentes evaluaciones (por ejemplo, las evaluaciones censales.

2. ¿Cómo determinamos qué evaluaciones son más confiables?

Comparando  el aprendizaje de estudiantes: aquellos estudiantes que reciben el tratamiento o al que se les aplica el programa con  aquel grupo sin programa (grupo de control). La clave es que estos dos grupos sean similares. Para ellos, será necesario tener en cuenta  tres aspectos:

• Una metodología experimental: el grupo de tratamiento debe ser elegido por sorteo. Así los grupos de tratamiento y control serán similares. La unica diferencia debería ser  la participación en el programa (en una se aplica el progrma y en la otra, no). Es la mejor metodología existente.
• Muchos estudiantes: puesto que si son pocos estudiantes, habrá diferencias. Pero si son muchos, entonces las diferencias tienden a diluirse. Los estudios  pequeños pueden resultar “artificiales” . es decir que quizás funcionan bien pero cuando se llevan a grandes escalas, los resultados no necesariamente pueden ser  representativos.
• Tests externos: los resultados estarán sesgados si los tests se alinean con la intervención. Mejor es usar tests externos. Lo ideal serían los  tests estandarizados.

3. ¿Cómo usar las evaluaciones estratégicamente?

Es necesario un proceso de innovación pero basado en la EVIDENCIA. Las evaluaciones de impacto comienzan por definir bien el problema. Por ejemplo: en cuanto al aprendizaje de la lectura. Para ello, habría que:

• Analizar el contexto, conocimiento sobre este tema, evidencias existentes.
• Diseñar el programa
• Pilotear el programa en dos escuelas por lo menos (en menor escala)
• Evaluar su  impacto
• Implementar en grupos de mayor escala si encontramos resultados positivos

Por último, en este post me voy a referir a la exposición “Reforma educativa basada en evidencia” a cargo del gran Robert Slavin, quien es director del centro de investigación de la Universidad de Hopkins https://robertslavinsblog.wordpress.com

Slavins señaló que cada año las tendencias en la moda varían, es decir, este año la moda es de una forma pero el próximo año existirá otra. Sin embargo, esto  no significa un avance. En educación (lamentablemente) también existen modas educativas.  Los cambios en educación por lo general ocurren por  cambios políticos o por gente influyente  pero no siempre se basa en la evidencia. La evidencia se ha vuelto la base del cambio en disciplinas como en la medicina, agricultura y en la ingeniería pero en educación, aún hay mucho camino por recorrer

Slavin planteó que para un programa tenga evidencias tiene que ser: evaluado en estudios de gran calidad, comparado con el grupo control, replicable, existencia de una prueba preliminar y una post prueba, desarrollarse al menos durante 12 semanas y al menos con 60 estudiantes.

Por último, señaló varios enlaces a los que podemos recurrir para conocer los diferentes programas educativos que cuentan con evidencias (fuertes, moderadas o leves).

SkillsBank  Un sitio web en español con muchas evaluaciones de programas realizados a lo largo de 40 años, y que abarcan tanto a los países desarrollados como a los que están en vías de desarrollo.

What Works Clearinghouse https://ies.ed.gov/ncee/wwc/

Best Evidence Encyclopedia http://www.bestevidence.org

Evidence for ESSA https://www.evidenceforessa.org

Evidence4Impact https://www.evidence4impact.org.uk

Toda la conferencia está disponible en este enlace https://www.youtube.com/watch?v=AMZu8rn2XGA&feature=youtu.be.