ERIC Digest 140 - septiembre 2000
Evaluando los Resultados de la Reforma Escolar Total
por Elizabeth Hertling
La reforma escolar total (conocida también como reforma escolar glo-bal), es un proceso mediante el cual se busca cambiar simultáneamente todos los elementos del ambiente operacional del colegio, de tal manera que esos elementos se alinien con una visión orientadora central (Keltner 1998). El objetivo final, por supuesto, es mejorar el rendimiento de los alumnos.
Frustrados por el poco éxito de las reformas fragmentarias y espoloneados por los incentivos financieros del programa federal de Demostración de Reforma Escolar Global (DREG) (Comprehensive School Reform Demostration) (CSRD), el que otorga $50.000 en becas anuales para los colegios que reúnen las condiciones de calificación. Existe un aumento de los educadores que están considerando una reforma global escolar para mejorar el rendimiento de los colegios.
¿Funciona realmente la reforma global escolar? Hasta aquí los resultados son modestamente positivos. Un estudio de 1999 hecho por el Instituto Americano para Investigación (American Institute for Research) encontró que solamente 3 de los 24 modelos de reforma global estudiados, mostraban una fuerte evidencia de que el resultado de los estudiantes había sido elevado (AIR 1999). La organización Nuevos Colegios Americanos (New American Schools) [NAS] sostiene que cada uno de sus diseños, cuando se han implementado completamente, mejora las tasas de asistencia, el involucramiento de los padres y el rendimiento de los alumnos. NAS agrega, ‘ Algunos colegios no han alcanzado los resultados que esperaban, y algunos no han experimentado ninguna mejora luego de adoptar el diseño’ (NAS 1999). Para determinar si sus programas de reforma están alcanzando los resultados proyectados, el colegio debe poder conducir una evaluación efectiva de las prácticas de reforma. ‘Los colegios que carecen de la habilidad para analizar sus propios resultados...estarán siempre en desventaja,’’ dice el presidente de NAS, John Anderson (1999).
Los colegios que no evalúan sus resultados cuentan además con otra desventaja: Para renovar el programa de financiamiento DREG, a los colegios se les exige programas de reformas globales. Este Digest examina qué aspectos están envueltos en tal evaluación, de tal modo que los colegios puedan determinar qué está funcionando con los programas y qué necesita ser cambiado.
¿Qué Requiere el DREG para Renovar el Financiamiento?
Crear un diseño flexible y mantenerlo en forma realista son los dos objetivos primordiales de la evaluación DREG (Clark y Dean 2000). Las Agencias de Educación Estatal y Local (State and Local Education Agencies) (SEA y LEA) [AEE y AEL] deben evaluar la implementación de los programas DREG, además de medir sus resultados. El Departamento de Educación de los Estados Unidos (1999) (The US Department of Education) aconseja a las AEE y AEL considerar dos fuentes principales de datos en la evaluación de los programas DREG: rendimiento de los estudiantes e implementación del programa.
Las medidas de rendimiento debieran ser relacionadas con los resultados esperados de los programas de reforma global implementados en el Estado y debieran producir datos tanto de tipo cuantitativo como cualitativo. La evaluación debiera establecerse sobre el mismo tipo de método utilizado para evaluar a todos los estudiantes en relación con los estándares del Estado y puede ser complementada mediante las evaluaciones de rendimiento estudiantil desarrolladas a nivel local o de colegio. Es posible que los colegios también quieran examinar otros aspectos del rendimiento escolar tales como asistencia e involucramiento de los padres.
La necesidad de conseguir información de los programas de implementación nace de la plétora de investigaciones que demuestran la importancia del papel de la implementación para el éxito de una reforma escolar global. El Departamento de Educación requiere que los colegios hagan un seguimiento del apoyo de quienes la impulsan, de la participación de los padres, un continuo desarrollo profesional del personal, y la realización de un seguimiento de la implementación. Otros datos debieran incluir la utilización de asistencia externa en la implementación del programa, la fuente y la efectividad de la asistencia técnica (Departamento de Educación de EEUU) [U.S. Department of Education].
¿Cómo Pueden Planear los Colegios una Evaluación Global?
El secreto de este proceso es poder realizar preguntas claves tempranamente en el programa, de tal manera que el proceso de evaluación pueda reflejar las necesidades, los intereses, los problemas y los recursos únicos del colegio. ‘Las evaluaciones verdaderamente efectivas que entregan información útil a quienes toman las decisiones, no son ideas posteriores, son partes integrales de la planificación del programa y de los procesos de implementación desde el principio,’ aconceja Cicchinelli y colegas (1999).
Yap y colegas sugieren que los colegios se hagan varias preguntas al planear su reforma global (1999). ¿Qué quiere alcanzar el colegio en términos generales? ¿Qué debe hacerse para alcanzar estos objetivos?¿Cómo serán medidos los progresos hacia los objetivos?¿Cómo será recopilada la evidencia para demostrar el progreso hacia los objetivos del colegio?¿Cómo se utilizarán los resultados de la evaluación?
Los principales participantes pueden reunirse como grupo para acordar las respuestas a cada pregunta, o pueden responder la pregunta separadamente antes de reunirse para tabular los resultados. Es importante que cada diferencia de opinión sea expresada y considerada, aconseja Hassel (1998).
De acuerdo a Cicchinelli y colegas, el proceso de evaluación debiera permanecer flexible y realista en su alcance. Los estándares de evaluación, tales como los Programas Estándares de Evaluación (Program Evaluation Standards) establecidos por el Comité Conjunto sobre Estándares para Evaluación de la Educación (Joint Committee on Standards for Education) de Estados Unidos o los Principios Guías para Evaluación desarrollados por la Asociación Americana de Evaluación (American Evaluation Association) pueden ser útiles.
Es crucial el involucramiento de los interesados claves en el proceso de evaluación. Pueden ser incluidos como participantes los padres, los miembros de la comunidad, profesores, administradores, consejos de educación, administradores, estudiantes y otros (Departamento de Educación de Colorado 1998) [Colorado Department of Education].
Mientras se desarrolla la lista preliminar de las tareas de evaluación, los administradores debieran además estimar el tiempo del personal requerido y la experiencia necesaria, tanto como otros recursos indispensables.
Estos gastos debieran ser sopesados en relación con el monto de recursos disponibles para determinar si los colegios necesitarán colaborar con otras agencias para obtener tiempo del personal y/o los recursos necesarios. (Cicchinelli y colegas).
¿Cómo Debiera Diseñarse la Evaluación?
La manera en que la reforma global del colegio es implementada determina en gran parte sus posibles resultados. Por lo tanto, el diseño de evaluación deberá considerar estos dos componenetes: ¿Qué tan bien la implementación del programa está funcionando, y qué resultados concretos ha logrado? (Yap y colegas). Una evaluación efectiva no puede confiarse en una sola herramienta o un solo dato recolectado.
‘Ningún encuestador individual o herramienta general de recolección de datos puede alcanzar las necesidades de información total que se requieren,’ advierten los Asociados de Estudios de Políticas (Policy Studies Associates) (1998). Los colegios debieran combinar pruebas estandarizadas y encuestas con métodos cualitativos tales como entrevistas personales y grupos específicos.
Para evaluar la implementación de programas, los colegios pueden revisar material de archivo tales como anotaciones de los estudiantes, planes de programas y vitácoras de implementación. Puede que los educadores también deseen realizar encuestas o entrevistas con participantes claves tanto como realizar observaciones en las clases para monitorear cambios en las prácticas de instrucción (Cicchinelli y colegas).
Para evaluar los resultados concretos del programa, los colegios a menudo se concentran en los logros de los alumnos y su rendimiento. La cotejabilidad cumple aquí una función importante. El Departamento de Educación de Colorado (Colorado Department of Education) sugiere incluir evaluaciones que cuenten con un sistema común de puntaje (notas) para que permitan la comparación entre colegios, distritos y Estados como por ejemplo el CSAP, la Evaluación Nacional sobre Progresos en Educación (National Assessment of Education Progress), el Test de Habilidades Básicas de Iowa (The Iowa Test of Basic Skills), y otros. Los Asociados de Estudios de Políticas informan que muchos colegios relacionan sus objetivos con metas mayores del Estado que son medidos periódicamente por los programas de evaluación de sus Estados. De esta manera, los colegios pueden examinar sus resultados para propósistos diversos.
Los colegios no debieran confiar solamente sobre pruebas estandarizadas para evaluar el logro de los estudiantes, advierte el Departamento de Educación de Colorado. Los colegios debieran incluir evaluaciones de salas de clase que provean información adicional como muestras de trabajos escritos, proyectos, experimentos, discursos, demostraciones y demás.
¿Cuáles son los Obstáculos de una Evaluación Exitosa?
Muchos elementos pueden descarrilar un plan de evaluación. El problema más común, de acuerdo con Yap y colegas, es la falta de tiempo: ‘Muchos profesores se sienten ya agobiados y la idea de tener que hacer otra cosa más puede ser intimidadora’ Los distritos que carecen de recursos para la evaluación pueden desear buscar ayuda de quien desarrolla el programa o de la fuente de financiamiento.
Además, puede que los participantes claves no tengan las habilidades o la experiencia necesaria para trabajar juntos cooperativamente, o puede ser posible que trabajen juntos pero pueden adolecer de entrenamiento en la evaluación práctica de programas, concluyendo en la falta de comprensión en la utilización de los datos para decisiones dirigidas (Yap y colegas).
La falta de conocimiento no es la única barrera para una evaluación exitosa. Muchos educadores temen las evaluaciones, ya que piensan que la información será utilizada en contra de sus colegios para exponer problemas y dañar el financiamiento.
¿Cómo Debieran Utilizarse los Datos de Evaluación?
‘Una vez que se ha terminado el duro trabajo de recolección de datos, comienza el verdadero trabajo duro’, dicen Cicchinelli y colegas. Obviamente los resultados de evaluación deben ser reportados. Pero para crear un informe útil, los evaluadores deberán ajustar los datos a la audiencia, elegir el medio más adecuado para entregar los resultados y entregar los hallazgos oportunamente.
Cicchinelli aconseja a los administradores formatear los resultados de evaluación para facilitar el uso de los participantes. Los directores podrán beneficiarse con un informe computacional resumido de las evaluaciones desagregadas por grupos de estudiantes que reciben diferentes tipos de instrucción. Los consejos de los colegios de funcionarios estatales, sin embargo, podrían estar más interesados en los informes de progreso estadístico con gráficos y cuadros en los cuales se compara el rendimiento estudiantil a través de los años.
El compartir los resultados no es necesariamente un evento que se realice de una sola vez. Yap y colegas sugieren que los colegios deben establecer un proceso contínuo para comunicar los resultados de evaluación y así mantener a la comunidad escolar informada acerca del progreso y calidad del programa. Los Asociados de Estudios de Políticas recomiendan hacer una evaluación al menos cuatro veces al año.
Los educadores no debieran olvidar el uso más importante de los datos, es decir: mejorar el programa. Puede ser útil separar los datos en categorías como género, etnicidad, tipo de estudiante y grado, de este modo los colegios pueden enfocarse en sus fortalezas y debilidades (Yap y colegas). Basado en los resultados de evaluación, los educadores pueden determinar si los cambios en el programa son necesarios, si los resultados basados en hitos y objetivos necesitan ser refinados o si las estrategias de acción necesitan ser rediseñadas, reemplazadas o mantenidas (Colorado Department of Education).
Referencias
American Institutes for Research. An Educator’s Guide to Schoolwide Reform. Arlington, Virginia: Educational Research Service, 1999. 141 pages.
Anderson, John. "Is It Working Yet?" Education Week (June 2, 1999): 30, 33.
Cicchinelli, Louis F., and colleagues. "Evaluating Comprehensive School Reform Initiatives." Noteworthy Perspectives on Comprehensive School Reform. Aurora, Colorado: McREL, 1999. Pages 41-47. ED 433 588.
Clark, Gail, and Ceri Dean. Comprehensive School Reform Demonstration: A Summary of LEA Roundtables. Aurora, Colorado: McREL, 2000.
Colorado Department of Education. Schoolwide Programs: Preparing for School Reform. Denver: Colorado Department of Education, 1998. 195 pages. http://www.cde.state.co.us/
Hassel, Bryan. Comprehensive Reform: Making Good Choices. Oak Brook, Illinois: North Central Regional Educational Laboratory, 1998. 63 pages. Full text: http://www.ncrel.org/csri/tools/makegood.pdf
Keltner, Brent R. Funding Comprehensive School Reform. Rand Issue Paper. Santa Monica, California: Rand Corporation, 1998. 9 pages. ED 424 669.
New American Schools. Working Toward Excellence: Examining the Effectiveness of New American Schools Designs. New American Schools, 1999. 55 pages. ED 420 896. Full text: http://www.naschools.org/respub/99results.pdf
Policy Studies Associates. Implementing Schoolwide Programs: Vol. 1, An Idea Book on Planning. Washington D.C.: Policy Studies Associates, 1998. 220 pages. ED 423 615. http://www.edrs.com/default.cfm
U.S. Department of Education. Guidance on the Comprehensive School Reform Demonstration Program. Washington, D.C.: U.S. Department of Education, 1999. http://www.ed.gov/offices/OESE/compreform/csrdgui.html
Yap, Kim, and colleagues. Evaluating Whole-School Reform Efforts: A Guide for District and School Staff. Portland, Oregon: Northwest Regional Educational Laboratory, 1999. 178 pages.
Un producto de ERIC Clearinghouse on Educational Management • Facultad de
Educaci—n, Universidad de Oregon • Eugene, Oregon 97403
Este articul— se public— gracias a la Universidad de Oregon y se tradujo
por CENLADEC (Centro Latinoamericano para el Desarrollo, la Educaci—n y la
cultura). De la Universidad de Playa Ancha. El art'culo es de difusi—n
pœblica y se puede reproducir libremente.
CENLADEC@UPA.CL
Fono: 56-32-283504 • Fax: 56-32-280671
Traducci—n por Amado Lascar, amado@darkwing.uoregon.edu
|
