El impacto de los proyectos institucionales de evaluación educativa en España = The impact of institutional programmes of educational assessment in Spain

Abstract

El objeto de estudio de esta Tesis Doctoral se centra en conocer si el programa PISA (Programme of International Student Assessment) cumple sus fines: por una parte, que la calidad y riqueza de sus datos constituyan base para la investigación; y, por otra, fomentar el análisis destinado a mejoras en el campo de la educación. Esta investigación abarca los catorce años de vigencia del programa PISA en España.

Para ello, la investigación se ha llevado a cabo en dos fases: En primer lugar, se ha analizado el impacto de PISA en las publicaciones académicas internacionales para verificar si el programa constituye base para la investigación. En esta primera fase, se llevó a cabo un análisis bibliométrico de las publicaciones incluidas en las bases de datos de Eric, EBSCOhost y el ISI Web of Knowledge, de 2002 a 2010. La investigación se centró en cuatro cuestiones principales: quiénes publican sobre PISA en las revistas científicas, en qué revistas se ha publicado, cómo ha sido la evolución de estas publicaciones y cuáles han sido los principales temas tratados. En segundo lugar, se ha analizado el impacto en la prensa escrita española para comprobar si PISA contribuye a un debate público en los medios de comunicación para la mejora de las políticas educativas. La metodología utilizada fue el análisis cuantitativo y de contenido de los artículos publicados en cuatro periódicos nacionales: El Mundo, El País, ABC y La Vanguardia, de 2000 a 2014 (n=2634). El estudio se centró en cuatro aspectos: la evolución en la publicación de artículos en prensa, la relación de los artículos con temas educativos, si estos artículos analizan informes de resultados o sólo citan PISA en temas educativos y qué competencias se mencionan.

Por una parte, el estudio concluye que PISA ha tenido un impacto considerable en la investigación científica, que se refleja principalmente por autores universitarios de las áreas de la educación y de las ciencias sociales que analizan el desempeño del estudiante. La evolución desde 2007 parece indicar que se publicarán más artículos científicos en los próximos años a través de la iniciativa de los investigadores (en lugar de los consejos editoriales), incluso de otras áreas científicas, lo que aumentará el número de temas de análisis. Por otra parte, este estudio también concluye que la mayor parte de la información publicada en la prensa española sobre PISA es simplista y superficial. La producción de artículos fue aumentando hasta el año 2008 y a partir de ese momento se ha ido observando una disminución. A lo largo de los ciclos PISA, el mayor volumen de artículos siempre se concentra en el año posterior a la publicación de un informe de resultados por parte de la OCDE. Los artículos publicados en la prensa de nuestro país, son mayoritariamente educativos, pero hemos observado un porcentaje elevado de artículos que no tienen vinculación con temas educativos, siendo su principal temática la política general. Además, se ha comprobado que la competencia más mencionada a lo largo del ciclo, no siempre coincide con la tratada prioritariamente en PISA durante ese ciclo