Introducció

Si partim de la premissa, com fa Drucker (1999), que vivim una etapa de canvis ràpids i de profunda transformació, en què la societat afronta molts canvis de nova naturalesa, és fàcil entendre la importància de l’educació en el context del món actual i l’impacte que té en el desenvolupament econòmic, social i cultural de cada país, independentment de la fase de desenvolupament en què es trobi.

L’educació, per tant, hauria de ser una àrea prioritària per a Portugal, sobretot si es tenen en compte els resultats que s’han obtingut en aquest camp. Malgrat els canvis significatius que s’han produït els darrers trenta anys, els resultats en educació encara són molt inferiors als de la majoria d’altres països desenvolupats (OCDE, 2007). Davant d’aquesta situació, és important conèixer el grau d’acompliment dels objectius fixats per les escoles, donant per fet que només serà possible definir la política educativa i millorar la qualitat del sistema educatiu si es disposa d’uns models adequats de mesurament de l’acompliment institucional.

Portugal afronta problemes molt seriosos amb els índexs d’escolarització, progrés i finalització dels estudis a l’escola secundària, els quals són significativament inferiors als dels altres països de la Unió Europea. Fins i tots els estudiants que aconsegueixen començar estudis superiors sovint troben molt difícil acabar els estudis. Segons un estudi oficial que s’ha dut a terme recentment, a Portugal la taxa de supervivència en l’ensenyament públic superior es troba al voltant del 65 % (Portugal, OCES, 2007). Una de les raons que s’exposen és una educació secundària deficient.

Benchmarking mètric

Des de l’any acadèmic 2000-2001, els resultats dels exàmens nacionals al final de l’educació secundària, que s’utilitzen com a requisit d’accés a l’ensenyament superior, es fan públics. Això ha fet que uns quants diaris hagin elaborat rànquings d’escoles secundàries, la qual cosa ha motivat un seguit de preguntes sobre el rendiment de les escoles i sobre l’elecció del centre, però també sobre els efectes tan contraris d’aquests rànquings simplistes, que només es basen en resultats. L’anàlisi de l’acompliment a Portugal s’ha de situar en el context de la maduresa relativa que té aquest concepte al país i del nivell de comprensió implícit dels stakeholders.

El nostre estudi va començar amb el desenvolupament d’un model per tal de mesurar i comparar l’acompliment de les escoles secundàries de Portugal, prenent un enfocament de valor afegit. Es va desenvolupar un model per mesurar l’acompliment dels centres d’educació secundària fent servir l’anàlisi d''envolupament de dades (DEA), una tècnica de programació matemàtica a partir de les dades de què es disposava. En primer lloc, l’estudi explora les expectatives d’acompliment de l’escola per a cada stakeholder del sistema. Un segon objectiu de l’estudi és entendre els factors socioeconòmics i altres factors que no estan sota el control de l’escola, els quals determinen significativament l’acompliment a cada centre. La darrera qüestió que planteja aquest estudi és fins a quin punt s’han d’atribuir les diferències a qüestions socioeconòmiques i altres factors d’input o de direcció que no es poden controlar. Aquesta qüestió ens ajuda a entendre l’efectivitat del sistema d’una manera més objectiva.

Avaluar l’eficiència i l’acompliment del sector públic a Portugal sempre ha topat amb una manca de dades o amb problemes amb la qualitat d’aquestes dades. Un dels problemes és el fet que l’agència oficial d’estadístiques d’educació ha fet servir l’escola com a unitat de mesurament en comptes de l’alumne. Així, en general no s’ha tingut accés a les dades sobre el nivell socioeconòmic de l’alumne, com ara l’educació i la feina dels pares.

Mentrestant, el 2006, el Ministeri d’Educació va llançar un exercici d’avaluació extern, el Programa per a l’avaluació externa de les escoles, per a tots els centres. El programa es basava en l’avaluació d’experts i estava dirigit per un panel d’investigadors de la Inspecció General d’Educació (Inspecção Geral da Educação) i per membres no experts. En el transcurs d’aquest programa, van sorgir alguns dels problemes de les dades que hem esmentat més amunt. Un cop es van tenir totes les dades necessàries, es va dur a terme un benchmarking mètric fent servir el model DEA de valor afegit que s’havia desenvolupat.

Benchmarking pràctic

El model d’avaluació externa de les escoles que va llançar el Ministeri cobreix cinc àrees: els resultats (inclosos els resultats acadèmics, però no de manera exclusiva); la prestació del servei; l’organització i la gestió; el lideratge, i l’autoregulació i el progrés. Cada àrea es classifica en una escala que inclou l’insuficient, el suficient, el bé i el molt bé. El 2006 es van avaluar 24 escoles, i el 2007, 102 –totes de manera voluntària. L’assessorament té una naturalesa qualitativa: un panel format per tres avaluadors, dos inspectors d’educació de la Inspecção Geral da Educação i un membre no expert visiten les escoles durant dos o tres dies. El panel d’assessors entrevista uns quants panels representatius dels stakeholders de l’escola, com ara el comitè executiu, el consell pedagògic, l’assemblea escolar, els representants dels estudiants, els caps de departament, els delegats de classe, els pares, el personal no acadèmic, etc. El programa preveu que cada escola s’hauria d’avaluar cada quatre anys com a condició necessària per rebre més autonomia. Tots els informes d’avaluació es fan públics i són accessibles des d’Internet. Els resultats del Programa per a l’avaluació externa de les escoles ens permeten fer un exercici de benchmarking pràctic “per poders”.

Confrontació entre el benchmarking mètric i el pràctic

D’aquesta manera, es pot fer una comparació entre els resultats de les avaluacions qualitatives i els resultats del nostre model quantitatiu, és a dir, la consistència que tenen i les complementarietats entre els exercicis de benchmarking mètric i pràctic.

A partir de les nostres recerques, podem concloure provisionalment que l’acompliment de les escoles seguint els nostres exercicis mètric i pràctic no varia gaire. No obstant això, els nostres resultats no concorden en absolut amb les opinions dels panels d’assessors amb relació als resultats de les escoles. En pot ser una causa el fet que els assessors troben difícil prendre un enfocament de valor afegit en comptes de valorar les escoles, sobretot quan es mesuren resultats –com ara les notes dels exàmens i les taxes de graduació–, i es troben amb dificultats a l’hora de tenir en compte el nivell socioeconòmic dels alumnes i altres variables que s’escapen del control de l’escola.

Conclusions

La nostra conclusió és favorable a les complementarietats entre els exercicis de benchmarking mètric i el pràctic. Els exercicis de benchmarking mètric del tipus que proposem són necessaris per informar les escoles, els avaluadors i els que prenen decisions sobre les polítiques d’una manera imparcial, combinant-los amb exercicis de benchmarking pràctic, els quals s’adapten més bé als aspectes qualitatius de l’acompliment del que pot respondre qualsevol model quantitatiu.

Esperem que el nostre estudi contribueixi a comprendre millor l’acompliment dels centres d’educació secundària portuguesos, i que actualitzi el debat sobre l’avaluació de les escoles, la millora de l’acompliment i l’elaboració de polítiques.

Maria J. Rosa és professora adjunta al Departamento de Economia, Gestão e Engenharia Industrial (DEGEI) da Universidade de Aveiro, Portugal i investigadora al The Centre for Research in Higher Education Policies (CIPES). (m.joao@ua.pt)