En vista dels continus esforços d'aquestes últimes dècades i la gran preocupació per tenir un grau d'eficiència més gran en la despesa pública, va aparèixer l'interès per indagar en quina mesura les avaluacions de programes realitzades en el marc de l'APG per la Direcció de Pressupostos durant el període 2006-2010 han estat útils per a la presa de decisions en el sector públic. Per dur a terme aquesta anàlisi, es van utilitzar els antecedents disponibles de la DIPRES en relació amb una mostra de 61 programes avaluats durant el quinquenni 2006-2010 i es va fer un seguiment de cada un dels programes. Els resultats d'aquesta recerca formen part d'un estudi més ampli, titulat "L'impacte de l'avaluació: aprenentatges del cas xilè".

En aquest estudi es va observar que la línia d'avaluació de programes governamentals (APG), que correspon a gairebé un 50 % de les avaluacions fetes en el període esmentat, ha tingut com a impacte principal la creació d'una cultura d'avaluació entre els funcionaris públics. No obstant això, els resultats de l'avaluació van presentar un baix grau d'ús en el cicle pressupostari i en la presa de decisions de polítiques, i un grau d'ús parcial per part dels implementadors dels programes. La causa d'això ―es dedueix― és que l'avaluació és un exercici en si formalista que té com a prioritats no declarades la generació i la sistematització d'informació més que l'anàlisi de resultats. En aquest context, és interessant preguntar-se quin és l'objectiu que persegueix realment la línia d'avaluació de programes i quins són els èxits que ha aconseguit consolidar actualment.

Començant pels èxits que ha consolidat aquesta línia d'avaluació, s'observa, en primer lloc, que l'APG ha augmentat gradualment la seva cobertura en el temps i s'ha aplicat a iniciatives que promouen el desenvolupament social de les persones, la modernització de les institucions públiques i l'ajuda a les iniciatives econòmiques, però sense limitar-se només a tot això en la pràctica. En aquesta mesura, hi ha hagut l'oportunitat d'avaluar la majoria de ministeris durant el període esmentat, encara que això no ha comportat que les avaluacions s'hagin distribuït de la mateixa manera entre els ministeris, com tampoc que es fessin proporcionalment als ingressos de cada dependència.

El segon assoliment de la línia d'avaluació és l'alt grau de compliment que tenen els compromisos associats a cadascuna de les avaluacions de programes governamentals. En aquest àmbit, un 71 % dels compromisos negociats per l'equip operador del programa i el personal de la DIPRES, fruit de les avaluacions dels programes revisats en aquesta mostra, han estat efectivament complerts. A més, si s'hi sumen els compromisos parcialment complerts ―és a dir, aquells que en el moment del seguiment s'estaven gestionant però no havien conclòs―, la xifra de compliment ascendeix al 84 % dels casos. D'aquesta manera, s'observa que els programes han tingut l'oportunitat de millorar-se i modificar-ne les característiques en nom d'un acompliment més gran gràcies a aquestes avaluacions.

Així doncs, és evident el gradual esforç de l'APG per avaluar diverses de les iniciatives governamentals de cada un dels ministeris amb avaluadors tècnics adequats i un alt grau de compromís institucional cap al procés d'avaluació. Això té com a resultat un efecte significatiu de l'APG, segons les percepcions dels entrevistats, que es refereix a generar una pràctica d'avaluació en el servei públic. En aquest sentit, l'avaluació contribueix a generar una cultura organitzativa dins de les dependències públiques que fa notar la rellevància de l'avaluació, de manera que els funcionaris consoliden hàbits relacionats amb el manteniment i l'actualització de la informació necessària per monitoritzar de forma constant el progrés del programa. A més, en la mesura que l'avaluació de programes comença a ser més recurrent, es generen oportunitats d'aprenentatge institucional, mentre que el procés d'avaluació consolida un espai de reflexió dels equips mitjançant la incorporació d'una perspectiva externa (la del panel avaluador), a més de permetre la presa de decisions en identificar possibles àmbits de millora per treballar.

No obstant això, la línia d'APG acaba sent, al final del dia, un procés eminentment formal. D'una banda, totes les iniciatives governamentals, independentment de la complexitat interna i pressupostària, són avaluades amb una mateixa metodologia (la de marc lògic), cosa que repercuteix en la forma com l'avaluació pot impactar en el perfeccionament del programa i la utilització d'aquesta informació per part d'altres actors. D'altra banda, tant les recomanacions fetes pel panel avaluador, producte del procés d'avaluació, com els compromisos acordats per millorar les iniciatives es concentren, principalment, en aspectes d'organització i gestió dels programes com ara la realització de tasques de registre i sistematització de la informació, i de control de gestió. Els motius que poden privilegiar els aspectes d'organització i gestió en l'avaluació es basen en la metodologia utilitzada (Banc Mundial, 2005) i el baix grau de detall en les entrades que el programa avaluat posa a disposició del panel avaluador.

Així, comptat i debatut, l'EPG ha demostrat estar realitzant un esforç sistemàtic per obtenir més i millor informació sobre l'operació dels programes governamentals, en contraposició a la necessitat de realitzar un judici informat que serveixi com a input capaç de realitzar canvis a nivell del cicle pressupostari per fer-lo eficient; fi pel qual es va crear aquesta línia d'avaluació i percepció compartida dels actors estratègics entrevistats.

L'anterior és rellevant, ja que repercuteix en la usabilitat de la informació generada. D'una banda, els propis administradors dels programes perceben que només algunes recomanacions realitzades pel panell avaluador poden ser implementades, ja que moltes presenten la limitació de ser aplicables només en la mesura que s'assegurin certs factors externs a la capacitat de decidir dels equips, com són l'augment pressupostari o el canvi normatiu. D'altra banda, a nivell estratègic es percep que l'ús de les avaluacions és selectiu, d'acord a les prioritats del govern, a la conveniència dels parlamentaris que influeixen en el procés de definició pressupostària i al caràcter tècnic o polític que exerceixi el destinatari de l'avaluació. Fins avui, el llenguatge, l'estructura i el format de l'avaluació són més comprensibles per l'executor del programa que exerceix funcions tècniques tot i que la capacitat de decidir resideixi en un actor amb funcions polítiques.

Així, es pot concloure que, tal com es desenvolupa actualment el procés EPG a Xile, la inserció de les avaluacions en el cicle pressupostari és més aviat incerta, tot i que es reconeix que aquestes generen informació amb molt potencial d'utilitat per a la presa de decisions. En segon lloc, si bé la metodologia EPG és un procés sistemàtic i coherent, ha caigut en una aproximació molt formalista, els suggeriments i anàlisi queden acotats a l'espectre decisiu dels administradors dels programes. Finalment, el desafiament més important del sistema d'avaluacions és, probablement, que aquestes s'orientin cada vegada més als usuaris (és a dir, autoritats polítiques, executius i administradors dels programes), per aconseguir així que fan un millor servei a la presa de decisions. En aquest sentit, tal com proposen Bellolio et al. (2012), seria molt desafiant per a Xile comptar amb una Agència d'Avaluació de Polítiques amb la visió d'enfortir la funció d'avaluació de les polítiques per contribuir a millorar el valor que aquestes aporten a la societat.

Ignacio Irarrázaval és director del Centre de Polítiques Públiques de la Pontifícia Universitat Catòlica de Xile. Ignacia Arteaga és sociòloga investigadora associada al Centre de Polítiques Públiques de la Pontifícia Universitat Catòlica de Xile.

Bibliografia

Bellolio, A .; Dels Rius, B .; Irarrázaval, I .; Larraín, L., et al. (2012). Agència d'Avaluació Pública. Centre de Polítiques Públiques de la Pontifícia Universitat Catòlica de Xile.

Banc Mundial (2005). 'Xile: Estudi d'avaluació d'impacte del programa d'avaluació de programes'. Unitat de Reducció de la Pobresa i Gestió Econòmica. Amèrica Llatina i el Carib.