Tenint en compte els guanys que se’n poden obtenir, es van elaborar un conjunt de polítiques públiques per fomentar l’avaluació, i, atès que l’elaboració de polítiques no té cap sentit si aquestes no s’apliquen correctament, la pregunta pertinent és: Què es necessita per assegurar que les noves polítiques s’adopten com cal i s’apliquen amb èxit? Per contribuir a respondre a aquesta pregunta, es van analitzar i es van comparar els processos d’elaboració i implementació de polítiques de dos sistemes d’avaluació: el Sistema Nacional de Evaluación de Resultados (SINERGIA) de Colòmbia i els Programas para la Mejora de la Gestión (PMG) de Xile, utilitzant la teoria d’anàlisi de les polítiques com a marc de suport.

Les polítiques públiques: teoria i pràctica

"L’anàlisi de les polítiques és una disciplina aplicada de les ciències socials que tracta de produir informació útil per a la presa de decisions sobre les polítiques en contextos polítics" (Dunn, 1994:4). S’han identificat les fases següents com a part del procés d’anàlisi de les polítiques: la definició del problema, la previsió, la recomanació, la supervisió i l’avaluació.

L’elaboració de polítiques és el procés de presa de decisions, que idealment es basa en una anàlisi de les polítiques, per tal de resoldre els problemes en joc. El procés d’elaboració de polítiques ha estat definit com una sèrie de fases interdependents i ordenades en el temps: l’establiment de l’agenda, la formulació de les polítiques, l’adopció de les polítiques, la implementació de les polítiques i la valoració de les polítiques (Sutton, 1999; Grindle, M. i Thomas, J. 1990; Dunn 1994).

Finalment, pel que fa a l’aplicació de les polítiques públiques, hi ha dues tradicions dominants: la perspectiva de dalt a baix (top-down) y la perspectiva de baix a dalt (bottom-up) (Peters i Pierre, 2003). En la perspectiva de dalt a baix, les decisions es prenen a la part superior de la piràmide de la política pública i s’implementen cap avall en la jerarquia. En canvi, la perspectiva de baix a dalt fa èmfasi en la necessitat de descentralitzar el procés de presa de decisions, a fi d’incloure-hi les perspectives de tots els grups d’interès implicats en el procés.

La figura 1 il·lustra la relació que existeix entre l’anàlisi de les polítiques i el seu procés d’elaboració; aquesta relació s’ha de tenir en compte en l’anàlisi següent, atès que ambdós aspectes se superposen durant la major part del temps.

Figura 1. Relació entre els procediments d’anàlisi de les polítiques i l’elaboració de les polítiques

Font: Elaboració pròpia a partir de Dunn (1994:17)

Fase 1: Establiment de l’agenda / Estructuració del problema

El primer pas a l’hora de dissenyar una nova política és analitzar amb deteniment una situació problemàtica per tal de tenir-ne un diagnòstic i, per tant, un problema de política, és a dir, un problema que es pugui resoldre mitjançant l’acció institucional. L’objectiu és evitar la inversió de fons públics, generalment escassos, per resoldre el problema equivocat.

En aquest cas, al principi la pregunta usual era la següent: Com es pot millorar el rendiment de les institucions de l’estat i crear una nova cultura orientada als resultats? Els objectius de les polítiques que es van definir van ser els següents: dissenyar un conjunt de regles per tal de garantir l’ús eficient dels recursos públics; crear una nova cultura organitzativa centrada en els resultats, i alinear la missió dels organismes estatals amb els objectius i les macropolítiques de l’estat.

Curiosament, les diferències en les causes atribuïdes a aquest problema es reflecteixen en el nivell estatal seleccionat per a intervenir-hi, en les estructures encarregades d’aplicar les noves polítiques, en els instruments dissenyats i en la relació existent entre els agents i els directors, suposant que els agents fossin les poblacions destinatàries i els directors els líders que promovien les noves polítiques.

A Colòmbia, la política d’avaluació es basava en l’article 343 de la nova Constitució de 1991, que estableix explícitament que el Departamento Nacional de Planificación és la unitat responsable de dissenyar i organitzar el sistema d’avaluació de la gestió i dels resultats. A Xile, en canvi, es va desenvolupar com a part dels esforços de l’Executiu per modernitzar l’Estat, i només posteriorment es va donar suport legal a algunes de les iniciatives.

Les organitzacions responsables del procés de disseny i implementació de les polítiques també varien. A Colòmbia es va crear una unitat especial del Departamento de Planificación Nacional l’any 1993, mentre que a Xile l’esforç fou assumit el 1994 pel Comité Interministerial para la Modernización de la Gestión Pública (CIMPG) de la Secretaría General de la Presidencia (SEGPRES), amb el suport tècnic de la Dirección de Presupuestos i del Ministerio de Finanzas, organitzacions que ja tenien experiència en l’avaluació.

Identificació i implicació dels stakeholders

A Colòmbia, el Departamento Nacional de Planificación (DNP) va organitzar el seminari "Sistemes d’avaluació ex post per el sector públic", al qual van assistir totes les organitzacions que exercien algun paper en el control o l’avaluació, com també membres de l’Asamblea Constitucional Nacional de 1991 i representants del sector privat, del Banc Mundial, del Banc Interamericà de Desenvolupament i de l’Oficina General de Comptabilitat dels Estats Units.

Malgrat la tensió política evident entre les institucions que havien estat responsables de l’avaluació i el DNP, els assistents al seminari es van posar d’acord en la necessitat de promoure una nova cultura que inclogués l’avaluació com un instrument permanent de gestió. Com i qui ho faria eren aspectes de l’agenda que van quedar per resoldre.

A Xile, abans de la creació del Comité Interministerial para la Modernización de la Gestión Pública (CIMPG) s’havia promogut permanentment una gestió més informada i tècnica; per tant, el govern xilè no va haver d’afrontar cap confrontació política important, almenys inicialment.

Tanmateix, si revisem la llista de stakeholders que s’hi han de tenir en compte, o fins i tot incloure, el procés va ser molt limitat en tots dos casos i va ser gestionat des e dalt. Sens dubte, una definició més inclusiva del problema es podria traduir en una comprensió millor de les respostes possibles i en una resistència menor dels agents (G. M. Guess i Farnham, 2000).

Pel que fa als dos últims elements de la fase d’estructuració del problema, l’avaluació dels possibles impactes si s’intervé en el problema i si se segueix sense intervenir-hi, y l’avaluació dels actors i dels interessos polítics que afecten el problema i el seu potencial per incidir en les possibles solucions, no es van trobar proves que s’hagi produït un debat o una avaluació explícits d’aquests elements a Colòmbia o Xile.

Fase 2: Previsió i anàlisi / Formulació de polítiques

Aquesta fase, l’objectiu de la qual es avaluar els possibles efectes tant de les polítiques alternatives com de les alternatives institucionals sobre les polítiques existents i sobre els stakeholders, requereix coneixements tant polítics com tècnics.

La previsió implica:

• Avaluar les estructures que ja estan funcionant per tal d’evitar la duplicació d’esforços, els conflictes de poder i la superposició de funcions.
• Reunir informació suficient per poder-ne avaluar les alternatives.
• Avaluar la capacitat financera dels organismes i de l’estat en conjunt per donar suport a la nova política. La política millor perd credibilitat si es deixa a mitges per manca de recursos.
• Posar en pràctica els resultats esperats, els outputs y els impactes de l’aplicació d’una política per tal de preveure’n els possibles efectes econòmics i polítics.

A Xile es va fer èmfasis en la creació d’un programa sistemàtic per a la modernització de la gestió pública, i entre les múltiples iniciatives que es van impulsar figuren els acords institucionals que requereixen un fort component d’avaluació de personal (a nivell micro). En aquest cas, les decisions les van adoptar conjuntament dues organitzacions, una de caràcter polític i l’altra de caràcter tècnic: el Comité Interministerial para la Modernización de la Gestión Pública (CIMPG), amb el suport tècnic de la Dirección de Presupuestos del Ministerio de Hacienda.

A Colòmbia es va fer èmfasi en la creació d’un Sistema Nacional de Evaluación de Resultados (SINERGIA). Aquesta unitat tenia un caràcter predominantment tècnic, i se’n van ignorar els "ingredients" polítics necessaris.

Cap d’aquests casos no compta amb el suport d’un diagnòstic sistemàtic de la capacitat existent en el punt de partida de "vendre" la nova política d’avaluació. I no hi ha cap informació específica sobre els beneficis que s’espera obtenir com a resultat de les noves polítiques.

Fase 3: Recomanació / Adopció de la política

Aquesta és la fase en la qual es prenen les decisions i en la qual es presenten les opcions relatives a les polítiques, com també les seves conseqüències previsibles. Decidir implica que s’ha avaluat més d’una alternativa, utilitzant criteris tant polítics com tècnics. Hi ha diferències importants i crítiques en els processos de decisió i d’aprovació de les propostes de polítiques a Xile i a Colòmbia. A Xile, els PMG es basaven en un sistema sofisticat de mesurament d’indicadors per tal de documentar el compliment dels compromisos institucionals. El sistema es va consolidar mitjançant un procés de negociació amb l’associació dels empleats públics, com a estratègia per articular els mecanismes d’avaluació del rendiment individual amb els mecanismes que avaluen el rendiment a escala de l’organització (Dirección de Presupuestos, 1999). El procés va culminar amb la creació d’una llei que obliga a establir incentius per als empleats públics que demostrin que han assolit els objectius inclosos al seu programa de millora. A Colòmbia, es va dissenyar una eina principal per avaluar el rendiment dels organismes responsables de l’aplicació de les polítiques i alinear-los amb el pla de desenvolupament nacional.

És possible afirmar que mentre que els colombians han prestat més atenció a l’articulació del nivell de l’organització amb el nivell dels plans de govern (vinculant els nivells intermedi i macro de l’avaluació), els xilens han prestat més atenció a l’articulació del nivell de l’organització amb el nivell individual (vinculant els nivells intermedi i micro de l’avaluació).

Fase 4: Supervisió / Implementació de la política

La supervisió ajuda a avaluar els graus de compliment, a descobrir conseqüències no volgudes de les polítiques i els programes, a identificar els obstacles i les limitacions a l’aplicació, i a localitzar les fonts de responsabilitat de les desviacions de les polítiques, per tal de contribuir al procés d’implementació (Dunn1994: 19).

Per fer el seguiment de l’aplicació, SINERGIA va desenvolupar quatre intervencions pilot i, després de cadascuna d’elles, en va demanar l’opinió dels participants. Els problemes següents van ser esmentats pels participants o identificats per SINERGIA, després de la primera experiència pilot:

1. El sistema hauria de considerar les diverses capacitats de les organitzacions estatals; des de les organitzacions que compten amb instruments d’avaluació que són millores que el que SINERGIA ha promogut fins a les organitzacions que no disposen de cap tipus d’informació per avaluar-ne el rendiment.
2. El disseny del sistema continuava essent precari i calia afinar-ne les propostes conceptuals i metodològiques.
3. El sistema ignora l’entorn polític en el qual s’implementarien les polítiques.

Es va produir una diferència de llenguatge entre els tecnòcrates i els grups destinataris, que en dificulta una interacció productiva. Lamentablement, els tecnòcrates segueixen convençuts que el problema era la falta de consciència i de voluntat política dels grups destinataris; en canvi, per als grups destinataris, els tecnòcrates només els encarregaven treballs irrellevants en compte d’ajudar-los.

A Xile, el procés d’implementació del sistema de mesurament va ser gradual i es va veure impulsat pels Acuerdos de Rendimiento, en què els organismes decidien si hi participaven o no. Després d’uns quants anys, s’han desenvolupat els PGM amb l’objectiu d’avaluar i comparar el rendiment dels diferents organismes.

L’experiència xilena presentava els problemes següents:

1. Els Programas de Mejora de la Gestión (PMG) els signa el president amb cadascun dels organismes; no hi ha mecanismes per articular els diversos organismes i avaluar els programes a un nivell més ampli, a escala de l’estat com a sistema.
2. La promoció dels PMG com un acord entre el president i cada un dels directius dels organismes estatals va crear la imatge que es tractava fonamentalment d’un instrument polític.
3. La concentració en l’organització com a unitat del canvi i el fet de no disposar de mecanismes per a la integració horitzontal van deixar intacta la fragmentació de l’estat.
4. La personalització va convertir els directius polítics en protagonistes del canvi i els va comprometre com a individus en el procés; tanmateix, cada vegada que es produeix un canvi en els dirigents de l’estat es pot trencar o ignorar l’acord, cosa que amenaça la continuïtat del procés.

Fase 5: Avaluació / Valoració de la política

L’avaluació proporciona un coneixement rellevant de la política pel que fa als seus resultats esperats i reals; la supervisió no tan sols indica l’abats en què s’han resolt els problemes, sinó que contribueix també a aclarir i a criticar els valors que impulsen una política, a ajustar o reformular les polítiques, i fins i tot a reformular el problema (Dunn 1994: 19). Aquesta anàlisi no cobreix aquesta fase, atès que en el moment en què es va cloure no es disposava de cap dada relativa als resultats d’aquestes polítiques.

Conclusió i recomanacions

És possible concloure que:

• El sistema colombià, en conjunt, presenta una certa "coherència vertical" en l’articulació del rendiment organitzatiu (nivell intermedi) amb les polítiques públiques (nivell macro), però li manca, en gran part, coherència "horitzontal". No promou la integració horitzontal entre els organismes, i no va implicar els empleats públics en el procés. És un enfocament de dalt a baix que no és molt coherent amb el nou marc constitucional. El cas de Colòmbia il·lustra com, en molts casos, la mitjana es va convertir en l’objectiu final, cosa que va provocar resistència i malentesos entre els clients, com també entre les institucions participants.
• El sistema xilè fa èmfasi en els nivells micro i intermedi, és a dir, en l’avaluació del rendiment individual i organitzacional. Aquest èmfasi en el nivell de les persones i de les organitzacions reflecteix quina es l’agenda que cal seguir per millorar l’administració pública, més que per avaluar les polítiques públiques. És un procés que va començar de baix a dalt i que només més tard comença a cercar la manera de vincular cada procés dins d’un àmbit comú.

Pel que sembla, el que es necessita per dissenyar un sistema d’avaluació fiable i adequat és crear un disseny institucional personalitzat. Per fer-ho, és important:

• Incloure-hi els diversos nivells d’anàlisi: el nivell macro, que tracta el problema de l’avaluació tenint en compte els resultats del rendiment del govern en conjunt; el nivell intermedi, que tracta el problema tenint en compte els resultats de l’actuació de les organitzacions públiques, i el nivell micro, que considera la contribució que resulta del rendiment dels empleats públics. El disseny institucional ha d’incloure mecanismes per relacionar aquestos diferents nivells.
• Un sistema centrat en la generació d’indicadors de gestió en els nivells micro i intermedi generarà millores en les pràctiques administratives, però no millorarà la qualitat de les polítiques públiques.
• Un sistema que es limiti a generar indicadors en els nivells intermedi i macro, però que descuri l’articulació amb el nivell micro, corre el perill de perdre legitimitat davant dels qui l’han d’implementar realment.
• Un sistema centrat en el nivell macro estarà aïllat de les persones que lideren la implementació de les polítiques i que tracten amb els problemes que requereixen ajustos.
• Promoure tant la cooperació horitzontal com la cooperació vertical, incloent-hi els stakeholders adequats.
• Promoure el flux d’informació per donar suport a les decisions a qualsevol nivell, de manera que les decisions pertinents en el nivell macro es basin en informació dels nivells inferiors, i a l’inrevés.
• Distingir entre les activitats orientades a mesurar el rendiment i les activitats orientades a gestionar el rendiment. Això vol dir traslladar l’èmfasi de la recollida de dades a la utilització de les dades com a informació de suport a l’aprenentatge organitzacional i a la presa de decisions.

Finalment, és important tenir en compte que aquest és un tema polític que afecta tant els governants com els governats.

Bibliografia

Albæk, E. (1989). "Policy Evaluation: Design and Utilization". Knowledge, Technology & Policy, 2(4), 6-19.

Arrieta, Carlos G. (1994). “La evaluación ex post a la luz de la nueva Constitución”. A: DNP. Control y Evaluación de la Gestión Pública. Bogotá: DNP.

Bingham, Richard; Felbinger, Claire (1989). Evaluation in Practice: A Methodological Approach. Nova York: Logman.

Bresser, Pereira. “State Reform in the 1990s: Logic and Control Mechanisms”. Ponència presentada al II Congrés Interamericà del Centro Latinoamericano de Administración para el Desarrollo (CLAD). Isla Margarita, Veneçuela, octubre de 1997.

Bryson, John M. (1988). Strategic Planning for Public and Nonprofit Organizations: a Guide to strengthening and sustaining Organizational Achievement. San Francisco: Jossey-Bass Publishers.

Cabrero M., Enrique (1995). Del administrador al gerente público. Mèxic: Instituto Nacional de Administración Pública.

Caiden, Gerald E.; Caiden Naomi J. (circa 1997). "Approaches and Guidelines for Monitoring, Measuring and Evaluating Performance in Public Sector Programs”. Ponència presentada a la Conference about State Modernization, Development Alternatives, Inc, Washington DC.

Campbell, Tim (1997). Innovations and Risk Taking, the Engine of Reform in Local Government in Latin America and the Caribbean. The International Bank for Reconstruction and Development / The World Bank.

CEPAL (1998). El Pacto Fiscal: fortalezas, debilidades, desafíos. Xile: Comisión Económica para América Latina y el Caribe (CEPAL), UN.

CLAD (1998). Una nueva gestión pública para América Latina. Caracas, Venezuela: Centro Latinoamericano de Administración para el Desarrollo (CLAD).

CIMGP (Comité Interministerial de Modernización para la Gestión Pública) (1996). Guías para la Planificación Estratégica en los Servicios Públicos.

Dunn, W. N. (1981). An Introduction to Public Policy Analysis. Englewood Cliffs, NJ: Prentice-Hall.

Dunn, W. N. (1994). Public Policy Analysis: An Introduction. 2a ed. Englewood Cliffs, NJ: Prentice Hall.

Escovar, Silvia (1996). Evaluación de la gestión pública en Colombia: hacia una gestión pública orientada a resultados. Bogotá: DNP, Lito Camargo, Ltda.

Figueroa, Ramón (1998). “Evaluación del desempeño en Chile”. A: Gestión para el cambio. Xile: CIMGP, Dolmen Ediciones.

Gandour, Miguel (1996). “La evaluación de resultados en el contexto de un proceso de democratización”. En: Hacia una gestión pública orientada a resultados. Bogotá: DNP, Lito Camargo, Ltda.

Grindle, M.; Thomas, J. (1990). "After the Decision: Implementing Policy Reforms in Developing Countries". World Development, vol. 18 (8).

Grindle, M.; Thomas, J. (1991). Public Choices and Policy Change. Baltimore: Johns Hopkins.

Guess, G. M.; Farnham, P. G. (1989). Cases in Public Policy Analysis. Nueva York: Longman.

Guess, G. M.; Farnham, P. G. (2000). Cases in Public Policy Analysis. Georgetown University Press.

Holloway, J.; Lewis J.; Mallory G. (1995). Performance Measurement and Evaluation. Londres: Sage Publications.

Hommes, Rudolf (1994). "Evaluación ex post, contabilidad nacional y el uso eficiente de recursos". A: Control y evaluación de la gestión pública. Bogotá: DNP.