Progetti, valutazione e bene pubblico. Quale legame?

Riceviamo e volentieri pubblichiamo l’articolo di Massimo Rossi, docente di progettazione e valutazione, dell’università di Pisa e tra il corpo insegnanti della scuola di Formazione COSPE. La valutazione dei progetti delle ong da parte delle istituzioni pubbliche come beni pubblici. Come parte di un circolo virtuoso che dalla trasparenza crea fiducia tra cittadini e entità. Come parte di un percorso che riorienta e programma nuove progettazioni. Un articolo tecnico, certo, ma che entra nel cuore del nostro lavoro e che ha anche a che fare con il diritto/ dovere ad essere informati, con la democrazia e con il sistema socio economico in cui viviamo. Un’analisi dunque a tutto tondo a partire da uno strumento come la valutazione e il monitoraggio che non sono solo uno strumento burocratico di rendicontazione.

I risultati delle valutazioni e dei monitoraggi esterni come il Results Oriented Monitoring (ROM) della Commissione Europea (CE), come parte dell’informazione generata in ambito di istituzioni pubbliche, dovrebbero essere considerati come beni pubblici, public goods. Questo dovrebbe comportare il feedback come retroazione o, meglio, la circolarità dell’informazione, per favorire l’appropriazione dei risultati, attraverso pubblicazioni o attraverso internet, dei documenti che presentano tali risultati, nonché la presentazione al pubblico (di utilizzatori specialisti e di cittadini in generale). In questo modo si può apprendere dalle valutazioni come dal monitoraggio esterno, presentando e commentando i risultati e usandoli per orientare future progettazioni e programmazioni e, più in generale, per contribuire a uno sviluppo sostenibile ed equo. Se questo non avviene, la valutazione come il monitoraggio esterno sono uno spreco, tra i tanti sprechi che vengono prodotti: “ Il feedback è il tallone di Achille della valutazione. E’ chiaramente di vitale importanza, perché senza di esso l’intero processo di valutazione è largamente uno spreco di tempo“ (Cracknell B.E., 2000, Evaluating Development Aid-Issues, Problems and Solutions, SAGE, London)

Due analisi, distanti negli anni, hanno evidenziato dei limiti nel processo di apprendimento istituzionale da parte della CE, in particolare nell’ambito della assistenza esterna e della cooperazione internazionale, dovuti all’insufficiente applicazione delle procedure relative ai meccanismi di retroazione e di apprendimento istituzionale previsti dal ROM.

 Nel 2014, un rapporto della Court of Auditors dell’Unione Europea ha criticato l’insufficienza dell’ apprendimento e della diffusione dei risultati delle valutazioni e del ROM della CE. La Corte segnala che viene richiesto ai  programme managers di verificare la qualità del ROM attraverso la compilazione obbligatoria di schede di risposta (by filling a compulsory response sheet). In tali schede (di una pagina standard sotto forma di template) si richiede di commentare la qualità dei rapporti di monitoraggio, in particolare le conclusioni e le raccomandazioni formulate dai monitori. Le schede di risposta sono state compilate, annota la Corte, per meno del 60% (la percentuale esatta non viene precisata) dei rapporti ROM consegnati nel periodo dal 2011 al 2013. Così si legge nelle conclusioni del rapporto: “Meccanismi adeguati di retroazione non sono stabiliti per assicurare che valutazioni e ROM siano usati in modo appropriato….. la capacità di EuropeAid di rendere conto delle proprie attività è limitata e i rapporti forniscono poche indicazioni sugli effettivi risultati raggiunti” (European Court of Auditors, 2014, EuropeAid’s evaluation and results-oriented monitoring systems).

Nel 2001  la società DEM, che coordinava, su incarico della CE, lo svolgimento delle missioni ROM in tutti i paesi, realizzò un’analisi su tutti i rapporti di monitoraggio e le schede di risposta prodotti nel periodo dal gennaio 2000 (inizio del ROM) all’agosto 2001. Si verificò che erano state inviate appena  22  schede di risposta (di cui quasi la metà manoscritte) su 282 rapporti di monitoraggio prodotti :“ L’interesse molto basso di task managers per l’esercizio di monitoraggio è mostrato dalle seguenti circostanze: i) solo 22 schede di risposta  a fronte di 282 rapporti di monitoraggio inviati fino al 10 agosto 2001; ii) le risposte ricevute riguardano un numero molto basso di progetti rispetto al totale; iii) l’uso diffuso di risposte scritte a mano: 10 risposte su 22 in totale” (Rossi M. 2001, Strategy Paper, Format and use of BCS and Monitoring Reports, European Commission Monitoring System)

Risulta evidente che la compilazione delle brevi schede di risposta, pur in lento aumento nel periodo 2000-2014, non è ancora vissuta come una attività compulsory e, soprattutto, il feedback non è realizzato come una pratica utile e prioritaria per il miglioramento di progetti e programmi di sviluppo.

Riguardo alla diffusione dei rapporti di monitoraggio, si sottolinea un’altra situazione. Al fine di incentivare la diffusione e l`utilizzo delle raccomandazioni emerse dalle missioni di monitoraggio, nel 2002 fu introdotto il remind dopo sei mesi dalla missione, per “ricordare” ai funzionari delle Delegazioni che dovevano diffondere i rapporti di monitoraggio e applicare le raccomandazioni, esercitando l’ apprendimento. Tale remind si era reso indispensabile perché, ancora nel 2002, poteva accadere che, dopo un anno dalla missione di monitoraggio, l’équipe di ri-monitoraggio riguardante gli stessi progetti visitava il paese e “scopriva” che i rapporti di monitoraggio non erano stati diffusi tra i ministeri e i progetti. L’autore ha verificato personalmente in missioni di ri-monitoraggio  il fenomeno della mancata diffusione presso i responsabili nazionali ed europei dei progetti e presso i ministeri competenti, dopo un intero anno dal termine della missione di monitoraggio. Sfortunatamente né l’analisi del 2001 né quella del 2014 hanno analizzato tale fenomeno di mancata diffusione nell’insieme dei paesi dove si sono realizzate delle missioni ROM.

Alla luce di quanto sopra esposto, le osservazioni formulate da Gordillo de Anda e Andersson sono di grande rilievo: “In una società dove può non essere nell’ auto-interesse dell’élite dominante la diffusione dell’informazione proveniente dai programmi di  Monitoraggio e Valutazione, dato che questo potrebbe mettere a rischio il loro status politico e i loro privilegi, un chiuso gruppo politico elitario può essere in grado di limitare la diffusione dei risultati del Monitoraggio e della Valutazione”……”Un buon modo di governare richiede che questo  club good di accesso limitato sia trasformato in un regime di public good di accesso aperto” (Gordillo G.- Andersson K., 2004, From policy lessons to policy actions: motivation to take evaluation seriously).

Da osservare, infine, una simmetria  tra due fenomeni negativi: il sopra richiamato scarso uso dei risultati di valutazioni e ROM prodotti da organismi sovranazionali pubblici come la CE e una deriva decisamente liberista del recente manuale del ROM (marzo 2015), se lo si confronta con manuali precedenti.  

Nel manuale della CE sul Project Cycle Management (PCM) del 2004, l’appropriazione da parte delle popolazioni beneficiarie (ownership) veniva presentata come il primo di una lista di quattro principi del PCM e come il primo di una lista di otto fattori di sostenibilità. L’appropriazione è di nuovo presentata come il primo degli otto fattori di sostenibilità nel manuale del ROM del 2008.

Nel manuale del ROM del 2012, l’appropriazione veniva considerata tra i fattori di sostenibilità; inoltre i primi due temi tra i sei temi di una lista di controllo di una buona gestione governativa erano l’appropriazione e l’equità generale (non solo l’equità di genere).

 Nel manuale del ROM del marzo 2015, nessun fattore di sostenibilità o domanda di monitoraggio riguardano l’appropriazione o l’equità generale, mentre una nuova domanda è introdotta tra i fattori di sostenibilità, relativa all’apporto del settore privato: “Il settore privato è stato coinvolto per assicurare la sostenibilità dell’azione? (European Commission, Directorate-General for International Cooperation and Development, March 2015, ROM Handbook Results Oriented Monitoring). Sottovalutando in questo modo la rilevanza degli aspetti sociali, il manuale palesa una tendenza liberista ed è incoerente con il rispetto delle tre dimensioni della sostenibilità, confermate nel documento ufficiale di programmazione 2014-2020 Development Cooperation Instrument (DCI) dell’Unione Europea, che si riferisce nella premessa a: “sustainable economic, social and environmental development” (European Parliamentary Research Service Briefing, 31/01/2014).