Questo sito o gli strumenti terzi da questo utilizzati si avvalgono di cookie necessari al funzionamento ed utili alle finalità illustrate nella Cookie policy.
Chiudendo questo banner o proseguendo la navigazione in altra maniera, acconsenti all’uso dei cookie
FacebookTwitterGoogle BookmarksLinkedinRSS Feed

La valutazione di impatto applicata alle organizzazioni di Terzo settore. Sette criticità

La valutazione di impatto sociale (VIS) – intesa come valutazione degli effetti diretti o indiretti, a breve, medio e lungo periodo di un intervento - è uno strumento, uno dei possibili strumenti di valutazione; e come strumento non è buono né cattivo, può essere adeguato o inadeguato rispetto alle finalità che ci si pone e agli oggetti di valutare. Il problema che si intende sottolineare è che questo strumento, che risulterebbe molto utile nella valutazione di politiche, è invece oggi insistentemente proposto per valutare l’operato di organizzazioni. E in questo caso emergono almeno sette criticità.

1) La valutazione d’impatto apprezza ciò che misurabile, non ciò che è auspicabile

La valutazione di impatto fornisce risultati accattivanti a costi sostenibili quando riguarda fenomeni che è accettabile valutare, in un tempo abbastanza contenuto, in senso binario: un “si” o “no”; ad esempio se dopo un percorso formativo o di inserimento, la persona “lavora” o “non lavora” (e in altri casi si potrebbe dire “usa sostanze” o “è astinente”; “commette ancora reati” o “non ha più commesso reati”, ecc.). Dove non ricorrono queste condizioni i costi dell’indagine sono, in relazione alla pregnanza dei risultati, molto più contenuti; pensiamo ad esempio al valutare l’impatto di un’azione di educazione alla cittadinanza rivolta ad adolescenti finalizzata a farne dei buoni cittadini e ad essere a loro volta in grado di diffondere ai propri figli e quindi alla futura società atteggiamenti di aderenza alla Costituzione, di rispetto delle diversità, di assunzione di responsabilità verso la società in generale, e così via.

Ma il fatto che determinati interventi si adattino più di altri ad una valutazione di impatto (fatta con costi ragionevoli) rischia di far dedurre che questi interventi sono più degni e meritevoli di altri. Il sillogismo però è bacato. Il fatto che si possieda o meno un metro convenzionalmente considerato adeguato, nulla dice sulla auspicabilità degli interventi. Indica solo ma nostra capacità di misurazione, che è tutt’altra cosa. Non è detto che un corso di informatica sia meglio di un corso sulla Costituzione, solo perché del primo misuro più facilmente l’impatto.

2) La vera valutazione non è il dato, ma il ragionamento a partire dal dato; ma la VIS è spesso congegnata per rendere sottile questa fondamentale distinzione

Dire che l’inserimento lavorativo in cooperativa sociale “conviene” economicamente perché origina conseguenze positive nel medio lungo periodo per la finanza pubblica, non ci esime dal porci una domanda: ma se non convenisse, allora, non si dovrebbe fare? Se l’inclusione sociale di ragazzi nomadi risultasse meno conveniente dell’inclusione di ragazzi migranti, bisogna privilegiare la seconda?

Ovvio che nessuno studioso serio lo affermerebbe; affermerebbe anzi di limitarsi a fornire dei dati che poi chi di dovere valuterà da un punto di vista politico ed etico. Ma, nell’ottica della responsabilità e con la consapevolezza dell’utilizzo a cui i dati sono sottoposti, il problema bisogna porselo. E questo non riguarda solo le traduzioni di tipo economico; il dato – ne abbiamo istruiti / salvati / curati / formati / assunti, X ecc. – va sempre sottoposto ad una lettura mediata da considerazioni valoriali, che spesso vengono invece ignorate nell’impianto valutativo.

3) La VIS applicata a singole organizzazioni è inserita in un paradigma di pensiero competitivo. E questo non è un bene. Ne siamo assolutamente troppo poco consapevoli

Da una parte chiunque operi nel sociale adotta paradigmi sistemici, enunciando che gli interventi sono frutto delle interazioni tra nodi collaborativi di una rete e che i maggiori successi si ottengano dall’operare integrato e coordinato tra più soggetti; dall’altro gli stessi soggetti nutrono un arsenale concettuale edificato per affermare il proprio impatto individuale, il fatto che quindi se un intervento è andato bene, se quel ragazzino non è diventato un delinquente, è merito mio e non di una rete fatta di cooperative, scuola, associazioni, parrocchie, ecc. che il ragazzino l’hanno conosciuto. Come è possibile conciliare un impianto di valutazione che preme sull’individualismo e sulla competizione con un paradigma di intervento basato sulla collaborazione e sull’integrazione?

E, più in generale, si ha consapevolezza degli effetti di medio termine dell’enfasi sugli aspetti competitivi che rappresenta, purtroppo, una caratteristica culturale emergente nel terzo settore italiano? Si compete per una gara d’appalto assoldando i migliori confezionatori di progetti, si compete per una donazione sguinzagliando dialogatori in ogni piazza, si compete per il 5x1000 a suon di campagne pubblicitarie, si compete per la leadership di rappresentanza o per le proprie dimensioni, si compete per essere presenti sulla scena comunicativa, con gli uffici stampa che si sfidano per essere più visibili di altri. Ecco, la cultura della VIS per ciascuna organizzazione di terzo settore è culturalmente omologa a tutto ciò. Noi siamo meglio di Voi. Finanziate Noi che siamo meglio di Loro.

Manca nel modo più assoluto la consapevolezza degli esiti distruttivi che questa deriva culturale competitiva sta portando non solo nel terzo settore ma nell’intera società.

4) Il lavoro sociale è sottoposto ad una quantità elevata di variabili; ma visto che è troppo complicato tenerne conto, spesso le si salta a piè pari o le si rende funzionali al risultato che si intende dimostrare.

Insomma, è possibile dimostrare un po’ tutto. Avocare a sé i meriti e a cause esterne gli insuccessi. Complessità della realtà e contesto competitivo portano a questo. Con buona pace del miglioramento organizzativo e della consapevolezza, nonché della trasparenza verso gli stakeholder esterni.

5) La VIS costa. Ed è pertanto occasionale e, generalmente, etero finanziata. Quindi la fanno (seriamente) in pochi e anche per loro non diventa prassi organizzativa, ma sforzo straordinario una tantum

Una valutazione di impatto costa molto, chi la fa generalmente si avvale di finanziamenti esterni e occasionali. E questo rende la VIS poco adatta a rappresentare uno strumento di verifica e riorientamento costante delle azioni; come sforzo una tantum, legato (se va bene) alla volontà di acquisire elementi utili a scelte di particolare rilievo strategico o (se va male) alla volontà di rafforzare l’immagine pubblicitaria in certo momento della storia dell’organizzazione.

6) Per le caratteristiche del rapporto di committenza, nella VIS è difficile superare i sospetti di parzialità

Prescindiamo pure da un aspetto oggettivo di asimmetria informativa e di accesso alle fonti. Ipotizziamo la condizione – nella pratica difficilmente credibile – che il ricercatore possa accedere liberamente a tutti i dati che gli sono utili; possa contattare quindi, senza mediazione del committente, utenti e familiari, magari anni dopo un certo intervento. Certo, un professionista serio non scrive mai il falso; ma oggettivamente il redigere e rendere pubblico un rapporto che attesti l’inutilità del lavoro di un committente che ha pagato qualche decina di migliaia di euro è un fatto non scontato. 

7) La VIS si caratterizza come prodotto professionale e non è particolarmente adatta a suscitare miglioramento organizzativo

Il fatto che la VIS richieda un decisivo apporto professionale, ha anche un’altra conseguenza: che tale valutazione non coinvolge in modo significativo le organizzazioni e non determina, se non in modo molto mediato, pratiche di miglioramento. La realizza, primariamente, un professionista o un gruppo di professionisti. Certo che, soprattutto in talune scuole di VIS è previsto il coinvolgimento degli stakeholder, ma il suo impianto prevede necessariamente un ruolo decisivo del soggetto professionale. La conseguenza è che – quando anche non si sia di fronte ad una VIS “pubblicitaria”, difficilmente questo processo porta, passata una fase iniziale di mobilitazione, al miglioramento organizzativo.

La VIS per valutare le politiche

Da tutte queste considerazioni si potrebbe pensare che la posizione di chi scrive sia quella di affermare che 1) la valutazione di impatto non serve e/o che, quindi 2) tanto vale non valutare. L’una e l’altra affermazione sono invece scorrette. Vediamo ora perché e quindi con quali proposte operative.

Le sette affermazioni prima argomentate, che rendono la VIS nella maggior parte dei casi uno strumento da non prediligere per valutare l’operato di singole organizzazioni, sono invece meno incisive se la valutazione di impatto interessa una politica o un ambito di attività.

Qual è l’impatto di una politica volta al superamento dei campi nomadi e all’insediamento delle popolazioni che vi abitano in alloggi? Ha un impatto migliore o peggiore rispetto alla costruizione di nuovi campi meglio attrezzati? Qual è l’impatto di una diversa politica di incentivazione dell’impresa sociale? Qual è l’impatto del passaggio da un sistema di servizi offerti ai cittadini dall’ente locale ad uno di doti individuali? Qual è l’impatto dell’inserimento al lavoro dei detenuti? Lo sport è un veicolo importante di integrazione delle seconde generazioni di migranti? E così via.

Si tratta di domande che riguardano temi 1) strategici e 2) non scontati.

I costi di una valutazione di impatto seria ci sono, ma sono soldi ben spesi, rispetto ai vantaggi derivanti dall’impostare nel modo migliore una politica pubblica che, in quanto tale, probabilmente muove cifre significative di bilancio dello Stato e degli enti locali. Inoltre non si valuta un singolo, ma un sistema di intervento e quindi non si alimenta competizione impropria; l’indagine è condotta da soggetti effettivamente terzi e senza circoli viziosi di committenza, vi è uno spazio credibile per valutare adeguatamente gli aspetti di complessità del problema e così via.

Sembra ragionevole tutto ciò? Sì, ma la politica talvolta fa il contrario.

Prendiamo il caso paradigmatico, il recente bando sulle povertà educative. La richiesta che ciascuno faccia la sua micro valutazione di impatto è un’insensatezza difficilmente giustificabile. Soldi spesi a caso, con il malcelato fine di affermare un poco credibile rigore delle istituzioni, come per dire: “A noi non la si fa, non è che ognuno spende soldi pubblici a casaccio, ora dovrete dare conto di quello che producete”. Sulla vacuità di tale prodotto valgono le sette affermazioni fatte prima. Quello che invece probabilmente nessuno farà è quello di interrogarsi sull’impatto della politica nel suo complesso: le scelte e le modalità di gestione adottate hanno effettivamente diminuito la povertà educativa in Italia? I 200 milioni sono stati spesi bene o meno? E' utile riorientare la spesa in futuro verso azioni diverse?

Cosa avranno in mano i decisori pubblici alla fine? Saranno riusciti a individuare un aggiudicatario oggettivamente inefficiente? Improbabile, ma, anche fosse, qual è stato il valore aggiunto di questa carovana rispetto ad un normale controllo professionale da parte dei servizi e cosa rimane alla fine come suggerimento per riorientare le politiche rispetto agli effettivi esiti dei progetti? Poco o nulla!

Insomma, con la VIS si valutino le politiche, piuttosto che le organizzazioni.

E le organizzazioni?

Quindi, a conclusione di questo discorso, le organizzazioni non devono fare nulla? La poca adattabilità della VIS alle esigenze di una valutazione di singole organizzazioni le scioglie da ogni obbligo di interrogarsi sul proprio operato? No, nemmeno questo è corretto.

La valutazione è, in primo luogo, un atteggiamento, uno stile organizzativo. È, certamente, prima ancora che pratica professionale, l’attitudine a raccogliere informazioni concrete su quello che si fa, a raccoglierle e a farne un patrimonio condiviso tra lavoratori e altri stakeholder. Informazioni che vanno raccolte e condivise non tanto con l’ottica rendicontativa, fatta di fogli presenze, ma di materiali diversi, dati numerici certo, ma anche narrazioni, punti di vista di operatori, utenti, volontari, partner pubblici, ecc. su un certo servizio o intervento.

Secondo, è importante che l’organizzazione – le equipe, ma anche la cooperativa o associazione nel suo complesso – si dia degli spazi di riflessione e valutazione a partire da questi materiali, che le cose non vadano perdute, non scivolino accanto al lavoro quotidiano come se nulla fosse, ma che diventino patrimonio comune e condiviso.

Terzo, bisogna che queste riflessioni non siano solo interne, se no si diventa autoreferenziali, ci si piange addosso e si collocano sempre all’esterno le istanze di cambiamento. Visioni diverse – da parte degli stakeholder, confronto con altre esperienze, confronto tra pari, partecipazione a momenti di approfondimento, contributi di studiosi - portano invece a identificare quello che l’organizzazione da sola non riuscirebbe a comprendere.

E, infine, è necessario che tutto ciò diventi motore di cambiamento organizzativo; questo richiede un giusto equilibrio tra le linee gerarchiche dell’organizzazione e capacità di raccogliere il contributo di tutti; gli strumenti comunque ci sono, dall’apertura degli organi direttivi in talune occasioni a gruppi di lavoro, commissioni di approfondimento, ecc.

Tutto ciò non è – se non in minima parte – oggetto di affidamento di incarichi professionali a terzi; è invece frutto di un’assunzione di responsabilità verso la qualità del proprio lavoro che mobilita risorse organizzative; non è un “di più” rispetto al lavoro quotidiano, è – principalmente – un modo di svolgere il proprio lavoro quotidiano.

In conclusione 

In conclusione, in questo periodo la VIS gode di una certa fortuna e di buona stampa; ma il fatto di diventare simbolo e bandiera rischia di mettere in secondo piano le domande più importanti.

La prima è quando tale metodologia rappresenti uno strumento appropriato, e purtroppo una risposta non meditata porta ad utilizzarla, generalmente in forma banalizzata, per le singole organizzazioni (ove generalmente appare per nulla priva di criticità) e a trascurarla per le politiche (dove sarebbe altamente auspicabile).

La seconda domanda cui si è cercato di dare risposta riguarda il come diffondere atteggiamenti e strumenti di valutazione, diversi dalla valutazione di impatto, adeguati alle organizzazioni, facendo sì che l’interrogarsi sul proprio operato e, su questa base, avviare processi di miglioramento, rappresenti un tratto distintivo della cultura organizzativa del terzo settore.

Login Form