Reptes d’avaluació per al tercer sector social

La idea que totes les intervencions que aspirin a millorar la qualitat de vida de les persones han de ser avaluades no és pas nova entre les entitats del tercer sector social. Es comparteix que el coneixement que aporta l’avaluació ha de contribuir a millorar aquestes intervencions, els seus processos, la seva efectivitat i eficiència. I cal dir que aquest compromís amb l’avaluació i el coneixement avui dia ha deixat de ser merament declaratiu. En efecte, les entitats del tercer sector, si bé de forma desigual i no sempre sense dificultats, han anat incorporant diferents accions d’avaluació dins les seves rutines de funcionament: disseny de teories del canvi, anàlisis de necessitats, definició d’indicadors i sistemes de seguiment de processos i resultats, qualitat o benchmarking, o estimacions més o menys reeixides del retorn social de les seves accions.

Aquestes idees, compromisos i realitzacions van quedar paleses en la jornada “L’avaluació de programes del tercer sector social”, recentment organitzada per la Taula del Tercer Sector, amb la col·laboració d’Ivàlua i el suport de la Generalitat de Catalunya i l’Ajuntament de Barcelona. Alhora, s’hi va fer també evident que el camí a recórrer per fer de l’avaluació (de l’avaluació més rigorosa) un element intrínsec a l’ADN del tercer sector és encara llarg i es troba carregat de reptes.

Si de debò volem disposar d’evidències, sòlides i robustes, sobre les necessitats, el funcionament i els impactes dels programes ens hem de formular les preguntes d’avaluació adequades i hem de garantir les condicions logístiques, tècniques i metodològiques que permetin respondre-les amb solvència. La guia d’avaluació que Ivàlua va presentar en l’esmentada Jornada explica com fer-ho; si més no, aporta el seu granet de sorra en aquesta direcció.

De l’acte de la jornada i dels continguts de la guia extraiem dos conjunts de reptes d’avaluació per al tercer sector.

En primer lloc parlem de l’avaluació ex-post o retrospectiva, que inclouria aquells exercicis d’anàlisi que es poden realitzar un cop el programa està en marxa o ha finalitzat. Un d’aquests exercicis, clau per al tercer sector, remet a l’avaluació d’impacte. No en va, una part essencial de les preguntes d’avaluació que es plantegen des del sector té a veure amb l’interès genuí de conèixer en quina mesura s’assoleixen els seus objectius de canvi i millora social. Les entitats i els programes persegueixen tenir impacte i poder documentar-lo, retre’n comptes davant dels seus usuaris o destinataris, davant la ciutadania en general, i també, enfront dels seus actuals o potencials finançadors. Però estimar l’impacte d’un programa sobre la qualitat de vida (en aquelles dimensions que s’adrecin: laboral, educativa, social, relacional, etc.) dels seus participants o beneficiaris no sempre és una tasca senzilla. Al capdavall es tracta de determinar com els aniria als participants en el programa en cas de no haver-hi participat. És clar que aquesta situació no la podem observar; per tant, no queda més remei que “inferir-la” mitjançant la construcció de grups de comparació o control. Això no és sempre fàcil.

El repte és clar: es tracta d’avançar de forma rigorosa cap al coneixement d’allò que aporta el tercer sector en el redreçament de les problemàtiques socials sobre les quals treballa. Però això no treu importància a la necessitat de conèixer en detall la manera com els programes s’implementen a la pràctica. S’ha pogut comptar amb els recursos planificats? Han estat suficients? S’han realitzat totes les activitats previstes? Quin ha estat el perfil dels usuaris o participants del programa? S’adequa aquest perfil a l’esperat inicialment? Quin ha estat el nivell d’ús i compleció del programa per part dels participants? I quin el seu grau de satisfacció? Només responent amb rigor aquestes preguntes podrem saber per què pot ser que funcioni allò que l’avaluació d’impacte ens diu que funciona (o per què pot no funcionar allò que l’avaluació d’impacte determina que no funciona). En resum, l’avaluació retrospectiva de l’acció del tercer sector hauria de poder donar resposta a tots dos conjunts d’interrogants, sobre el seu impacte i sobre la seva implementació.

Un segon conjunt de reptes ens situa davant la perspectiva de l’avaluació ex-ante, de la qual formarien part exercicis com l’anàlisi de necessitats i l’anàlisi del disseny del programa. Mentre que la primera tracta de dimensionar la problemàtica que es vol atacar i d’entendre les seves causes i conseqüències, l’avaluació de disseny s’adreça a afinar la formulació dels programes, els seus objectius, components, fonaments teòrics i sistemes d’avaluació. El que ens interessa destacar és que, ben fetes i orientades, ambdues anàlisis no tan sols milloren l’ajust entre el problema, els recursos i les activitats previstes, així com la seva avaluabilitat, sinó que incrementen la seva probabilitat d’èxit, en la implementació i en termes d’impacte. Al capdavall, pensar en l’avaluació al temps que es pensa en el disseny de l’acció és sempre un win-win.

En resum, el tercer sector social a Catalunya ha fet una aposta decidida per l’avaluació i el retiment de comptes. Que aquesta aposta acabi traduint-se en la generació d’un coneixement més rigorós i que aquest coneixement s’orienti de forma més eficient a la millora dels seus programes dependrà de l’habilitat de les entitats per definir i prioritzar les seves preguntes d’avaluació i per seleccionar els mètodes i les tècniques adequades per donar-hi resposta. El camí de l’avaluació no admet dreceres, però és el més fiable quan hi ha en joc la qualitat de vida i les oportunitats de les persones.