L’avaluació a les entitats: un full de ruta

Quin és l’impacte del nostre programa? A la pràctica funciona tal i com esperàvem? Arriba a tothom a qui el necessita? Quines són les necessitats no resoltes i com ens hi adaptem? Els equips de diverses entitats del tercer sector han estat assessorats en com respondre a aquest tipus de preguntes en el marc del programa d’assessoraments sobre avaluabilitat. Es tracta d’una iniciativa de la Taula del Tercer Sector i l’Institut Català d’Avaluació de Polítiques Públiques (Ivàlua) que té per objectiu promoure l’avaluació i la generació d’evidències que contribueixin a la millora dels programes del sector.

El programa tanca la seva primera edició amb la participació de 10 entitats del tercer sector, que han estat assessorades durant l’any 2017 en sessions de treball on hi ha participat els responsables i analistes d’Ivàlua. A la pràctica, aquestes sessions han estat espais de reflexió centrats al voltant de programes concrets, amb l’objectiu d’orientar la seva avaluació efectiva. Per això, s’ha treballat sobre el disseny de les intervencions, la identificació de necessitats d’informació i els recursos i condicions necessàries per l’avaluació. Cada assessorament ha resultat en una proposta de quines haurien de ser les properes passes per avançar cap a l’avaluació del programa.

Al llarg dels assessoraments realitzats, es constata que bona part de les entitats han desenvolupat mecanismes de seguiment del funcionament dels seus programes, que són un primer pas de cara a l’avaluació. Generalment es tracta d’eines pensades per a la gestió i seguiment dels programes i/o la seva justificació davant de finançadors, tals com registres d’activitats realitzades, qüestionaris de satisfacció dels usuaris i voluntaris o informació relativa a sistemes de qualitat. Tanmateix, la generació d’evidències i aprenentatges rellevants per l’organització és un repte que sovint requereix exercicis d’anàlisi més aprofundits. Per això cal superar algunes barreres que identifiquem a continuació.

Un requisit indispensable a l’hora de planificar una avaluació d’un programa és clarificar la teoria del canvi o marc lògic del programa, entès com la descripció d’allò que la intervenció fa i què vol aconseguir. Disposar d’una teoria explícita, compartida i consensuada ens ajuda a plantejar preguntes d’avaluació rellevants, acotar quina informació cal recollir per respondre-les i tenir un punt de referència contra el qual comparar allò que més endavant podrem observar i valorar. Durant els assessoraments, els analistes d’Ivàlua i els responsables de les entitats han explorat les teories dels programes, valorant conjuntament les hipòtesis que plantegen.

L’harmonització dels criteris amb què es produeix i es recull la informació és un altre dels reptes amb el qual es troben algunes entitats del tercer sector. Així, és habitual generar volums importants d’informació sobre les activitats realitzades i l’evolució de les persones usuàries d’un programa, però en alguns casos la informació no està preparada per ser analitzada de forma conjunta, de manera que és difícil valorar el programa globalment. En aquest sentit, el repte principal és alinear la informació que es recull amb les preguntes d’avaluació plantejades, prioritzant allò que és més rellevant i que ens permetrà testar les nostres hipòtesis, i definir com ho volem mesurar, buscant instruments compartits entre els professionals.

Lligat al darrer punt, el sistema en el qual s’emmagatzema i explota aquesta informació és clau per facilitar el seu anàlisi, així com també ho són els coneixements i capacitats analítiques de què disposa l’entitat. Es tracta de saber què podem trobar a la caixa d’eines, quines limitacions existeixen, valorar quin és l’enfocament més convenient en diferents situacions i on buscar suport quan sigui necessari. En aquest sentit, en les sessions de treball s’ha explorat la disponibilitat d’informació respecte al programa i s’ha reflexionat conjuntament en com aquesta pot contribuir a l’avaluació i l’aprenentatge.

L’experiència dels assessoraments posa de manifest la necessitat de concebre l’avaluació com un camí que ha de partir de les necessitats de cada entitat, i en el qual és fonamental que entitats i avaluadors tinguin espais de col·laboració i aprenentatge mutu. Això ha de permetre situar l’avaluació com una peça clau en el procés de millora de les organitzacions.