De la evaluación influyente a la evaluación con impacto: evaluaciones que marcan la diferencia. #eval

[Pablo Rodriguez Bilella]

Comparto en este espacio una entrada recientemente publicada en mi blog Al Borde del Caos, dedicado a temas de Evaluación, Desarrollo y Complejidad. Como miembro de esta Comunidad de Práctica estoy convencido que todos quienes estamos interesados en vincular más estrechamente género y evaluación, debemos darle vuelo a nuestra creatividad y esfuerzos para que dichas evaluaciones tengan real impacto hacia el cambio de las relaciones desiguales de género. 

¿Cuál es el valor real de la evaluación? 

¿Qué factores contribuyen, suman, y aportan para convertir en valiosa a una evaluación en particular?

¿Cuáles son los beneficios de la evaluación, y cómo se expresan o se miden?

¿Cómo pueden ser descriptos dichos beneficios de manera tal que tengan sentido para los ciudadanos y para los hacedores de políticas?

¿Pueden ser las historias o narrativas una buena manera de comunicar los resultados de la evaluación?

 .

Comenté hace tiempo mi participación junto a un grupo internacional de evaluadores en un proyecto financiado por EvalPartners cuyo propósito era recoger historias de evaluación que ayudaran a responder estas preguntas. El título del proyecto -Evaluaciones que marcan la diferencia: historias de todo el mundo- ya señalaba la orientación y el propósito de nuestra búsqueda.

 .

Un primer paso fue definir nuestro entendimiento sobre qué son esas "evaluaciones que marcan la diferencia". Sin duda que muchas evaluaciones presentan metodologías sólidas y, cuando los astros se alinean, son capaces de informar la toma de decisiones y mejorar programas, organizaciones y políticas. En esos casos hablamos de la influencia de evaluación. Sin embargo, en este proyecto estábamos particularmente interesados en ir más allá de esto, y explorar qué pueden hacer las evaluaciones para mejorar la vida de las personas y contribuir al desarrollo social (el llamado social betterment). Hacia esto apunta la noción de impacto de la evaluación.

.

.

Una vez hecha la difusión y convocatoria, recibimos más de 60 historias de evaluación con impacto, de las que elegimos ocho para profundizar y desarrollar.  Con la colaboración de evaluadores, funcionarios, demandantes de la evaluación, beneficiarios de la intervención, y narradores profesionales, llegamos al producto final, presentado hace unos meses atrás.

. 

Destilando aprendizajes de esas historias, hemos encontrado que hay al menos ocho factores facilitadores que contribuyen a que las evaluaciones tengan impacto en las personas y en la mejora social.  Sucintamente, estos son los factores identificados:

 .

1. Dar voz a los sin voz : en una evaluación todas las voces deben ser escuchadas, pero los que menos poder tienen a menudo son los menos escuchados;

 .

2. Proporcionar evidencia creíble sobre la base de un diseño y metodologías de alta calidad;

 .

3. Utilizar un enfoque positivo que enfatice las fortalezas, oportunidades, aspiraciones y resultados;

 .

4. Sumar activamente a la evaluación a usuarios y beneficiarios a través de un proceso centrado en la utilización, que facilita la adopción de la evaluación a medida que progresa;

 .

5. Insertar a la evaluación al interior de la iniciativa evaluada desde el inicio de la misma, si es posible, con el fin de contar con información de línea de base y promover el pensamiento evaluativo;

 .

6. Tener una preocupación sincera por el desarrollo y resultados de la evaluación, de tal manera que quienes la solicitan, los usuarios, y los evaluadores, trabajen en coordinación a fin de asegurar evidencia creíble;

 .

7. Abogar por la evaluación - los evaluadores necesitan trabajar con los agentes de la intervención y los usuarios para ayudarles a entender cómo la evaluación puede contribuir a la toma de decisiones;

 .

8. Concentrarse en el impacto de la evaluación: desde el inicio de la evaluación, los evaluadores deben pensar en el efecto potencial de la misma sobre el programa y sus participantes.

 .

Con el propósito de darle mayor espacio y atención a las historias de evaluación que favorecieron la emergencia de estos factores facilitadores del impacto de las evaluaciones, las próximas semanas iremos presentando cada una de dichas historias. Valga el plural pues difundiremos las historias en castellano en Al Borde del Caos, así como en Inglés y Francés en el blog del proyecto EvaluationStories.

 .

Quedan invitados a unirse a estos intercambios y compartir sus propias experiencias, ya que realmente nos gustaría conocer (y sumar!) más historias de evaluaciones que han marcado una diferencia...

[Fabiola Amariles]

Querido Pablo:

Gracias por compartir esta información. Estoy segura que de esta comunidad van a salir otras buenas historias de evaluaciones con enfoque de género que hayan marcado una diferencia. 

Animaremos también al grupo EvalGénero para que compartan sus experiencias en español. 

Muchos saludos. Fabiola 

[Rituu B Nanda]

Hi Pablo,

Thanks for sharing. I am interested to know the process followed for distilling the lessons from the stories. As we know context varies from place to place, how do you think the lessons can be practically used.

Warmly,

Rituu

[Pablo Rodriguez Bilella]

Dear Rituu, the process was a long and quite interesting one. In one hand, we had several internal discussions, which were extremely rich and interesting (both because of the richness of the stories, and also for the great evaluation experience of most of the members of our team). On the other hand, we began sharing some initial thoughts in evaluation conferences, and there we received extra suggestions and refinements of our initial thoughts.

In that sense, it is useful to think about these lessons as principles, and not rigid rules. For instance, although I am (as well as you ;-) a strong supporter and advocate of participation of the stakeholders in the process of evaluation, ¿should we think that the only and exclusive path for an evaluation with impact is through participatory evaluation?

So, connected with that idea that these lessons are actually principles to guide the design and practice of evaluation, they should be adapted and adopted in each evaluation.

best,

Pablo

[Silvia Salinas Mulder]

Qué interesante Pablo y en definitiva una motivación para seguir identificando de manera participativa y colaborativa esos factores de éxito que hacen que las evaluaciones tengan un impacto de mejora en la vida de las personas y el cambio social!  En esto se resume el reto de que las evaluaciones "hagan la diferencia".  Sigamos este intercambio, motivamos a tod@s a participar!