Forum 2000 du PATDEC
Compte rendu officiel : Évaluation du DEC

CONTEXTE

Sherri Torjman, vice-présidente du Caledon Institute of Social Policy et présidente de la séance, a commencé par présenter un aperçu des enjeux contextuels de l’évaluation. Elle a expliqué que nous vivons actuellement dans un climat de responsabilisation, résultat de nombreuses forces différentes :

• Économiques : la domination de l’idéologie du marché dans le monde de l’après-guerre froide a exercé des pressions afin que soient privatisées ou incorporées les pratiques du secteur privé telles que
  la gestion des résultats (bénéfices nets).
• Politiques : l’échec des négociations constitutionnelles à la fin des années 1980 et au début des années 1990 a mené à des processus non constitutionnels; l’Entente-cadre sur l’union sociale renferme
  des dispositions sur la responsabilisation.
• Social: local funders (private and community) face increased demands for funds as a result of more complex social problems and government cut-backs.
• Pensée internationale : même le concept international du développement durable intègre des notions d’objectifs et d’indicateurs.

Mme Torjman a souligné qu’il est néanmoins très important de rendre des comptes. Toutefois, le problème c’est que les organismes de DEC risquent de subir des pressions afin de se conformer à des directives d’évaluation ou des exigences de vérification standardisées ou conventionnelles qui ne leur conviennent pas. Cette situation est due en partie à la nature du DEC même, qui cherche à atteindre des
objectifs à la fois économiques et sociaux. C’est ce qui donne au secteur son caractère inhabituel et sa force, mais les objectifs sociaux risquent d’être mis de côté. Le défi est alors de savoir comment faire
face à cette désarticulation :

• Il nous faut reconnaître ce défi et engager la discussion avec les bailleurs de fonds (gouvernements, secteurs privé et communautaire) au sujet de ces tiraillements, et faire connaître notre intérêt à trouver
  des outils de développement qui s’harmonisent mieux avec ce que nous tentons de réaliser.
• Établir des objectifs raisonnables et ne pas être forcés d’atteindre des objectifs irréalistes; sinon, nous courons le risque de perdre de vue nos principes clés qui sont de travailler avec des personnes,
  des groupes et des collectivités marginalisés.
• Élaborer de nouveaux indicateurs appropriés à notre travail, qui englobent à la fois les résultats et le processus.
• Considérer le processus d’évaluation comme une occasion d’apprentissage continu : il ne devrait pas s’agir d’un exercice où l’on réussit ou l’on échoue, mais plutôt d’une question d’apprentissage.
  Cela nous aidera à avancer continuellement vers une pratique plus intelligente, plus informée et plus stratégique. Nous hausserons sans cesse la barre.

ÉVALUATION PARTICIPATIVE DE LA WESTERN VALLEY DEVELOPMENT AUTHORITY

Approche de l’évaluation :

• Participative – le processus est aussi important que les produits.
• Les intervenants sont impliqués dans : la définition des buts de l’évaluation; l’identification des indicateurs de l’évaluation; le choix des méthodes à utiliser et la mise au point du plan de travail; et la participation aux activités de recherche.

Pourquoi une participation des intervenants?

• Renforcement de la capacité dans la collectivité.
• Mise en place d’une « culture de l’évaluation ».
• Garantie d’un contexte et d’une interprétation des conclusions appropriés.
• La compréhension des étapes et la confiance dans les conclusions mènent à un plus grand engagement dans la mise en œuvre des recommandations.

Cadre de l’évaluation :

Être aussi déterminé que possible :

• En se fondant sur les objectifs de l’évaluation, faire une ébauche des grandes lignes du rapport final.
• Élaborer un cadre d’évaluation pour déterminer ce qui suit : quelles questions, quels enjeux doit-on considérer; et quelle est la source de cet indicateur et comment recueillir cette information.

Être souple :

• Donner les meilleurs conseils possible mais laisser le partenaire communautaire prendre les décisions.
• Être disposé à essayer de nouvelles approches.
• Être disposé à passer au « plan B ».
• Rechercher la perfection sans pour autant se limiter.

Animateurs :

Janet Larkman et Michel Comeau, Western Valley Development Authority; Donna Crozier, Praxis Research and Consulting.

POSSIBILITÉS 2000 : L’ÉVALUATION EN TANT QU’APPRENTISSAGE COLLABORATIF ET EXPÉRIENTIEL

OP2000 : Vision, buts, stratégies, structure

Vision

Nous examinons la situation des gens de la région de Waterloo qui vivent dans la pauvreté, travaillant avec des personnes de tous les secteurs de la collectivité afin de créer des possibilités qui puissent réduire le taux de pauvreté de la région au niveau le plus bas au Canada et, ce faisant, offrir un exemple et des outils d’apprentissage à tous les Canadiens et Canadiennes.

Buts

1. Aider 2 000 familles à sortir de la pauvreté d’ici le 31 décembre 2000 et, ce faisant, aider la région de Waterloo à atteindre le niveau de pauvreté le plus bas au pays.
2. Définir et mettre en œuvre les moyens les plus pratiques de créer de l’emploi et d’autres possibilités de revenu susceptibles de permettre aux gens d’échapper à la pauvreté.
3. Partager les leçons et les réussites du projet avec d’autres collectivités dans tout le Canada.

Strategies

1. Leadership : s’appuyer sur le leadership communautaire pour faire de la réduction de la pauvreté une priorité publique reconnue dans toute la région de Waterloo.
2. Recherche : mener des recherches originales sur la pauvreté et les stratégies de réduction de la pauvreté, et en diffuser les résultats partout au Canada.
3. Projets : aider les organismes locaux, les entreprises et les gouvernements à élaborer des projets sources de nouveaux revenus ou de possibilités d’emploi, destinés aux personnes qui vivent dans la
   pauvreté.

Cadre d’évaluation révisé :

Buts généraux

1. Faire la chronique de l’expérience OP2000.
2. Documenter les divers résultats obtenus.
3. Cerner les forces et les faiblesses des stratégies utilisées.
4. Analyser les leçons tirées de l’expérience au profit des futures activités de réduction de la pauvreté.

Dimensions

1. Les multiples niveaux d’activité d’OP2000.
2. La nature évolutive d’OP2000 et ses projets variés.
3. Divers aspects du changement (personnels et collectifs; quantitatifs et qualitatifs; processus et résultats).

Niveaux de résultat

1. Personnes : changements dans le revenu et autres changements dans la vie des participants au projet et de leur famille.
2. Organismes : changements dans la perception qu’ont les organismes partenaires de leur rôle en matière de réduction de la pauvreté et de leur capacité de tenir ce rôle.
3. Collectivité : changements dans l’engagement de l’ensemble de la collectivité à réduire la pauvreté et dans son aptitude à agir de façon concertée pour atteindre ce but.

Méthodes :

1. Personnes

• Sondage dans les ménages (données démographiques de base et données clés afin d’analyser le changement par rapport au seuil de faible revenu).
• Changement dans le niveau de revenu.
• Changement dans la composition du revenu (aide gouvernementale c. emploi).
• Changement dans l’ampleur de la pauvreté (mesure dans laquelle le ménage se situe en dessous du seuil de faible revenu).
• Bref profil du participant (brefs comptes rendus des gains réalisés et des difficultés éprouvées par les participants au projet; recueillis par trimestre).
• Espoir/confiance.
• Appartenance. .
• Sécurité.
• Réseaux d’entraide personnels.
• Access to services.
• Compétences.
• Revenu.
• Emploi.
• Enjeux politiques.
• Entrevues en profondeur (comptes rendus détaillés de la façon dont les participants au projet – environ 30 – sont devenus pauvres et sur la façon dont OP2000 convient à leurs démarches pour sortir de la pauvreté).
• Antécédents (incluant : facteurs intergénérationnels; changements de situation avec le temps).
• Influences interdépendantes et successives.
• Changements dans le contexte social.
• Moments, personnes, événements clés.

2. Organismes

• Cahier d’apprentissage (préparation de la proposition de projet originale, des rapports d’étape et auto-évaluations trimestriels).
• Évaluation de la capacité organisationnelle.
• Élaboration d’une stratégie ou d’un programme innovateurs de réduction de la pauvreté.
• Identification de nouveaux groupes cibles.
• Acquisition de ressources.
• Leçons apprises durant la mise en œuvre.
• Entrevues et groupes de discussion au cours du projet.
• Changements dans les politiques organisationnelles.
• Changements dans la compréhension de la pauvreté.
• Acquisition de compétences et de capitaux.
• Inclusion de personnes pauvres dans les processus de prise de décisions.
• Établissement de nouveaux partenariats.
• Communications améliorées avec d’autres groupes/organismes/secteurs.
• Capacité d’exercer une influence sur la politique publique.
• Volonté et capacité de poursuivre des activités de réduction de la pauvreté dans l’avenir.

3. Collectivité

• Entrevues avec des informateurs clés; carnets d’apprentissage du personnel d’OP2000.
• Compréhension du problème de la pauvreté et sensibilisation.
• Engagement envers la réduction de la pauvreté.
• Vision partagée/plan à long terme.
• Mobilisation des ressources.
• Collaboration entre divers intervenants.
• Création de nouvelles structures et/ou de nouveaux processus d’organisation.
• Changements dans la politique publique.

Évaluation à titre d’apprentissage expérientiel en collaboration : 10 remarques

1. Se concentrer sur l’apprentissage et non le classement.
2. Confirmer la nature du projet à titre d’apprentissage en collaboration et considérer les participants comme des apprenants.
   
3. Se concentrer davantage sur les théories sous-jacentes et moins sur les résultats.
4. Offrir aux participants des occasions d’approfondir leur réflextion.
   
5. Examiner tous les champs d’activité touchés par le projet.
   
6. Rapporter de façon claire et précise ce que les gens ont exprimé d’un manière moins précise.
   
7. Transformer les questions complexes en défis réalisables.
   
8. Présenter un tableau équilibré incluant les points de vue divers et parfois divergents des participants.
9. Présenter les enjeux sous forme de défis que doit relever le projet.
   
10. Rationaliser le processus et formuler fréquemment des commentaires.
    Animateur

Animateur

Eric Leviten, Caledon Institute of Social Policy

CADRE D’APPRENTISSAGE ET D’ÉVALUATION

Défis auxquels font face les organismes qui commencent l’évaluation de leurs projets :

• Complexité de l’évaluation.
• Résistance à la « mesure » et aux « résultats ».
• Manque de connaissances, d’expertise.
• Temps et argent.
  
• Manque de prise en charge.
  
• Maîtrise du programme d’apprentissage.

Définition d’un cadre d’apprentissage et d’évaluation :

Un cadre d’apprentissage et d’évaluation est un outil de planification qui aide les organismes :

• à clarifier l’objet des projets et/ou des programmes;
• à clarifier les stratégies et les plans de travail nécessaires pour atteindre ces objectifs prioritaires;
  
• à préciser les résultats escomptés des activités à court et à long terme.
  

Fondement :

• Est axé sur les ressources et les énergies.
• Établit des priorités communes.
  
• Aide à vous organiser pour l’action.
  
• Aide à documenter vos résultats.
  
• Accroît votre influence.
  
• Cerne ce que vous voulez apprendre.
  
• Clarifie les modalités de responsabilisation.
• Établit un fondement pour évaluer les projets.
  

Pourquoi choisir cette approche?

• Pour garantir la prise en charge du processus d’apprentissage.
• Pour démontrer les répercussions de votre travail.
  
• Pour établir des priorités claires.
• Pour montrer que votre argent est bien dépensé.
• Pour appuyer le partage des apprentissages.
• Pour rehausser le profil du DEC et de l’initiative.
• Pour favoriser de meilleures pratiques.

Avantages de l’approche :

• Crée une prise en charge de l’apprentissage.
• Augmente la confiance et les compétences en ce qui a trait au suivi des résultats.
• Augmente la responsabilisation.
• Donne lieu à des énoncés de résultats plus réalistes.
• Renforce la planification.
• Le processus a favorisé l’esprit d’équipe au sein d’organismes et le partenariat entre des organismes.
• Réduit le manque de confiance/la concurrence.
• Permet le transfert des outils – le processus de pensée et de planification est déjà utilisé ailleurs par des organismes.

Animatrices

Janet Murray et Mary Ferguson, Eko Nomos

Ressources

Are Outcomes the Best Outcomes? par Sherri Torjman, Caledon Institute of Social Policy
Rapport d’évaluation de la Western Valley Development Authority
« A Framework for Evaluating Multidimensional CED », par Eric Leviten, Making Waves, vol. II, no 2.