Laboratoire Ville Mobilité Transport

Indicateur pour l’évaluation

Modélisation et Représentation
Auteurs : Mathias LENGYEL, Natalia KOTELNIKOVA-WEILER, Luc CHARANSONNEY

De rapides recherches permettent de se rendre compte que les deux termes qui nous intéressent ici font actuellement couler beaucoup d’encre dans le monde de la recherche académique. Les historiens de la pensée économique nous rappelleront cependant que si ces termes sont au cœur d’enjeux sociétaux très contemporains, les débats qui opposaient déjà Jules Dupuis et Jean Baptiste Say au milieu du XIXème siècle sur la définition et la mesure de la valeur des choses, parlaient déjà d’indicateurs et d’évaluation (Vatin, 2003). 

 

D’un point de vue formel, le terme évaluation peut aussi bien désigner une démarche consistant à déterminer la valeur d’une chose (Larousse, 2016) qu’une typologie d’outils, de modèles ou de méthodologies ayant pour fonction d’accompagner ladite démarche. Le terme indicateur est quant à lui défini dans le Petit Robert comme « un instrument servant à fournir des indications, à mesurer ou à apprécier l’état de quelque chose ». L’évaluation est donc une démarche et l’indicateur, un instrument mobilisé comme un moyen de mener à bien cette démarche en révélant des informations sur le phénomène observé (OCDE, 1993). Si les indicateurs mobilisés dans une démarche d’évaluation ont fait, font et feront encore demain l’objet de nombreuses controverses sur leurs critères de définition et de choix (Weber & Lavoux, 1994), c’est avant tout parce que, la manière de conduire la mesure d’un ou plusieurs paramètres peut modifier la perception d’un observateur (Litman, 2007). 

 

En permettant la mobilité des personnes et des biens, le transport contribue à la vie économique et sociale des territoires. En contrepartie, les systèmes et réseaux techniques de transport nécessitent des investissements d’argent public lourds et sont à l’origine de nombreuses externalités économiques, sociales et environnementales. De ce fait, le secteur est soumis à une étroite régulation publique (Orfeuil, 2008) qui repose, entre-autres aspects, sur un recours obligatoire et légal à des évaluations. Bien que les objets évalués peuvent recouvrir plusieurs formes (réseaux de transport, dessertes, mesures techniques, projet d’infrastructures, mise en place d’une offre nouvelle, politique publique … (Favre D’Arcier, 2012), ces évaluations s’inscrivent toutes dans un objectif de justification de l’utilité sociétale des investissements publics (DGITM, 2014). Mais comme le rappelle Yves Crozet en citant Luc Boltanski, il est aujourd’hui admis qu’une « démarche de justification s’inscrit dans une vision du monde » (Crozet, 2004), laquelle vision est perceptible et se matérialise au travers d’instruments (indicateurs) et de méthodes (évaluations) élaborés et utilisés pour cette justification. 

 

Dans une société contemporaine marquée par des évolutions technologiques, politiques, économiques, environnementales et sociales rapides, les questions de choix et d’élaboration des indicateurs d’évaluation reviennent donc au centre des débats économiques et politiques (Gadrey, 2012 ; Stiglitz, Sen & Fitoussi, 2009). Les outils et méthodes qui nous ont permis d’évaluer le surplus collectif de nos systèmes de transport hier, sont-ils encore pertinents aujourd’hui ? Le seront-ils encore demain ? Coût monétaire d’un déplacement, gains de temps, tonne de CO2 économisée ou niveau d’accessibilité sont-ils encore des indicateurs d’évaluation pertinents ? Indicateurs faisant intervenir des valeurs monétarisées ou pas (Gallez, 2000), indicateurs synthétiques (et pondérations associées) ou indicateurs désagrégés (Méda, 2008), analyse coûts-avantages ou analyse multicritère (Roy, 1997), indicateurs compréhensibles par le plus grand nombre ou indicateurs réservés à un usage expert (Gallez, 2000), etc. ; les points de divergences restent encore nombreux sur les modalités de construction des indicateurs et des méthodes d’évaluations associés. Mais c’est avant tout le choix des grandeurs observées, mises en lumières par des indicateurs et valorisées par l’évaluation qui continue et continuera demain de faire débat. 

 

  •    Indicateur pour l’évaluation
    Auteur : Natalia Kotelnikova-Weiler 

Un indicateur, dans une démarche d’évaluation, est une représentation de la performance d’un projet par rapport à des critères préétablis. L’indicateur est construit à partir de mesures qualitatives ou quantitatives des phénomènes dont l’impact est jugé significatif sur la performance. Le gain de temps généralisé constitue un exemple d’indicateur dans la démarche d’évaluation des projets de transport. 

 

Bien que les systèmes d’évaluation sectoriels soient dominants, de nouveaux référentiels d’évaluation pluridisciplinaires foisonnent depuis quelques années. Ces référentiels concernent l’évaluation des projets d’aménagement dans une démarche de développement durable et ont pour objectif de vérifier ou d’apporter des arguments substantiels de la performance environnementale affichée des projets. L’échelle géographique concernée est principalement celle du quartier. Initialement seules les performances environnementales des bâtiments (consommation d’énergie, émissions de GES font partie de ses indicateurs) étaient évaluées mais la mobilité ainsi que d’autres systèmes en réseaux dépassant le cadre strict du quartier étudié font de plus en plus parti du champ couvert. Avec cet élargissement thématique, vient en parallèle un élargissement de l’échelle spatiale d’évaluation : agglomération puis territoire sont visés. 

 

Par son ancrage territorial, le projet urbain nécessite un système d’évaluation dont les critères sont spécifiques au contexte local. Ainsi chaque collectivité peut établir des critères et des indicateurs spécifiques en fonction des besoins et des enjeux de son territoire. L’évaluation par indicateurs contient donc une part inhérente de partialité malgré l’objectivité souhaitée des indicateurs produits. 

 

L’évaluation intervient à différentes phases d’un projet et y est utilisée pour informer la prise de décision. Le diagnostic permet notamment de constituer un état de référence avant-projet et des niveaux d’indicateurs correspondants. 

 

L’évaluation ex ante du projet permet de saisir l’impact potentiel du projet. Enfin l’évaluation ex post, permet de mesurer l’impact réel et de suivre le projet au cours de sa vie. 

 

Afin d’être opérante, l’évaluation par indicateurs nécessite d’une part un niveau de référence de l’indicateur mesuré sur le territoire et d’autre part une « graduation », une échelle de celui-ci. L’échelle peut être absolue, comme dans le cas des étiquettes et labels attribués à partir d’un certain seuil de performance, mais elle peut aussi être relative, comme dans le cas de comparaison de plusieurs options d’aménagement où l’on se réfère à un projet BAU (Business As Usual). L’hétérogénéité et la complexité des enjeux sur un territoire interdit parfois d’agréger les indicateurs au sein d’une même « note » ou indicateur composite. L’approche par évaluation multicritère peut alors être proposée permettant de mettre en regard les impacts sociaux et les impacts environnementaux, par exemple, ne pouvant se retrouver sur la même échelle. Le système d’indicateurs étant constitué, il s’agit alors de l’alimenter en mesures issues du projet. Chaque indicateur pourra alors appeler une méthode spécifique de caractérisation. Un des enjeux consiste alors à assurer la cohérence des méthodes spécifiques issues fréquemment de disciplines scientifiques et champs opérationnelles différents. En phase de diagnostic, les mesures pourront être issues de données disponibles sur le territoire, d’enquêtes et de bases de données. Pour l’évaluation des impacts d’un projet futur, on fera généralement appel à des modèles de simulation. Dans ces deux configurations, le principal verrou méthodologique est d’accéder à des données locales représentatives, particulières à un site d’étude. En phase de suivi du projet réalisé, une approche plus spécifique est possible : passant par l’instrumentation et des enquêtes de terrain particulières. 

 

  •   Indicateur pour l’évaluation 

Un indicateur est un instrument chiffré visant à rassurer l’ingénieur dans le bon exercice de ses fonctions. Il permet de “décomplexifier”, plus ou moins artificiellement, une réalité souvent complexe. L’indicateur a généralement deux niveaux d’interprétation : 

  • l’interprétation scientifique, raisonnée, généralement faite par le technicien consciencieux. Cette interprétation est le résultat d’un compromis entre, d’une part, la complexité du système sous-jacent de l’indicateur, complexité généralement comprise par le technicien, et d’autre part la volonté de vulgarisation pour le non-technicien/le public. 
  • l’interprétation politique, répondant à une justification de décision : celle-ci fait généralement fi des hypothèses et du cadre de validité définis par le technique, et sert principalement à justifier une décision ou une posture. 

 

Références:

– Crozet Y. (2004), « Calcul économique et démocratie : des certitudes technocratiques au tâtonnement politique », Cahiers d’économie Politique (no 47). 

– DGITM (2014), Note technique du 27 juin 2014 relative à l’évaluation des projets de transport, Ministère de l’écologie, du développement durable et de l’énergie, Paris. 

– Faivre d’Arcier B. (2012), Amélioration de la Performance Economique des Réseaux par l’Optimisation des Lignes, Rapport final de convention pour le PREDIT 6 

– Gadrey J. & Jany-Catrice F. (2012), Les nouveaux indicateurs de richesse, 3e éd., Paris, La Découverte, «Repères ». 

– Gallez C. (2000), Indicateurs d’évaluation des scénarios d’évolution de la mobilité urbaine, rapport de convention DTT-INRETS, PREDIT, recherches stratégiques, groupe « Prospective ». 

– Litman T. (2005), « Well Measured : Developing Indicators for Comprehensive and Sustainable Transport Planning », Victoria Transport Policy Institute, Victoria, British Columbia, Canada. 

– Méda D. (2008), Au-delà du PIB. Pour une autre mesure de la richesse, Coll. Champs actuel, éd. Flammarion, Paris. 

– OCDE (1993), Corps central d’indicateurs de l’OCDE pour les examens des performances environnementales, Rapport de synthèse du groupe sur l’Etat de l’Environnement, Monographie sur l’environnement no83, Paris. 

– Orfeuil J.-P. (2000), « L’évolution de la mobilité quotidienne : comprendre les dynamiques, éclairer les controverses », Synthèse INRETS, no 37, 146 p. 

– Roy B. (1997), L’aide à la décision aujourd’hui : que devrait-on en attendre ?, Université Paris-Dauphine, Cahier du LAMSADE 104. 

– Stiglitz E., Sen A., Fitoussi J.-P. (2009), « The measurement of economic performance and social progress revisited », Document de travail de l’OFCE, Centre de recherche en économie de Sciences Po, Paris. 

– Vatin F. (2003), « Jules Dupuit (1804-1866) et l’utilité publique des transports, actualité d’un vieux débat », Revue d’histoire des chemins de fer [En ligne], 27 | 2003, mis en ligne le 15 janvier 2015, consulté le 26 janvier 2015. http://rhcf.revues.org/1916 

– Weber J.-L. et Lavoux T. (1994), « Réflexion sur les critères de définition et de choix des indicateurs d’environnement, notes de méthode de l’IFEN », édition 94, no3, Orléans.