Certaines fonctionnalités de ce site reposent sur l’usage de cookies.
Les services de mesure d'audience sont nécessaires au fonctionnement du site en permettant sa bonne administration.
ACCEPTER TOUS LES COOKIES
LES COOKIES NÉCESSAIRES SEULEMENT
CONNEXION
Valider
Mot de passe oublié ?
Accueil > Actualités > Eau > L'impossible évaluation
EAU

L'impossible évaluation

PUBLIÉ LE 1er SEPTEMBRE 2012
LA RÉDACTION
Archiver cet article
Toute l'information de cette rubrique est dans : Hydroplus
Le magazine des professionnels de l’eau et de l’assainissement.
Déchets > Depuis leur lancement il y a trois ans, pouvoirs publics et collectivités territoriales redoublent d'imagination pour mettre en œuvre des plans et programmes de prévention des déchets. Quel bilan peut-on tirer aujourd'hui de ce dispositif ? Stop-pub, compostage, opérations contre le gaspillage alimentaire, promotion du réemploi… Pour lutter contre l'inflation de la production de déchets – les tonnages ont doublé en quarante ans –, les collectivités tentent de persuader les citoyens de modifier leurs habitudes de consommation. C'est la dé cli naison concrète du Grenelle de l'environnement, qui prévoit la généralisation des plans départementaux et locaux de prévention des déchets, pour atteindre une réduction de 7 % en cinq ans de la production des ordures ménagères et assimilées (OMA) et une diminution de 15 % en 2012 des quantités de déchets incinérés ou partant en enfouissement. Pour y parvenir, le gouvernement a mis en place un dispositif financier visant à aider les conseils généraux, et le conseil régional en Ile-de-France, pour la mise en place de plans territoriaux, et les collectivités lo cales et EPCI pour le portage de programmes locaux. Dès cette année, la moitié de la population française devait être concernée par un programme local. « Première mission accomplie, puisque, à ce jour, plus de 60 % de la population sont couverts », note Dominique Traineau, animateur de secteur au service prévention et gestion des déchets de l'Ademe. Si le déploiement est effectif, qu'en est-il du contenu de ces programmes et des premiers résultats ? S'agissant du contenu des programmes locaux de prévention (les démarches les plus opérationnelles), ils compilent un panel d'actions assez homogènes, décliné en fonction du contexte local :compostage domestique, promotion du stop-pub, de l'éco-exemplarité des collectivités, de la promotion des achats responsables, du réemploi et de la réparation, de la lutte contre le gaspillage alimentaire... Cependant, l'efficacité d'un programme local de prévention tient plus au portage de la démarche qu'au déroulement des actions standardisées. Comme en témoigne la communauté urbaine Brest Métropole océane à travers son programme local, qui fait du compostage et du paillage ses thématiques majeures – ce qui pourrait paraître un peu mince. Mais le portage politique, les aspects opérationnels et la multiplication des relais externes (association et habitants) sont remarquables. En 2008, année de référence, les tonnages d'OMA s'établissaient à 336 kg/ hab/ an sur la communauté urbaine. En 2011, ils ont perdu 10 kg. L'objectif de - 7 % correspond au seuil de 312,7 kg à atteindre fin 2013, avec un budget de 2,82 euros/hab/an. « Ces chiffres ne sont que l'écume de ce que ce programme a généré durant ces années », pondère Claire Dubois, directrice déchets et propreté à Brest Métropole océane. Au départ, la prévention était en quelque sorte un satellite de l'exploitation, mais progressivement, elle a irrigué tous les services opérationnels. Le choix a d'ailleurs été fait de se passer d'un chargé de prévention, comme c'est habituellement le cas. À l'inverse, les thèmes sont portés par les différentes divisions et cinq cadres sont impliqués très directement en qualité de pilotes sur les actions de prévention. « On peut parler de véritable chan­ gement culturel, insiste Claire Dubois. Aujourd'hui, le sens premier du service est devenu la prévention. La collecte reste bien sûr notre métier, mais jus­ tement, de nombreuses actions du programme influent sur la façon de collecter et amènent les agents sur des pratiques différentes. » Brest Métropole océane réfléchit à modifier les fréquences de collecte, la taille ou le type de bacs pour favoriser la prévention. Pour atteindre l'objectif en 2013, la communauté urbaine a par ailleurs décidé de se focaliser sur des actions à gros impact en termes de tonnage, notamment sur la collecte des biodéchets de gros producteurs, comme les cantines. « Même si on a du mal à décrypter les chiffres pour évaluer l'efficacité réelle du programme, intuitivement, je dirai qu'il y a eu un changement de pratiques :tous ces gens qui sont passés au compostage indi­ viduel, toutes ces cages d'escalier qui font vivre le compostage en pied d'immeuble sont des réalités », pointe Claire Dubois. Autre exemple, celui du Smited des Deux-Sèvres, une structure de traitement à l'échelle du département. Elle porte un programme local de prévention pour certains de ses adhérents, sachant que, le territoire n'est pas novice en matière de prévention :le sujet est investi depuis 2002 et le département est aujourd'hui couvert par cinq programmes 1 . Celui porté par le Smited a démarré en 2009, avec une échéance en 2014. La baisse des tonnages d'OMA est, en 2011, de - 4 % par rapport à 2009, pour un coût de 145 000 euros en 2011, dont 111 000 euros de subventions de l'Ademe. Ce programme comprend une soixantaine d'actions. « Le compostage et l'éco-exemplarité sont les deux sujets sur lesquels nous investissons le plus de temps, mais cela ne donne pas une vision juste de l'ampleur du programme », signale Sandie Birot, chargée de mission réduction des déchets. Les actions sont, en effet, personnalisées selon les communautés de com munes, les acteurs ou l'historique. Une action en particulier a beaucoup fait parler d'elle :l'introduction de poules, nourries par les restes de repas, dans les centres de loisirs de la communauté de com munes Plaine de Courance. « C'est une action très peu coûteuse et qui marche extrêmement bien puisqu'elle se traduit par une baisse de la part fermentescible des déchets de 39 %. En structures collectives, elle est plus adaptée que le compostage, qui nécessite un suivi. Tout le monde s'attache aux poules, ce qui assure la durabilité de l'action. Et l'effet sensibilisateur est garanti », précise Sandie Birot. Le programme comprend aussi des actions sur la consommation, avec des opérations en supermarchés :l'opération Stop-Rayon identifiant des produits vertueux au plan de la prévention des déchets grâce à un étiquetage spécial, et les actions de la Bise, la brigade d'intervention du suremballage, incarnée par une compagnie théâtrale... « Ces opérations reçoivent un excellent accueil, mais il est impossible de quantifier leur effet, reconnaît Sandie Birot. Ce constat vaut pour la plupart de nos actions, à l'ex­ ception de l'opération avec les poules. De toute façon, les changements de comportement de consomma­ tion sont à la fois l'élément le plus stratégique de la réduction des volumes de déchets et le plus difficile à atteindre. Le compostage est un simple “effort” demandé à l'usager, alors que changer sa consom­ mation est une remise en cause profonde. » S'il est difficile de mesurer l'efficacité des mesures sur le terrain, qu'en est-il au niveau national, où les programmes de réduction des déchets ont été engagés, au mieux, en 2009 ? « C'est trop tôt pour le savoir », répond l'Ademe. Idem sur les territoires où des actions de prévention ambitieuses préexistaient :elles n'étaient pas suffisamment structurées et surtout, elles étaient mal – voire pas du tout – évaluées. Aujourd'hui, la difficulté de mesurer l'efficacité des programmes se pose de multiples manières. Premier écueil :les faux amis de l'évaluation. Impossible, par exemple, de tirer des conclusions concrètes d'un indicateur de suivi d'action constitué du nombre de composteurs distribués. « Sur notre territoire, très rural, beaucoup de gens compostent spontanément, analyse Sandie Birot. Le rapport coût/efficacité de l'action de distribution de composteur n'est donc pas forcément très bon. En revanche, encourager les gens à composter leurs déchets de cuisine alors qu'ils ne compostent que leurs résidus de jardin, est sans doute plus intéressant. Par ailleurs, la distri­ bution de composteurs doit impérativement faire l'objet d'un suivi :les gens abandonnent vite si cela ne marche pas bien. » Les indicateurs de suivi des actions, indispensables pour s'évaluer, voire pour engager des actions correctives, s'avèrent donc parfois mal aisés à interpréter. Deuxième écueil, encore plus lourd :l'impossibilité de distinguer, dans les baisses de tonnages d'OMA, la part directement imputable à la prévention et la part relevant de « facteurs externes », comme la crise économique, la météo, etc. Pour compliquer l'équation, les tonnages collectés en déchèteries ne sont pas pris en compte dans la définition des OMA. Or, ces flux « détournés » biaisent la donne. « Pour évaluer un programme, on ne peut pas se contenter des tonnages », admet Frédéric Michel, directeur du département eau et déchets chez Intertek RDC. « De plus, cet objectif a un effet pervers :il encourage les actions ayant un effet visible sur le tonnage ; or, elles ne sont pas forcément synonymes de changements de comportements, remarque Sandie Birot. Par exem­ ple, nos actions sur les gobelets en plastique dans les centres de loisirs ou sur les surchaussures lavables en crèches rapportent peu en termes de réduction de tonnages, mais présentent un réel bénéfice environne­ mental et ont un puissant effet de sensibilisation. » Les quantités d'OMA ne seraient donc pas une indication objective ? En Franche-Comté, l'association de collectivités Ascomade constate que la seule mise en place de la redevance incitative a un impact énorme sur les tonnages d'OMA, les objectifs de -7 % étant vite atteints sur certaines collectivités. Alors, la panacée ? « Théo­ riquement, la redevance incitative devrait jouer un rôle central dans le changement des compor te­ ments, décrypte Bruno Maresca, responsable du département évaluation des politiques publiques au Credoc. Pourtant, au vu des retours d'expérience et des études sur le sujet, un tel bilan n'apparaît pas de manière lumineuse. » La redevance incitative a, en effet, pour conséquence d'améliorer l'aiguillage des déchets vers des filières vertueuses (augmentation des tonnages recyclés, compostés, apports en déchèteries, etc.), mais ses effets sur la réduction de la production des déchets, en amont, sont discutables et discutés. De fait, les résultats ne sont pas forcément imputables à un changement de comportement. « Ceci prouve qu'il faut sortir du dogme de la tonne », insiste Vincent Gaillard, chargé de mission gestion des déchets à l'Ascomade. Forte de tous ces constats, l'Ademe essaye de développer des éléments de mesure des progrès en s'appuyant sur deux types d'outils. Le premier, ce sont les enquêtes menées au niveau national (Modecom et autres) pour suivre les quantités de déchets collectées et leurs caractéristiques. Ainsi, on devrait pouvoir visualiser des évolutions quantitatives et des changements dans la caractérisation des déchets. Par exemple, la baisse du gaspillage alimentaire via la part de déchets organiques. « L'échéance, pour de premiers résultats, n'est pas avant quatre ou cinq ans », prévient toutefois Dominique Traineau. Plus opérationnel et territorialisé, le second outil est une panoplie d'indicateurs de performance « de programme », qui visent à évaluer de manière synthétique l'ambition des programmes locaux de prévention, puis, à terme, leur efficacité. Car l'Ademe subventionne massivement les programmes :l'Agence doit pouvoir vérifier que l'argent est bien investi. Sur onze indicateurs chiffrés de programme, seuls deux concernent l'évolution des tonnages d'OMA et de DMA (ensemble des déchets ménagers). Les autres cherchent plutôt à mesurer l'engagement, les processus mis en œuvre, les ressources mobilisées, etc., ainsi que, dans une certaine mesure, les changements de comportement. Ce dernier point est en effet facultatif. « Il est très important d'avoir une approche de l'évolution des comportements à l'échelle du terri­ toire pour juger de l'effet des programmes. Toutefois, compte tenu du coût des enquêtes d'opinion, il était inenvisageable de rendre cet indicateur obligatoire », justifie Dominique Traineau. D'autant qu'il ne fait pas l'unanimité. Certains le trouvent lourd, improductif et maugréent devant la paperasse ; d'autres le jugent insuffisant et regrettent notamment la nature facultative des enquêtes d'opinion. « Il est vrai que les enquêtes sont chères, mais on peut les dimensionner en fonction des besoins. Et des réseaux régionaux peuvent être utilisés pour mutualiser les coûts, re marque Vincent Gaillard. Donner un carac­ tère obligatoire à l'indicateur portant sur les chan­ gements de compor tements aurait facilité le travail des animateurs par rapport aux élus, qui ne voient pas forcément l'intérêt de ces enquêtes. Je regrette que l'Ademe se soit arrêtée au milieu du gué. » « Tout cela est très intéressant, mais le seul juge de paix de l'efficacité de ces politiques reste bel et bien le tonnage de déchets », tacle Bruno Maresca. Qui ne fait pas référence au tonnage traité par les collectivités, mais au tonnage véritablement produit sur le territoire, y compris celui passant par des circuits non publics et celui ne passant plus par aucun circuit, puisque traité à domicile par exemple. « Le seul moyen de se prononcer sur l'efficacité d'actions de réduction des déchets sera de regarder l'évolution du tonnage de déchets réel­ lement produits sur le territoire, lequel est en fait très mal appréhendé », reconnaît-il. Revers de la médaille du Grenelle, c'est seulement aujourd'hui que ces débats apparaissent, alors que la bataille de la prévention est en cours. « Des objectifs ont été affichés et des crédits alloués. Tout le monde s'est jeté à l'eau, sans prendre le temps de réfléchir aux effets collatéraux des actions engagées, aux meilleurs rapports coûts/efficacité, aux questions du comptage qui posent de nombreuses difficultés », relève Vincent Gaillard. Une grande question se pose désormais :si on n'arrive pas à montrer que la prévention a des effets visibles et quantifiables, est-ce que les collectivités vont persévérer après 2014, quand l'Ademe ne financera probablement plus leurs programmes ?
PARTAGEZ
À LIRE ÉGALEMENT
Eaux pluviales : coquilles d’huîtres se met en quatre
Eaux pluviales : coquilles d’huîtres se met en quatre
« Face à l'augmentation du risque de crues rapides, il faut réévaluer nos comportements »
« Face à l'augmentation du risque de crues rapides, il faut réévaluer nos comportements »
Eaux usées : Veolia installe une technologie de biofilm novatrice au Danemark
Eaux usées : Veolia installe une technologie de biofilm novatrice au Danemark
Builders immerge sa plateforme à énergie multimodale
Builders immerge sa plateforme à énergie multimodale
Tous les articles Eau
L'essentiel de l'actualité de l'environnement
Ne manquez rien de l'actualité de l'environnement !
Inscrivez-vous ou abonnez-vous pour recevoir les newsletters de votre choix dans votre boîte mail
CHOISIR MES NEWSLETTERS