Arbeitskreis Evaluation von Entwicklungspolitik – DeGEVal (Hg.): Verfahren der Wirkungsanalyse. Ein Handbuch für die entwicklungspolitische Praxis. Freiburg i.Br.: Arnold-Bergstraesser-Institut 2010 (= Freiburger Beiträge zu Entwicklung und Politik, Bd. 36). 247 S.
Die Frage nach Verbleib und Nutzen der vom Steuerzahler bzw. Spender zugunsten „der Armen in der Dritten Welt“ aufgebrachten Milliarden ist so alt wie die „Entwicklungshilfe“ selbst. Mehr noch: in keinem anderen Bereich der öffentlichen Verwaltung und der zivilgesellschaftlichen Aktivitäten wird seit Jahrzehnten dieser Frage mit größerem finanziellem Aufwand und intellektuellem Eifer nachgegangen, wobei sich im Laufe der Zeit die Fragestellungen, Methoden und Verfahren kontinuierlich verfeinert haben. Am (vorläufigen?) Ende dieser Entwicklung steht die Frage nach den Wirkungen der Entwicklungszusammenarbeit, d.h. danach, welche Veränderungen entwicklungspolitische Maßnahmen bei den Empfängern bzw. Partnern induziert haben.
Der Arbeitskreis „Evaluation von Entwicklungspolitik“ der Deutschen Gesellschaft für Evaluation (DeGEval) hat vor kurzem das Ergebnis der dreijährigen Beschäftigung einer Arbeitsgruppe mit den häufi gsten zur Anwendung kommenden Wirkungsanalyseverfahren dokumentiert. In dem ca. 240 Seiten umfassenden Buch wollen die 29 Autoren/-innen (bei denen es sich um MitarbeiterInnen fast aller wichtigen Organisationen der deutschen staatlichen wie zivilgesellschaftlichen EZ, wissenschaftlicher Einrichtungen sowie um freiberufl iche GutachterInnen mit langjähriger Erfahrung handelt) der entwicklungspolitischen Fachwelt eine systematische Übersicht über insgesamt 21 erprobte Analyseverfahren an die Hand geben. Diesem zentralen Teil des Handbuchs sind die aktuellen politischen, methodischen und praktischen Herausforderungen für Wirkungsanalysen vorangestellt, während der abschließende Teil die wesentlichen Gemeinsamkeiten und Unterschiede der Verfahren zusammenfasst und einige Schlussfolgerungen zieht. Ein Glossar, Literaturhinweise und Angaben zu den Autoren/-innen ergänzen die Darstellung.
Wenn man den Herausgebern des Buches gerecht werden will, muss man die Einschränkungen zur Kenntnis nehmen, auf die das Redaktionsteam eingangs hinweist: So betont es, dass die Darstellung der Analyseverfahren keinen Anspruch auf Vollständigkeit erhebt und dass das Buch vor allem auf eine Bewertung im Sinne von „gut“ oder „schlecht“ bewusst verzichtet.
In ihrem Vorwort formulieren die Herausgeber das Ziel, „den Nutzern dieses Handbuchs die Möglichkeit zu geben, Verfahren nach rein sachlichen und pragmatischen Erwägungen für einen bestimmten Untersuchungszweck oder -auftrag auszuwählen.“ (5) Diese Zurückhaltung mindert den praktischen Wert des Handbuchs jedoch erheblich, denn die Leser/-innen wüssten schon gerne, welche konkreten Erfahrungen mit den verschiedenen vorgestellten Methoden bzw. Verfahren vorliegen und wie diese zu bewerten sind. Enttäuscht werden auch jene, die sich (auch) eine wertende, kritische Refl ektion über die Erfolge und Misserfolge der bisherigen Evaluationen von Projekten und Programmen gewünscht hätten, also eine Art „Wirkungsanalyse durchgeführter Evaluationsprogramme“.
Eine weitere wesentliche Einschränkung des Untersuchungsgegenstandes ergibt sich implizit aus der von den Autoren/-innen vorgenommenen Definition des Zweckes von Evaluationen im Allgemeinen und Wirkungsanalysen im Besonderen: Demnach bestehen die Aufgaben „in der Rechenschaftslegung gegenüber dem (Auftrag-)Geber, dem Beitrag zum Wissensmanagement der Förder- und Durchführungsorganisation, sowie u.U. der Öffentlichkeitsarbeit und dem Marketing“ (28). Außerdem werden noch „die Bereitstellung von Informationen zur Projektsteuerung und zum Lernen auf der Durchführungsebene“ (ebd.) erwähnt. Diese Konzentration auf die Legitimations-, Kontroll-, Selbstdarstellungs- und Effizienzbedürfnisse der Geberseite hat zwei schwerwiegende Folgen für das „Design“ von Evaluationen:
Erstens wird deutlich, dass unter derartigen Vorgaben Evaluationen in einem vor allem auch (institutionen-)politischen Spannungsfeld stattfinden, das unerwünschte Ergebnisse – und seien sie methodisch noch so gut abgesichert – allzu häufig nicht zulässt. Die von den Herausgebern erwähnten Vorbehalte und Befürchtungen in Partnerländern und -organisationen hinsichtlich der Ergebnisse und Konsequenzen externer Wirkungsanalysen (30) bestehen nämlich in gleicher Weise auf Seiten der Geber und ihrer Organisationen. Vor diesem Hintergrund relativiert sich die praktische Bedeutung ständig verfeinerter Analyseverfahren, wie sie insbesondere von Seiten der Wissenschaft immer wieder eingefordert werden (so etwa auf Seite 47). Wichtiger, so scheint es, wäre die Durchsetzung der von den Herausgebern geforderten „neuen Kultur“, die Fehler zulässt und die Bereitschaft aller Beteiligten, zu lernen, ins Zentrum rückt (30f).
Zweitens blendet die Verengung des Analysezwecks auf die Bedürfnisse der Geberseite den Aspekt von Empowerment auf Seiten der Zielgruppen weitgehend aus. Folgt man dem Gedanken, dass partizipativ organisierte „Lernschleifen“ (gerade auch im Rahmen von entsprechend konzipierten Wirkungsanalysen) in der Regel einen bedeutenden emanzipatorischen Effekt aufweisen, erscheinen die verschiedenen dargestellten Analyseverfahren zwangsläufig in einem anderen Licht. Bemerkenswerterweise setzen sich die Autoren/-innen mehrerer Einzeldarstellungen später über die von den Herausgebern formulierte enge Zweckbestimmung von Wirkungsanalysen hinweg und betonen vor allem auch den emanzipatorischen Anspruch der von ihnen vorgestellten Methoden. Der Abschnitt zu den methodischen Herausforderungen ist m.E. allzu knapp ausgefallen, wenn man bedenkt, dass hier der wichtigste Bezugsrahmen für die Bewertung der einzelnen Methoden und Verfahren geliefert werden müsste. Unerwähnt bleiben beispielsweise Fragen wie: Wer wird in die Evaluation einbezogen (z.B. Gewinner und Verlierer von „Entwicklung“)? Wie können unterschiedliche Sichtweisen (kulturell, schichten-spezifi sch, demografi sch usw.) berücksichtigt werden? Zu welchem Zeitpunkt und unter welchen Bedingungen werden Erhebungen durchgeführt (saisonal, Berücksichtigung von „day and night realities“ usw.)? Die Bedeutung derartiger Fragestellungen für die Ergebnisse von Wirkungsanalysen hätte zumindest angedeutet werden müssen, um die häufig überzogenen Erwartungen an die Ergebnisse von Wirkungsanalysen ein wenig zu dämpfen.
Die Darstellung der in der Realität vorgefundenen Komplexität reicht aber immerhin aus, um etwa die folgende Aussage zum „CEval-Ansatz zur Wirkungsanalyse/Stockmann’sche(n) Ansatz“ (36-46) als völlig überzogen und unrealistisch zu empfi nden: „Das Analyseraster ist auf die Erfassung sämtlicher relevanten Wirkungen (intendiert und nicht intendiert) auf der Mikro-, Meso-, und Makroebene ausgerichtet und versucht damit alle durch die Interventionsmaßnahme hervorgerufenen (individuellen wie globalen) Struktur-, Prozess- und Verhaltensänderungen zu erfassen. Aufgrund der multidimensionalen Analysekriterien können dabei nicht nur die unmittelbar hervorgerufenen (direkten) Wirkungen, sondern auch die nachgelagerten (indirekten) Effekte auf gesellschaftlicher bzw. systemischer Ebene identifiziert werden.“ (37) Der hier formulierte Anspruch läuft auf nichts weniger als auf eine Formel zur Entschlüsselung der (sozialen) Welt hinaus und ist ein extremes Beispiel dafür, dass es des Öfteren der korrigierenden Einflussnahme von Herausgeber und Redaktionsteam bedurft hätte. Für den Praktiker, an den sich das Handbuch nach eigenen Angaben ja richtet, sind aufwändige experimentelle oder quasiexperimentelle Designs in der Regel irrelevant, zumal die Herausgeber in einem weiteren einführenden Abschnitt zu den praktischen Herausforderungen für Evaluationen mit Recht darauf hinweisen, dass Kosten-Nutzen-Überlegungen in der Praxis eine wichtige Rolle für das Design von Wirkungsanalysen spielen. Denn wer sich mit der Durchführung von Wirkungsanalysen befasst, der könnte in der Tat zahlreiche Beispiele dafür benennen, dass die „praktischen Herausforderungen“ den Wert anspruchsvoller Analysemodelle nur allzu oft mindern.
Die Vorstellung der Wirkungsanalyseverfahren in Form von „Verfahrens-Steckbriefen“ macht etwa drei Viertel des Buchumfanges aus. Für die Darstellung wurde vom Redaktionsteam ein sieben Kriterien umfassendes Raster vorgegeben, um die Vergleichbarkeit der Beiträge zu gewährleisten: (1) Allgemeine Informationen, (2) Anwendungsbereiche (3) Analyseansatz (4) Durchführung (5) Nutzung der Ergebnisse (6) Anforderungen (7) Besondere Eignung und Grenzen des Verfahrens.
Der Wert dieser Strukturierung wird allerdings im Folgenden erheblich gemindert, weil die jeweiligen Autoren/-innen ansonsten offenbar freie Hand hatten, ihre Beiträge zu „gestalten“. So bleiben manche Beiträge recht abstrakt und im Normativen stecken, andere illustrieren die Methode anhand von Fallbeispielen und/oder liefern detaillierte Anweisungen für die empfohlene Vorgehensweise. Einige Autoren/-innen fügen umfangreiche Literaturhinweise an, andere verzichten völlig auf Angaben zu weiterführender Literatur.
Ärgerlich wird die Zurückhaltung des Redaktionsteams im Zusammenhang mit dem Bewertungs-Kriterium „Besondere Eignung und Grenzen des Verfahrens“: Die Bereitschaft und Fähigkeit zur (selbst-)kritischen Hinterfragung der eigenen Methode ist nämlich recht unterschiedlich ausgeprägt, und der Hang zur „Vermarktung“ wird bisweilen geradezu penetrant. Folgt man nämlich den Angaben der Autor/-innen, sind so gut wie alle Methoden, als deren „Erfinder“ und Protagonisten sie sich nicht selten gerieren, besonders „partizipativ“, auch wenn sich dies aus dem jeweiligen Text kaum nachvollziehen lässt. Ein gemeinsames Verständnis von „Partizipation“, das in diesem Zusammenhang notwendig wäre, ist nicht erkennbar und wurde vom Redaktionsteam offenbar auch nicht herbeigeführt. So ist schwer vorstellbar, wie sich gerade der unerfahrene Leser/-innen ein Urteil über die vorgestellten Methoden und Verfahren bilden sollen.
Das abschließende Kapitel des Handbuchs, das eine Zusammenschau der verschiedenen Wirkungsanalysen liefert, ändert an dem hier kritisierten Missstand nicht allzu viel, denn die Synthese des Redaktionsteams erfolgt nach eigener Aussage „gemäß der Darstellung in den entsprechenden Steckbriefen“ (220); und wo es um die Anwendungsmöglichkeiten und Voraussetzungen der Verfahren geht, wird ausdrücklich betont: „Für die Einschätzungen und Bewertungen der verschiedenen Merkmale zeichnen die jeweiligen Autor/-innen der Verfahrensbeschreibungen verantwortlich.“ (228) So kann es denn auch nicht verwundern, dass jene Analyseverfahren, die zuvor von ihren Protagonisten ohne nennenswerte fachliche Skrupel im denkbar besten Licht dargestellt wurden, die vorgegebenen Kriterien am besten erfüllen. Besonders auffällig ist dies im Hinblick auf die Aspekte „Anwendbarkeit für bestimmte Sektoren, Maßnahmenebenen und -typen“ (217-219), „Eignung für die Erfassung verschiedener Arten von Wirkung“ (219f), oder „Eignung ür die Erfassung von Zuständen und Prozessen“ (224f) – Durch diese Vorgehensweise gerät die von den Herausgebern betonte Entscheidungsfreiheit der Leser/-innen bei der Auswahl der jeweils als geeignet erscheinenden Verfahren zur Fiktion.
Die fachliche Zurückhaltung des Redaktionsteams ist möglicherweise erklärbar mit der notwendigen Rücksicht auf die große Bandbreite der Mitglieder des mit der Erstellung des Handbuchs befassten DeGEval-Arbeitskreises. Offenkundig verfolgten diese aufgrund ihres jeweiligen Selbstverständnisses unterschiedliche Interessen und verfügten über einen recht unterschiedlichen Erfahrungshintergrund.
Eine letzte kritische Anmerkung gilt nicht dem Buch selbst, sondern den offenkundig gewordenen Defi ziten bei der Entwicklung von Konzepten bzw. Verfahren der Wirkungsanalyse, die der heute anzutreffenden Projekt- bzw. Programmwirklichkeit gerecht werden: Viele der vorgestellten Analyseansätze, Verfahren und Methoden unterscheiden sich wenig in ihrer fachlichen Substanz, stammen aus der Projektarbeit der 1990er Jahre und sind somit seit längerem bekannt. Sie erfassen die Wirkungen allenfalls auf der Mikro-, bzw. der Meso-Ebene, und ihre Anwendung bleibt häufig auf Sektoren wie ländliche Entwicklung, Gesundheit und Bildung beschränkt. Die von Programmen induzierten Veränderungen in Politik und Gesellschaft auf der Makroebene, die eine immer größer werdende Bedeutung in der Internationalen Zusammenarbeit (IZ) erlangt haben, können nach wie vor nur schwer nachgewiesen werden. Das spezifisch Neue, die Relevanz der vorgestellten Methoden zur Wirkungsbeobachtung aktueller Strategien in der IZ erschließt sich somit nur in wenigen Fällen, und zwar dann, wenn die Autoren/-innen einmal über den „Tellerrand“ herkömmlicher M+E-Ansätze in der Entwicklungszusammenarbeit hinausblicken.
Unter Umständen könnten sozialwissenschaftliche Methoden, wie sie etwa in der Erforschung von Wählerbewegungen oder des gesellschaftlichen Wandels angewendet werden, künftig auch entwicklungspolitische Wirkungsanalysen bereichern. Andererseits will ich hier nicht einer ausufernden theoretischen und methodischen Verfeinerung von Wirkungsanalysen, wie sie an manchen Stellen des Handbuchs angedeutet wird, das Wort reden. Es muss vielmehr darum gehen, sich unter Berücksichtigung des auch in diesem Kontext gültigen Gesetzes des abnehmenden Grenznutzens eines ständig weiter getriebenen Aufwands auf die jeweils zulässige und verantwortbare Ungenauigkeit zu verständigen und entsprechende Indikatoren zu entwickeln.
Sollten die Herausgeber die Absicht haben, das hoch aktuelle und spannende Thema weiter zu verfolgen, so wäre zu hoffen, dass dann eine Veröffentlichung entsteht, die der Fachwelt einen höheren Erkenntniswert vermittelt als dieses in Teilen zwar nützliche, insgesamt aber enttäuschende Handbuch.
Wolfgang E. Fischer
Quelle: Peripherie, 31. Jahrgang, 2011, Heft 120, S. 112-117
zurück zu Rezensionen
zurück zu raumnachrichten.de