Reinhard Stockmann: Evaluation und Qualitätsentwicklung. 
Eine Grundlage für wirkungsorientiertes Qualitätsmanagement. Münster 2006. 375 S.
Qualitätsentwicklung und Qualitätsmanagement gehören neben an Wirtschaftlichkeit orientiertem Handeln schon seit Jahren zu den wesentlichen Voraussetzungen für privatwirtschaftliche Unternehmen, um erfolgreich auf den Märkten der Zukunft zu bestehen. Dahinter steht die Absicht, mit der Verbesserung der Qualität der Produkte eine höhere Kundenzufriedenheit zu erreichen und damit insgesamt die Wettbewerbsfähigkeit zu steigern. Das Thema Qualität ist inzwischen auch aus gesellschaftspolitischen Diskussionen nicht mehr wegzudenken und ist geradezu zum Leitgedanken für eine Vielzahl nicht gewinnorientierter, gemeinnütziger privater und staatlicher Organisationen avanciert. Denn auch im Nonprofit-Bereich ist es zunehmend notwendig, die für bestimmte Leistungen eingesetzten Mittel zu legitimieren und die Qualitäten und Wirkungen der angebotenen Dienstleistungen nachzuweisen.
Im Rahmen dieser Qualitätsdebatte wurde seit den 1990er Jahren eine ganze Palette von Qualitätsmanagement- und Evaluationsansätzen entwickelt und zur Anwendung gebracht. Die Anzahl der Publikationen zum Thema hat im Zuge dieser Entwicklung unübersehbare Ausmaße angenommen. Dabei fällt jedoch auf, dass Evaluationsansätze deutlich seltener thematisiert werden.
Das vorliegende Buch von Reinhard Stockmann hebt sich von dieser Masse an Literatur eindeutig dadurch ab, dass es sich intensiv mit einem wirkungsorientierten Evaluationsansatz beschäftigt, diesen darüber hinaus mit den klassischen Qualitätsmanagementansätzen vergleicht und beide Ansätze als komplementär zueinander in Beziehung setzt. Ausgehend von der Erkenntnis, dass die gängigen QM-Modelle, die im privatwirtschaftlichen Sektor genutzt werden, nicht eins zu eins auf Nonprofit-Organisationen (NPO) übertragbar sind und auch nicht primär Wirkungen im Blick haben, möchte Stockmann mit seiner theoretisch fundierten Evaluationskonzeption einen Beitrag zur Qualitätsentwicklung insbesondere für NPO leisten.
In der Einleitung stellt der Autor die Hintergründe und Entwicklungen der Qualitätsdiskussion sowohl im Profi t- als auch im Nonprofit-Sektor dar und skizziert überblicksartig die Inhalte der einzelnen Kapitel.
Im zweiten Kapitel führt Stockmann nach einer kritischen Diskussion des Qualitätsbegriffs in die Konzepte des Qualitätsmanagement (QM) und der Evaluation ein. Stockmann greift zunächst die am weitesten verbreiteten Modelle für den Profit-Sektor DIN EN ISO 9000ff. und EFQM heraus. Beide Ansätze werden verglichen und bewertet und die wesentlichen Unterschiede herausgearbeitet. Seit sich Nonprofi t-Organisationen nun ebenfalls für QM-Modelle interessieren, wurde versucht, die bestehenden Modelle auf den Nonprofit-Sektor zu übertragen. Nonprofit und Profit-Sektor weisen jedoch erhebliche Unterschiede auf, die sich direkt auf das Qualitätsverständnis und entsprechend auf das Qualitätsmanagement auswirken.
Der Verfasser vertieft diese Zusammenhänge und beleuchtet zunächst detailliert den Nonprofi t-Sektor in seiner Vielfalt, um im nächsten Schritt die zentralen Unterschiede zwischen Nonprofit- Organisationen und privatwirtschaftlich organisierten Unternehmen herauszuarbeiten. Demnach unterscheiden sie sich insbesondere durch die fehlende bzw. vorhandene Gewinnorientierung voneinander. Weitere wichtige Unterscheidungsmerkmale sind die Ausprägung der Wettbewerbsorientierung und die Tatsache, dass entweder Produkte oder Dienstleistungen erbracht werden. "Diese Unterschiede gilt es bei der Entwicklung von Qualitätsmanagementkonzepten und Instrumenten zur Qualitätsentwicklung zu beachten" (61) fordert Stockmann in der Konsequenz.
Damit leitet der Autor in den zweiten Teil des Kapitels über und führt fundiert in das Evaluationsthema ein. Nicht nur Aufgaben und Ziele sowie zentrale Paradigmen und Dimensionen von Evaluationen werden umfassend dargestellt, sondern Stockmann grenzt darüber hinaus weitere Begriffe und Konzepte wie Monitoring und Controlling in verständlicher Form voneinander ab. Schließlich wird der Evaluationsansatz dem zuvor diskutierten TQM-Modell gegenüber gestellt und Gemeinsamkeiten und Unterschiede identifiziert, was zu einem vertieften Verständnis der Evaluationskonzeption und ihrer Potentiale für die Qualitätssicherung beiträgt.
Im nächsten Kapitel steht die theoretische Konzeption der Evaluation im Mittelpunkt. Kern des Evaluationskonzeptes ist die Orientierung an erzielten Wirkungen als entscheidendem Qualitätsmerkmal. Entsprechend definiert Stockmann Wirkungen als "Veränderungen, die Folgen von Leistungen sind" (102) und thematisiert umfassend die unterschiedlichen Dimensionen von Wirkungen. Im Unterschied zum schmalen, ausschließlich auf den Kunden fokussierten Untersuchungsfeld bei den herkömmlichen TQM-Ansätzen, ist für Stockmann ein breites Untersuchungsfeld, welches auch nicht intendierte und andere z.B. gesellschaftspolitische Wirkungen mit berücksichtigt, insbesondere im Nonprofit-Sektor zwingend notwendig.
Um sich dem anspruchsvollen Ziel der Erfassung von Wirkungen und ihrer kausalen Ursachenzuschreibung anzunähern, basiert Stockmanns Evaluationskonzeption auf der überzeugend hergeleiteten Kombination dreier theoretischer Ansätze. Die Ausführungen zum Lebensverlaufmodell, zur Innovations- und Diffusionsforschung und zur organisationstheoretischen Konzeption, die Organisationen als offene, soziale Systeme sowie als Instrument zur Erreichung von Zielen begreift, beleuchten Wirkungen "ganzheitlich" aus drei zentralen Perspektiven. So sehr dem Leser mit dieser Fülle von Ansätzen - die zum Teil nur kurz skizziert werden - einiges an Durchhaltevermögen abverlangt wird, so wichtig sind diese theoretischen Grundlagen für das Verständnis des hier präsentierten Evaluationsmodells.
Die theoretische Herangehensweise überzeugt besonders durch die Einbeziehung des Nachhaltigkeitskonzeptes bzw. die Zusammenführung der drei Ansätze zu einer multidimensionalen Nachhaltigkeitskonzeption.
Auf dieser Grundlage entwickelt Stockmann einen Evaluationsleitfaden und leitet die dafür relevanten Bewertungsbereiche und -kriterien ab. Abschließend werden diese Evaluationskriterien mit den Qualitätskriterien der Qualitätsmanagementsysteme verglichen und diese schließlich miteinander verknüpft. Hier wird deutlich, wie Qualität und deren unterschiedliche Ausprägungen mit Hilfe des von Stockmann entwickelten Evaluationsansatzes theoretisch erfasst und bewertet werden können.
Das vierte Kapitel widmet sich nun der Praxis und geht auf Methodik und Anwendung von Evaluation ein. Mit Detailkenntnis und basierend auf einem großen Erfahrungsschatz aus verschiedenen Arbeitsbereichen behandelt Stockmann sämtliche Aspekte, die bei der Planung und Durchführung einer wirkungsorientierten Evaluation von Bedeutung sind. Verschiedene Untersuchungsdesigns und Erhebungsmethoden, Bewertungsverfahren und die Entwicklung von Indikatoren werden ebenso dargestellt wie der soziale Kontext von Evaluationen, zentrale Evaluationsstandards, die Rolle der Evaluatoren und die Bedeutung von Partizipation für den Evaluationsansatz.
Anhand eines Musterleitfadens wird ausführlich und immer in Bezug auf die vorherigen Kapitel dargelegt, wie der theoretisch hergeleitete Evaluationsleitfaden in die Praxis umgesetzt werden kann. Zur Absicherung der empirischen Befunde ist es wichtig, dass quantitative und qualitative Methoden der Datenerhebung miteinander kombiniert werden. Die fünf inhaltlichen Bewertungsbereiche einer Evaluation werden auf der Basis des Musterleitfadens und seiner klaren Struktur umfassend erläutert und mit Kriterien und Fragestellungen unterlegt. Mit Blick auf die Qualität der zu erhebenden Daten sowie die Sicherstellung der späteren Nutzung der Evaluierungsergebnisse empfiehlt Stockmann, den Evaluationsprozess partizipativ zu organisieren und die Interessen der Stakeholder entsprechend zu berücksichtigen.
Für EvaluatorInnen, aber auch für alle an Evaluation Interessierte lohnt sich allein schon wegen dieses Kapitels die Lektüre des Buches: Auf etwas mehr als einen Blick erhalten die LeserInnen einen kenntnisreichen Ein- und Überblick zu den wesentlichen Aspekten einer an Wirkungen orientierten Evaluation.
Gleichwohl muss kritisch angemerkt werden, dass dieses Kapitel, auch wenn es die praktische Umsetzung der theoriebasierten Konzeption beschreibt, letztlich theoretisch bleibt. Der hier vorgestellte ideale Evaluationsleitfaden ist nur unter Idealbedingungen umsetzbar, die jedoch in der Realität leider nur allzu selten vorkommen. In der Regel sind einem Evaluationsauftrag im Nonprofit-Sektor mangels ausreichender zeitlicher, personeller und finanzieller Ressourcen enge Grenzen gesetzt, so dass eine derart umfassend konzipierte Evaluation oftmals nicht durchführbar sein wird. Leider geht der Autor auf diese realen Gegebenheiten und die daraus resultierenden Probleme für die Wirkungserfassung und deren kausale Ursachenzuschreibung nicht ein. So wird es in der Praxis darauf ankommen, sich auch mit weniger zu begnügen und aus der Fülle der theoretischen Zugänge, Perspektiven und Bewertungskriterien die für das jeweilige Evaluationsvorhaben relevanten Aspekte auszuwählen, natürlich mit dem Ziel, dem Ideal möglichst nahe zu kommen.
Im letzten Kapitel schließlich erläutert der Autor anhand von Erfahrungen, die im Laufe der letzten 15 Jahre mit diesem Evaluationskonzept in verschiedensten Projekten gemacht wurden, den "Werdegang" des hier präsentierten Ansatzes. Darüber hinaus bietet er eine ausführliche Zusammenfassung, in der die wesentlichen Punkte des Evaluationskonzeptes mit Blick auf Qualitätsmanagement und die Besonderheiten des Nonprofit-Sektors noch einmal betont werden.
Was das Buch so spannend macht, sind aus meiner Sicht zwei Dinge: 1. der Umstand, dass Reinhard Stockmann mit diesem Buch einen bereits erprobten, wirkungsorientierten Evaluationsansatz in Beziehung zu gängigen Qualitätsmanagementinstrumenten setzt. Damit erweitert er die QM-Diskussion fundiert um die wesentliche Kategorie "Wirkungen" und liefert einen neuen, nicht nur für den Nonprofit-Bereich geeigneten Ansatz zur Qualitätsentwicklung.
2. die Tatsache, dass das Buch aufgrund seiner Inhalte aus der Evaluationsforschung ein Stück angewandte Sozialwissenschaft repräsentiert und damit an der Schnittstelle von Theorie und Praxis angesiedelt ist. Auch wenn das Verhältnis zwischen beiden sich etwas mehr in Richtung Theorie neigt, so haben doch die Praxis und damit auch der Nutzen des Evaluationsansatzes wie auch der Nutzen des vorliegenden Buches einen großen Stellenwert für Stockmann: Die Ausführungen sind wissenschaftlich fundiert in einer verständlichen Sprache formuliert, Sachverhalte werden durch eine Vielzahl von Beispielen aus der Sozialarbeit, der Verwaltung, der Entwicklungszusammenarbeit, dem Hochschul- und dem Gesundheitsbereich illustriert und zentrale Zusammenhänge werden grafisch ansprechend präsentiert. Anwendung und Methodik der Evaluation stehen eindeutig im Vordergrund. So werden den LeserInnen sogar zwei interessante Beispiele für Evaluationsleitfäden aus der Praxis im Anhang zur Verfügung gestellt. Die Quellenhinweise sind zudem so zahlreich und die Literaturliste ist derart umfangreich, dass sie die vertiefende Lektüre zu so gut wie allen Details der Ausführungen möglich machen.
Insofern ist dieses Buch gleichermaßen für Studierende, für PraktikerInnen, für Lehrende und Forschende aus verschiedensten Arbeitsbereichen nicht nur des Nonprofit-Sektors geeignet. Auch für an der Qualitätsdiskussion Interessierte des Profi t-Sektors bietet dieses Buch eine Fülle von nützlichen Hinweisen und Anregungen, da das theoretische Fundament der vorgestellten Evaluationskonzeption sektorübergreifend nutzbar ist.
Maria Lehmann