Evaluation

Begriffsbestimmung

Der Begriff Evaluation bedeutet „Bewertung“, „Beurteilung“ (aus dem lateinischen valere = „stark“ oder „wert sein“). Nach diesem allgemeinen Verständnis ist Evaluation Bestandteil unseres alltäglichen Handelns, indem dessen Ergebnisse bewertet oder beurteilt werden. Im wissenschaftlichen Sinn ist Evaluation eine Untersuchung, mit der relevante Informationen in einem definierten Kontext systematisch dokumentiert und unter Anwendung von Methoden der Sozialforschung kriteriengeleitet und nachvollziehbar bewertet werden. Ziel der Evaluation ist die Bereitstellung und Interpretation von Daten, mit deren Hilfe entschieden werden kann, ob der Evaluationsgegenstand auf dem vorgesehenen Weg (Verlaufskontrolle) seinen Zweck (Erfolgskontrolle) erfüllt.

Evaluationsgegenstand

Gegenstand einer Evaluation können Strukturen, Prozesse oder Ergebnisse von zielorientierten Aktivitäten sein sowie deren Planung/Konzept und verschiedene Kontextbedingungen. Eine umfassende (komplexe) Evaluation erstreckt sich in der Regel auf mehrere Bereiche bzw. Komponenten, die in einer beschreibbaren Beziehung zueinander stehen oder auch zeitlich aufeinander folgen können.

Im Bereich der Prävention und Gesundheitsförderung können verschiedene Typen von Interventionen (Projekte, Maßnahmen, Programme, Kampagnen etc.) Gegenstand einer Evaluation sein. Damit verbundene Ziele sind Erkenntnisgewinn, Reflexion und Legitimation einer gewählten Vorgehensweise, insbesondere durch Transparenz, Nachvollziehbarkeit und Qualitätssicherung.

Im Fall noch unzureichender oder fehlender Evidenz zu einem Sachverhalt trägt Evaluation zur Evidenzbasierung bzw. -generierung (Evidenzbasierte Prävention und Gesundheitsförderung 1: Verständnis) bei. Idealerweise fließen die Erkenntnisse der Evaluation in die Planung weiterer bzw. in die Verbesserung bereits erprobter Aktivitäten ein, so dass ein Kreislauf der ständigen Optimierung entsteht (Public Health Action Cycle/Gesundheitspolitischer Aktionszyklus; Qualitätssicherung, Qualitätsentwicklung, Qualitätsmanagement).

Die fortlaufende Generierung und Dokumentation von Prozessinformationen im Rahmen einer Evaluation ermöglicht den Durchführenden der Intervention zudem die Bewertung wichtiger Verlaufsparameter und damit die Steuerung der Intervention, indem relevante Parameter ggf. nachjustiert werden können. Damit ist Evaluation ein substanzieller Bestandteil jeder gesundheitsbezogenen Intervention und sollte von Beginn an eingeplant werden.

Typische Fragen sind:

• Sind die verfügbaren strukturellen Ressourcen zur Durchführung einer Intervention geeignet?
• Sind Planung und Zeithorizont realistisch?
• Läuft die Durchführung planmäßig, oder gibt es Schwachstellen respektive unvorhergesehene Ereignisse?
• Entsprechen die Ergebnisse den zuvor definierten Zielen?
• Sind die Ergebnisse (Nutzen) in Bezug auf die eingesetzten Ressourcen (Kosten) effizient?

Es lassen sich verschiedene Formen der Evaluation im Bereich Prävention und Gesundheitsförderung unterscheiden.

Planungs-, Konzept- oder Strategieevaluation (Assessment-Evaluation)

Zu Beginn einer geplanten gesundheitsbezogenen Intervention sollte eine Analyse und Bewertung der Ausgangssituation stehen (u. a. Epidemiologie eines Gesundheitsproblems, Bedarfe und Bedürfnisse hinsichtlich der Lösung des Problems, vorhandene Ressourcen, Verfügbarkeit von Theorien und adäquaten theoretischen Modellen, Verfügbarkeit wissenschaftlicher Evidenz bzw. Umsetzungserfahrungen als „best practice“ [Good Practice/Best Practice in der Gesundheitsförderung]).

Eine substanzielle Grundlage der Evaluation ist in der Planungsphase der Intervention die Erstellung eines Interventionskonzepts (auch Interventionsplan, -modell oder -theorie genannt). In diesem wird dokumentiert, auf welche Weise was, bei wem, von wem, bis wann, unter welchen Voraussetzungen und mit welchen Mitteln erreicht werden soll (u. a. Definition von Zielen und ggf. Zwischenzielen).

Weiterhin ist für die Evaluation zu dokumentieren, welche Kriterien zur Überprüfung der Zielerreichung herangezogen werden sollen (Indikatoren, Operationalisierung), und mit welchen Methoden dies geprüft werden kann (Evaluationsdesign).

Hypothesen zu angenommenen Wirkungszusammenhängen und deren Auswirkungen auf mögliche Ergebnisse sowie auf die einzelnen Phasen der Intervention lassen sich am besten in einem „logischen Modell“ bzw. in einem „Programmbaum“ veranschaulichen.

Damit werden in der Phase der Planung alle notwendigen Elemente einer Evaluation der Intervention festgelegt. Zudem wird geprüft, ob die getroffenen Annahmen realistisch hinsichtlich der Zielerreichung sind. Eine besondere Herausforderung im Feld der Prävention und Gesundheitsförderung und hier insbesondere bei komplexen Interventionen ist es, nachzuweisen, dass die gemessenen Effekte auf die Intervention zurückgeführt werden können und welche Bestandteile der Intervention welche (Teil-)Effekte hervorgerufen haben.

Die Evaluation von Interventionen in Settings wie Kindertagesstätten (Gesundheitsförderung in Einrichtungen der Kinder- und Jugendhilfe), Schulen (Gesundheitsförderung und Schule), Kommunen (Kommunale Gesundheitsförderung) etc. (Settingansatz/Lebensweltansatz) oder für bestimmte Zielgruppen wie Kinder, ältere Menschen, Lehrkräfte etc. (Zielgruppen, Multiplikatorinnen und Multiplikatoren) erfordert besondere Herangehensweisen und Abstimmungsprozesse. Bei diesen in der Regel komplexen Interventionen sind regionalen oder lokalen Spezifitäten Rechnung zu tragen und partizipative Forschungsansätze sinnvoll (Partizipative Gesundheitsforschung).

Prozessevaluation (Formative Evaluation)

Prozessevaluation schafft die Möglichkeit gestaltend (formativ) in den Ablauf einer Intervention einzugreifen und damit diese zu steuern. Zum einen kann die Durchführungsgüte überprüft werden, d. h., es wird untersucht, ob der tatsächliche auch dem geplanten Verlauf der Intervention entspricht (Programmtreue). Zum anderen kann geprüft werden, ob die Intervention die Zielgruppe erreicht und von der Zielgruppe akzeptiert wird (Programmreichweite und -akzeptanz).

Im Fall von Abweichungen ist zu klären, worauf diese zurückzuführen sind, ob sie beispielsweise die Durchführungsgüte mindern – und damit unter Umständen auch die Wirksamkeit einer Intervention – und welche Anpassungsmaßnahmen ggf. zu treffen sind. Wichtig ist zudem, mögliche nicht intendierte oder unerwartete Effekte einer Intervention zu dokumentieren und zu bewerten. Prozessevaluation sollte kontinuierlich während der gesamten Durchführungsphase einer Intervention stattfinden, denn sie dient der Optimierung des Interventionsprozesses.

Bei komplexen Interventionen kann durch Evaluation untersucht werden, ob die einzelnen Interventionskomponenten wie geplant in die gleiche Richtung wirken und so gemeinsam einen Beitrag zur Zielerreichung der Gesamtintervention ermöglichen. Ansonsten kann der intendierte Gesamterfolg geschmälert werden. Dabei sollte die Evaluation wesentliche Faktoren für den Erfolg und Misserfolg einzelner Interventionskomponenten identifizieren (z. B.: Wird mit Maßnahme X die vorgesehene Zielgruppe erreicht? Werden die Absichten einer Maßnahme und die Art und Weise ihrer Vermittlung verstanden?).

Dies schafft die Möglichkeit, im Prozess der Durchführung zu entscheiden, ob durch gezielte Veränderungen von Interventionskomponenten die Zielerreichung sichergestellt werden kann oder auch, ob auf einzelne Komponenten verzichtet werden sollte.

Ergebnisevaluation (Summative Evaluation)

Die Evaluation der Wirksamkeit einer Intervention bzw. ihrer einzelnen Komponenten leitet sich aus der im Interventionskonzept dokumentierten Definition von Zielen und möglichen Zwischenzielen ab. Sie bezieht sich in erster Linie auf die kurz-, mittel- oder langfristigen Wirkungen, die auf die Intervention zurückführbar sind (Outcomes, Impact).

Im Bereich Prävention und Gesundheitsförderung lassen sich gesundheitsbezogene Effekte auf der individuellen Wissens-, Einstellungs- und Verhaltensebene sowie der strukturellen Ebene unterscheiden. Von besonderem Interesse ist dabei oftmals die Nachhaltigkeit einer Intervention und das Auftreten von Wirkungen, die über die ursprünglich intendierten Ziele hinausgehen oder andauern (z. B. die Entwicklung von Kooperationsnetzwerken).

Berücksichtigt werden sollten auch nicht-intendierte Effekte bzw. unerwartete Effekte, die im Interventionskonzept nicht dokumentiert sind. Ein wichtiger Output von Evaluation ist die Aufbereitung von Ergebnissen und Erfahrungen für die (Fach-) Öffentlichkeit (Transfer von Lernerfahrungen) und für Stakeholder bzw. die Politik (Entscheidungshilfe).

Methodische Aspekte der Evaluation in der Prävention und Gesundheitsförderung

Die bei einer Evaluation vorgesehenen methodischen Verfahren sind im Evaluationskonzept – im Sinne eines Evaluationsdesigns – zu dokumentieren. Hierzu zählen zum einen die Auswahl eines dem Evaluationsgegenstand angemessenen Erhebungsverfahrens, z. B. ein RCT (Randomised Controlled Trial), eine prospektive Beobachtungsstudie und/oder eine Fallkontrollstudie. Im Bereich der Prävention und Gesundheitsförderung sind kontrollierte Designs allerdings häufig nicht umsetzbar, z. B. aufgrund fehlender Kontrollgruppenmöglichkeiten, langer Wirkungszeiträume oder ethischer Aspekte. Hier können z. B. (quasi- ) experimentelle Designs entwickelt und/oder angewendet werden.

Komplexe Interventionen umfassen verschiedene Komponenten (z. B. Zielgruppen, Settings, Maßnahmen, Strategien, Kommunikationskanäle), die im Evaluationsdesign entsprechend zu berücksichtigen sind. Außerdem sollten geeignete quantitative und/oder qualitative Methoden der empirischen Sozialwissenschaften angewendet werden. Letztere sind insbesondere bei der Planungs- und der Prozessevaluation von Bedeutung (z. B. Fokusgruppen zur Diskussion von Problemen und deren möglichen Lösungen).

Für eine umfassende Bewertung des Evaluationsgegenstands können eine multiperspektivische Betrachtungsweise des Gegenstands (Triangulation) und/oder die Kombination von verschiedenen Methoden (Mixed Methods) hilfreich sein.

Varianten der Evaluation

In Abhängigkeit insbesondere von den materiellen und personellen Ressourcen, den Fragestellungen, dem erwarteten Nutzen und den Evaluationsverantwortlichen kann die Durchführung einer Evaluation variieren. Es muss versucht werden, die jeweils bestmögliche Variante zu finden und diese auf die vorgefundenen Bedingungen zuzuschneiden; die eine „beste“ Untersuchungsart gibt es nicht. Dabei muss für jede Fragestellung geprüft werden, wie man zu den gewünschten Informationen gelangt. Die an der Durchführung der Evaluation Beteiligten sollten bei der Wahl des Evaluationsdesigns einbezogen werden.

Hinsichtlich der Position zur Institution, die die Evaluation durchführt (intern/extern) und zu ihrer fachlichen Expertise (fachvertraut/fachfremd) lassen sich vier Evaluationsvarianten unterscheiden, die zum Teil kombinierbar sind: Die Selbstevaluation (fachvertraut) und die Inhouse-Evaluation (fachfremd) sind Unterformen der internen Evaluation, die Peerevaluation (fachvertraut) und die Fremdevaluation (fachfremd) sind Unterformen der externen Evaluation.

Evaluationsstandards und Checklisten

Um die Güte von Evaluationen zu sichern, hat das „Joint Committee on Standards for Educational Evaluation“ Standards festgelegt, die nach den Bewertungsdimensionen Nützlichkeit, Durchführbarkeit, Fairness und Genauigkeit untergliedert sind (Sanders, 2013). Die Deutsche Gesellschaft für Evaluation (DeGEval) hat diese Standards für den deutschsprachigen Raum angepasst.

Zudem existieren Checklisten, die den Evaluationsverantwortlichen Kontrollmöglichkeiten an die Hand geben, alle relevanten Aspekte einer Evaluation auch zu berücksichtigen.