Monitoring und Evaluation

Evaluation meint im Präventionskontext die „systematische, empirische Analyse von Konzepten, Bedingungen, Prozessen und Wirkungen zielgerichteter Aktivitäten zum Zwecke ihrer Bewertung und Modifikation” (Spektrum Lexikon der Psychologie, Eintrag „Evaluation”).

Evaluationen können im gesamten Verlauf einer Intervention durchgeführt werden: von Planung und Konzeption über die Umsetzung bis in deren Nachgang. Alle Phasen präventiver Interventionen sollten evaluiert werden, weil sich daraus belastbare Hinweise ergeben, was zu verbessern ist und ob die Intervention weitergeführt werden sollte.

In diesem Kapitel erfahren Sie mehr über die Grundlagen von Evaluationen, ihre Zwecke, Studiendesigns, Vorgehensweisen und Methoden. Ziel ist dabei nicht, Ihnen die Fähigkeiten zu vermitteln, die Sie für die Konzeption und Durchführung eines wissenschaftlichen Evaluations- oder Forschungsprojekts benötigen. Stattdessen sollen Sie mit einigen der wichtigsten Evaluationskonzepte vertraut werden. Auf diese Weise können Sie Artikel und Berichte aus der Präventionsforschung besser verstehen und einordnen. Darüber hinaus hilft das Kapitel bei der Frage, ob und wie bereits etablierte Maßnahmen evaluiert werden sollten.

Es gibt mehrere belastbare Forschungsdesigns, die in Evaluationsstudien eingesetzt werden. Wir sehen uns Definitionen sowie Vor- und Nachteile der bekanntesten dieser Ansätze an: das klassische experimentelle Design (randomisierte kontrollierte Studie, RCT), das unterbrochene Zeitreihen-Design und die Vorher-Nachher-Messung ohne Kontrollgruppe (siehe „Beispiele für typische Evaluationsdesigns” weiter unten).

Darüber hinaus gehen wir kurz auf weitere Aspekte des Evaluationsdesigns ein, etwa die Auswahl und Größe der Stichprobe oder geeignete Methoden zur Messung relevanter Ergebnisse. Dabei ist zwischen quantitativen und qualitativen Untersuchungen zu unterscheiden. Quantitative Messinstrumente erfassen vorwiegend objektive Kennzahlen, während qualitative Instrumente subjektive Aspekte erheben, also den Fragen nach dem „Warum?” und der Bedeutung von Sachverhalten nachgehen. Abschließend befassen wir uns mit Methoden der Datenerhebung und Datenanalyse, einschließlich grundlegender Statistik, um einen Überblick über deren Bedeutung für die Berichterstattung und Aussagekraft der Ergebnisse zu geben.

Für Interessierte sei auf eine Reihe weiterführender Ressourcen hingewiesen. Im deutschsprachigen Raum sind die Standards der Deutschen Gesellschaft für Evaluation (DeGEval-Standards) zu empfehlen. Wer sich für die konkrete Anwendung auf Präventionsthemen wie psychoaktive Substanzen interessiert, kann sich am Präventions- und Evaluationsressourcenpaket (PERK) der EBDD sowie deren Leitlinien für die Entwicklung und Evaluation von Suchtpräventionsmaßnahmen orientieren. Internationale Standards für die Evaluation mit Schwerpunkt Prävention hat auch die Society for Prevention Research veröffentlicht. Der RE-AIM-Rahmen (Reach, Effectiveness, Adoption, Implementation, and Maintenance) schließlich bietet einen Evaluationsansatz, der die Beurteilung von Maßnahmen über die Wirksamkeit hinaus auf mehrere Kriterien ausdehnt, um Aspekte wie die Übertragbarkeit in die Praxis besser zu erfassen. Für einen allgemeinen Überblick führen diese Beispiele jedoch zu weit; im Folgenden legen wir Ihnen die wichtigsten Konzepte dar.

Evaluation und Forschung

Studien über menschliches Verhalten umfassen eine Vielzahl von Forschungsfragen und -ansätzen. Im Kontext der Ätiologie sind biologische, psychologische und soziale Aspekte gleichermaßen relevant, um die Entstehung von Problemverhalten zu erklären. Forschung ist definiert als „eine systematische Untersuchung (…), um verallgemeinerbares Wissen zu entwickeln oder zu diesem beizutragen”. Evaluation ist eine Form der Forschung und dient als systematische und strukturierte Methode zur Bewertung der kurz- und langfristig angestrebten Ergebnisse einer Präventionsmaßnahme sowie jener Faktoren, die mit diesen Ergebnissen zusammenhängen.

Die Durchführung einer Evaluation erfüllt eine Reihe von Zwecken:

• Zielgruppe. Klärung der Zielgruppe der Intervention und möglicher beteiligter Akteure, um Forschungsfrage und Evaluationsgegenstand zu schärfen. Welche Erkenntnisse sind für sie von Interesse?
• Wirkungen. Hat die Intervention die angestrebten Ergebnisse erzielt und waren diese signifikant, also den Interventionseffekten zuschreibbar?
• Unbeabsichtigte Folgen. Hatte die Intervention unbeabsichtigte Folgen? Es ist eine zentrale ethische Anforderung, sicherzustellen, dass Präventionsmaßnahmen den Teilnehmenden keinen Schaden zufügen.
• Reichweite. Hatte die Intervention denselben Einfluss auf alle Teilnehmenden oder nur auf bestimmte Gruppen? Waren die Ergebnisse beispielsweise für Jungen und Mädchen vergleichbar?
• Kosten. Inwieweit überwiegt der Nutzen der Intervention die Kosten?
• Vergleich. War diese Intervention – gemessen an den Ergebnissen und unter Berücksichtigung der Kosten – wirksamer als eine andere (Kosten-Nutzen-Verhältnis)?

Evaluationen können über den gesamten Interventionszyklus hinweg durchgeführt werden, von der Planungsphase und der frühen Entwicklung bis zur Umsetzung, Reflexion und Bewertung der Wirkungen (Abbildung 13). Daran wird deutlich, dass Evaluation von Beginn an mitzudenken ist und nicht erst am Ende einer Intervention steht.

So würde die Evaluation einer neuen Präventionsmaßnahme zunächst sicherstellen, dass die Komponenten der Intervention – Inhalt, Struktur und Durchführung – mit der beabsichtigten Wirkung verknüpft sind. Verbessern beispielsweise Unterrichtsstunden zur Entscheidungsfindung tatsächlich die Entscheidungsfähigkeiten der Teilnehmenden? Lässt sich die Unterrichtsstunde in 40 Minuten innerhalb einer Schulklasse umsetzen? Wie wirksam sind interaktive Methoden, um eine Unterrichtsstunde zum Thema Entscheidungsfindung zu gestalten? Diese Form von Evaluationen, die als „Efficacy Evaluations”, „Efficacy Studies” oder „Efficacy Trials” (Evaluation der Wirksamkeit unter Idealbedingungen, erklärende Wirksamkeitsstudien) bezeichnet werden, stellt die Frage: Erreicht die Intervention ihre Ziele unter kontrollierten Bedingungen? Eine Evaluation in diesem Stadium kann zu Überarbeitungen und Verbesserungen beitragen, noch bevor die Intervention vollständig umgesetzt wird (Abbildung 14).

Die Evaluation einer ausgereiften präventiven Intervention, die nahe an oder unter „realen” Bedingungen durchgeführt wird, nennt man praktische Wirksamkeitsstudie (effectiveness trial). Die Ergebnisse solcher Studien geben unmittelbar oder innerhalb weniger Monate Aufschluss über kurzfristige Effekte einer Intervention. Eine praktische Wirksamkeitsevaluation kann erwünschte wie unerwünschte Effekte aufdecken und Impulse für Überarbeitung und Weiterentwicklung geben. Langfristige Wirkungen lassen sich durch Nachfolgeuntersuchungen erheben, etwa sechs Monate nach Interventionsende bis zu mehreren Jahren danach.

Am ENDE der Präventionsmaßnahme hilft die Evaluation, Wert und Wirksamkeit der Intervention zu beurteilen, sie ins Verhältnis zum Ressourceneinsatz zu setzen (Effizienz) und Gelerntes für die Zukunft zu dokumentieren. In dieser Phase kann eine Evaluation die Eignung und Nachhaltigkeit der Intervention einschätzen; auch unerwartete Ergebnisse lassen sich hier beurteilen. Die Evaluationsergebnisse stützen und fundieren anstehende Entscheidungs- und Verbesserungsprozesse. Entsprechend wichtig ist es, die Evaluation rechtzeitig zu planen und abzuschließen.

Für Präventionsfachkräfte sind Wirksamkeitsstudien unter „realen” Bedingungen von vorrangigem Interesse. Zum einen findet Prävention selten in einem abgeschlossenen System statt; zum anderen liefern solche Studien Daten zu den Ergebnissen der Intervention und ermöglichen einen Abgleich mit den zuvor formulierten Zielen. Eine geeignete Berichterstattung soll die wesentlichen Ergebnisse zusammenfassen und offen zur Verfügung stellen.

Evaluationssysteme und Forschungsdesigns

Die allgemeine Absicht einer Evaluation besteht darin, nicht nur zu verstehen, was während der Intervention getan wurde (Prozessprüfung), sondern auch festzustellen, ob die Intervention das erreicht hat, was sie erreichen sollte (Ergebnisprüfung). Evaluationen sollen dabei grundsätzlich nützlich, durchführbar, fair und präzise sein. Sie beziehen sich auf Fragen wie:

• Hat die präventive Intervention oder Strategie ihr kurzfristiges Ziel erreicht? Sind die Problemlösefähigkeiten bei Kindern gestiegen? Sind die Risikowahrnehmungen der Kinder realistisch und angemessen? Nutzen Eltern angemessene Kontrollmöglichkeiten? Reagieren Mütter einfühlsam auf die Bedürfnisse ihrer Neugeborenen?
• Hat die Intervention oder Strategie die beabsichtigten Wirkungen auf die Zielgruppe? Gab es unterschiedliche Reaktionen aus Untergruppen – Geschlecht, Herkunft, Substanzgebrauch oder sozioökonomischer Status?
• Welche Merkmale der Intervention oder Strategie stehen in Verbindung mit den erzielten Ergebnissen? Lag es an veränderten Einstellungen und Überzeugungen? War es eine Kombination aus veränderten Einstellungen und Kompetenzen?
• Inwieweit war die Umsetzungsgenauigkeit mit positiven oder negativen Ergebnissen verknüpft?

Bevor Sie eine Evaluation durchführen, müssen Sie Folgendes klären:

• Was sind die Forschungsfragen? Was sind Zweck und Nutzen der Evaluation? Was soll nachgewiesen werden? Inwiefern ist die Motivation der fördernden Stelle zu berücksichtigen? Welche Informationsbedürfnisse haben die Zielgruppe und die beteiligten Akteure?
• Was soll evaluiert werden? Was sind die Ergebnisse?
• Wer ist an den Evaluationsergebnissen interessiert und warum? Sind die Befunde für eine Landes- oder Regionalregierung relevant? Besteht Interesse, das Programm im Rest der Region oder sogar landesweit zu wiederholen?
• Wie ist die Evaluation durchführbar? Welcher Zeitrahmen ist vorgesehen und ist er realistisch? Interessieren Sie sich beispielsweise für den Substanzgebrauch als Ergebnis einer schulbasierten Intervention bei 12-Jährigen, wissen aber, dass das übliche Einstiegsalter bei 16 Jahren liegt, müsste eine Evaluation diese Kinder über vier bis fünf Jahre begleiten, um zu prüfen, ob das gewünschte Ergebnis (Verhinderung oder Reduzierung des Einstiegs) erreicht wird. Zu überlegen ist auch, ob Sie mit den Teilnehmenden über einen so langen Zeitraum in Kontakt bleiben können, um Daten fortlaufend zu erheben. Wenn Ihre Teilnehmergruppe bis zum geplanten Messzeitpunkt die Schule verlassen hat: Wie werden Sie diese Personen erreichen, um die Evaluation fortzuführen?
• Wie werden die Ergebnisse zusammengefasst und berichtet? Wer erhält Zugang zu diesen Ergebnissen? In welchem Zeitrahmen erfolgt die Berichterstattung? Welche Art von Informationen und welche Detailtiefe werden an Teilnehmende und weitere Adressatinnen und Adressaten zurückgespiegelt? Wie stellen Sie sicher, dass die Evaluationsergebnisse nicht zum Nachteil einzelner Teilnehmender verwendet werden?
• Welche Ressourcen stehen für die Evaluation zur Verfügung? Welches Evaluationsverfahren ist für den Zweck angemessen? Welches Maß an Erfahrung und Fachwissen ist verfügbar? Wie hoch sind die Kosten und wie viel Zeit beansprucht die Evaluation?

Eine Evaluation sollte als integriertes System betrachtet werden, das zwei Hauptkomponenten umfasst:

Prozessevaluation (Monitoring) und Ergebnisevaluation

Der Zweck einer Prozessevaluation besteht darin, den Prozess zu beschreiben, durch den eine Intervention oder Strategie umgesetzt wird. Sie konzentriert sich auf Inputs und Outputs der Intervention und erfasst deren „Dosierung”, Umsetzungsgenauigkeit und Fähigkeit, Veränderungen herbeizuführen. Vor allem bildet die Prozessevaluation eine Form des Monitorings, um sicherzustellen, dass die Intervention oder Strategie wie beabsichtigt umgesetzt wird – nicht nur gemäß Manual oder Leitlinien, sondern auch im Einklang mit dem strategischen Präventionsplan. Als Monitoringansatz ist die Prozessevaluation ein zentrales Steuerungsinstrument, das jede Anbieterin und jeder Anbieter nutzen kann.

Eine Prozessevaluation oder ein Monitoring stellt Fragen wie:

• Was haben wir getan?
• Wie viel haben wir getan?
• Wer hat teilgenommen?
• Wer hat die Komponenten der Intervention oder Strategie umgesetzt?
• Wurde die Intervention oder Strategie wie vorgesehen umgesetzt? Wenn ja, warum? Wenn nein, warum nicht?

Der Zweck der Ergebnisevaluation besteht darin, zu beschreiben, in welchem Maße sich Wissen, Einstellungen, Verhaltensweisen und Praktiken der teilnehmenden Personen oder Organisationen (häufig als kurz- und mittelfristige Ergebnisse verstanden) im Vergleich zu jenen verändert haben, die keiner Präventionsintervention oder -strategie ausgesetzt waren. Langfristige Ergebnisse beziehen sich auf das angestrebte Endergebnis der Intervention, etwa die Reduktion oder Beendigung von Substanzgebrauch.

Ein umfassendes Monitoring- und Evaluationssystem sollte sowohl Komponenten der Prozess- als auch der Ergebnisevaluation enthalten, um die Inputs und Outputs der Umsetzung ebenso zu dokumentieren wie die kurz-, mittel- und langfristigen Ergebnisse. Zu beachten ist, dass Prozessevaluation beziehungsweise Monitoring auch dann zentral sind, wenn keine Ergebnisevaluation geplant ist: Sie dokumentieren die Durchführung der Präventionsmaßnahme. Für jede neue Präventionsmaßnahme sollte ein Monitoring sichergestellt werden, um festzuhalten, was während der Intervention geschieht, wer erreicht wird und wie viel der Inhalte tatsächlich umgesetzt wurde.

Als Präventionsfachkraft haben Sie eine wichtige Rolle, wenn es darum geht, die Bedeutung der Evaluation zu betonen. Es empfiehlt sich, mit einer Forschungseinrichtung zusammenzuarbeiten, um das Evaluationsdesign gemeinsam zu entwickeln; diese kann zu einem tragfähigen Forschungsaufbau beraten und bei statistischen Verfahren unterstützen. Die Hauptkomponenten des Designs umfassen: Forschungsfragen, Art des benötigten Forschungsdesigns, Zielpopulation, Auswahlkriterien für diese Zielpopulation, Operationalisierung der Evaluationsfragen sowie Methoden der Datenerhebung und Datenanalyse.

Komponenten von Forschungs- oder Evaluationsdesigns

Was ist ein Forschungsdesign? Allgemein beschreibt es einen Leitfaden oder Plan zur Untersuchung einer Forschungsfrage oder Hypothese. Das Design einer Studie wird durch die zu bearbeitenden Forschungsfragen oder Hypothesen definiert. Studientyp, zu untersuchende Population, Stichprobe und weitere Elemente hängen von klar formulierten Forschungsfragen oder Hypothesen ab. Diese müssen wiederum den zu erwartenden Aufwand zur Beantwortung der Forschungsfrage in Relation zu den erwarteten Evaluationsergebnissen berücksichtigen, um ein angemessenes Forschungsdesign zu wählen.

• Forschungsfragen. Der wohl wichtigste Schritt bei der Entwicklung eines Forschungsdesigns ist die Formulierung klarer Forschungsfragen. Als Präventionsfachkraft sind Sie möglicherweise daran interessiert, zu wissen und zu dokumentieren, dass die Präventionsmaßnahme Ihrer Einrichtung tatsächlich die Zielgruppe erreicht und die beabsichtigten Wirkungen erzielt. Darüber hinaus möchten Sie vielleicht prüfen, ob die Intervention mit vergleichbaren Wirkungen auch für andere Zielgruppen einsetzbar ist. Fragen nach Reichweite und Ergebniswirkung leiten somit die Planung einer Evaluation.
• Studientyp. Sobald Einigkeit über die Forschungsfragen besteht, kann die Entscheidung über den Studientyp getroffen werden: deskriptiv, experimentell, quasi-experimentell; Querschnitts-, Längsschnitt- oder Fallstudie.
• Studienpopulation. Wer wird in die Studienpopulation aufgenommen? Welche Altersgruppen? Welches Geschlecht? Wie gestaltet sich die Wohn- und Lebenssituation der Personen? Solche Vorgaben werden Einschlusskriterien genannt. Ebenso interessiert, wer nicht einbezogen wird. Manchmal beschränkt sich die Studie auf Menschen einer bestimmten Bildungsschicht oder auf Personen, die die gestellten Forschungsfragen verstehen können. Diese Vorgaben werden Ausschlusskriterien genannt.
• Auswahlkriterien und Stichprobe. Wie werden die tatsächlichen Studienteilnehmenden ausgewählt, sobald eine Studienpopulation definiert ist? Werden alle Personen einbezogen, die die Einschlusskriterien erfüllen, oder muss eine kleinere Teilgruppe zusammengestellt werden? Diese Teilgruppe heißt Stichprobe. Wichtig ist, dass die Stichprobe für die Gesamtgruppe repräsentativ ist, damit die Ergebnisse verallgemeinerbar sind und nicht nur für die Teilgruppe gelten. Es gibt verschiedene Methoden der Stichprobenziehung, um Repräsentativität zu gewährleisten, etwa die Randomisierung.
• Messinstrumente. Forschungsfragen müssen in Variablen, Konstrukte oder Begriffe übersetzt werden (auch „Attribute” genannt), damit sie messbar werden. So kann das Attribut „Familienstand” im Messinstrument als „verheiratet” bzw. „nicht verheiratet” operationalisiert werden, oder es wird eine detailliertere Klassifikation gewählt. Bei der Auswahl der Messinstrumente sind Gütekriterien wie die Validität zu berücksichtigen: Erfassen die Instrumente tatsächlich das, was mit der Forschungsfrage erhoben werden soll?
• Datenerhebung. Sobald die Messinstrumente feststehen, ist zu entscheiden, wie Daten erhoben werden. Teils liegen Daten bereits in schriftlicher Form vor, etwa in Formularen, die wir selbst ausfüllen, etwa zum Erhalt eines Führerscheins, oder die Dritte für uns ausfüllen, etwa Krankenhauspersonal in der Notaufnahme oder Polizeidienststellen. Zur direkten Erhebung in der Studienpopulation stehen verschiedene Methoden zur Verfügung: Standardformate wie Fragebögen oder Umfragen, die persönlich, telefonisch, postalisch, online oder zunehmend über Smartphone- und Tablet-Anwendungen ausgefüllt werden. Dabei sind Fragen von Anonymität und Vertraulichkeit sowie von Wahrheitsgehalt und Reliabilität sorgfältig abzuwägen.
• Datenanalyse. Schließlich enthält das Forschungsdesign einen Plan zur Analyse der erhobenen Daten. Wie werden die Daten zusammengeführt, um die ursprünglichen Forschungsfragen zu beantworten? Welche Form der statistischen Analyse ist zu wählen?

Arten von Forschungsdesigns

In der Literatur werden viele Arten von Forschungsdesigns beschrieben, aber nur wenige werden auch häufig im Rahmen von Evaluationen von Präventionsmaßnahmen verwendet. Keine ist perfekt, nicht einmal der „Gold Standard” des klassischen experimentellen Versuchsdesigns (z.B. RCTs). Alle haben Vor- und Nachteile. Einige sind in bestimmten Situationen besser anwendbar als andere.

Beispiele für gängige Evaluationsdesigns

Es gibt mehrere aussagekräftige Forschungsdesigns, die eingesetzt werden, um die Wirksamkeit von Präventionsmaßnahmen zu evaluieren. Jedes Design hat seine eigenen Vorteile, aber auch Nachteile.

Das klassische Versuchsdesign wird üblicherweise als randomisierte kontrollierte Studie (RCT) bezeichnet (Abbildung 15). Diese gilt als das gründlichste Forschungsdesign und wird häufig in der klinischen Forschung, aber auch in qualitativ hochwertiger Präventionsforschung eingesetzt. Die Schlüsselelemente dieses Designs sind:

• Geeignete Messinstrumente
• Auswahl einer Kontrollgruppe, die die gleichen Merkmale wie die Interventionsgruppe aufweist
• Randomisierung: Zufällige Einteilung der Teilnehmer zu einer Interventions- und Kontrollgruppe
• Daten, die vor und zu mehreren Zeitpunkten nach der Intervention von der Interventionsgruppe, und zu ähnlichen Zeiträumen von der Kontrollgruppe erhoben wurden
• Klares Verständnis der Exposition durch die Intervention (Qualität und Quantität der Beteiligung an der Intervention)
• Das Einhalten eines ausreichenden und angemessenen Zeitabstandes nach der Teilnahme an einer Intervention für deren Ergebnismessung.

Einige Stärken und Schwächen des RCT sind unter anderem:

• RCTs tragen dazu bei, Ursachen- und Wirkungszusammenhänge zwischen der Durchführung eines Präventionsprogramms und seinen Ergebnissen aufzuzeigen.
• Das Forschungsteam kann eine Intervention gezielt zuweisen oder zurückhalten.
• Die Verringerung einiger Arten von Verzerrungen (Bias) durch zufällige Zuordnung der Teilnehmer zu Interventions- oder Kontrollgruppe.
• Es erfordert oft eine große Stichprobe, die über einen längeren Zeitraum untersucht wird. Es kann daher sehr kostspielig sein und viel Zeit in Anspruch nehmen, Ergebnisse zu erzielen.
• Die Ergebnisse entsprechen möglicherweise nicht den realen Gegebenheiten der täglichen Praxis.
• Es könnten noch einige versteckte Unterschiede zwischen den untersuchten Gruppen geben, die durch den Randomisierungsprozess nicht berücksichtigt wurden.
• Nicht immer werden wichtige Fragen wie „Was funktioniert, für wen und unter welchen Umständen” beantwortet? Um diese Informationen zu erhalten, benötigen Sie andere Arten von Studiendesigns (z.B. qualitative Studien).

Unterbrochenes Zeitreihen-Design

Ein alternatives Design, welches Verwendung findet, wenn es schwierig ist, eine Vergleichs- oder Kontrollgruppe zu generieren, ist das unterbrochene Zeitreihen-Design (Abbildung 16). Im Rahmen dieses Forschungsdesigns werden bis zu 100 Messungen vor und nach der Intervention für die Zielpopulation durchgeführt. Diese Art von Design wurde erfolgreich bei der Untersuchung der Einführung von Verhältnispräventionsmaßnahmen verwendet. So könnte beispielsweise eine Regierung beschließen, eine neue Alkoholsteuer einzuführen. Hier ist es nicht möglich, der Zielgruppe (d.h. der Öffentlichkeit) die Intervention zuzuordnen, jedenfalls nicht wie bei einer RCT, da alle Alkoholprodukte betroffen sind. Das unterbrochene Zeitreihendesign ermöglicht es jedoch, zu untersuchen, was für Entwicklungen sich in Bezug auf die interessierenden Outcomes vor und nach der Einführung der neuen Steuer vollziehen.

Einige Stärken und Schwächen des Unterbrochenen Zeitreihen-Designs sind:

• Es ist relativ einfach durchzuführen, wenn bereits routinemäßig Daten erhoben werden (z.B. Kriminalitäts- oder Krankenhausstatistik).
• Gute Analysen können bereits bestehende und saisonale Trends (z.B. erhöhter Alkoholkonsum während der Schulferien) oder Veränderungen in der breiten Bevölkerung (z.B. ein langfristiger Trend zu vermindertem Alkoholkonsum in der Allgemeinbevölkerung) vor Einführung der Intervention ausschließen.
• Es kann weder erklären noch vollständig ausschließen, dass andere Faktoren, die gleichzeitig mit der Intervention aufgetreten sind, für die Ergebnisse verantwortlich waren.
• Es kann lange dauern, bis genügend Daten für die Durchführung der Analyse vorliegen.
• Die Ergebnisse sind manchmal schwer zu interpretieren, wenn das Ergebnis des Interesses nur selten vor der Umsetzung der Intervention auftrat.

Vorher- und Nachhermessung ohne Kontrollgruppe (One Group Pre- und Post-Test-Design)

Vorher- und Nachhermessungen ohne Kontrollgruppe ist das am häufigsten genutzte Design in der Evaluationsforschung (Abbildung 17). Vor der Präventionsmaßnahme werden Daten von der Zielgruppe erhoben, die Zielgruppe erhält die Intervention und im Anschluss daran werden die gleichen Daten wie vor der Intervention nochmals erhoben. Die Datenerhebung nach der Intervention kann über einen Zeitraum von unmittelbar nach der Intervention bis zu einem Jahr nach der Intervention erfolgen.

Einige Stärken und Schwächen von Vorher- und Nachhermessungen ohne Kontrollgruppe sind Folgende:

• Sie sind schnell und einfach zu realisieren, kostengünstig und in die Routine einer Institution integrierbar.
• Einfache Instrumente wie z.B. Umfragen, können für die gesamte Datensammlung verwendet werden.
• Sie können beschreiben, was mit einer bestimmten Gruppe passiert, wenn sie eine Intervention erhält.
• Sie können keine Ursachen- und Wirkungszusammenhänge aufzeigen.
• Sie können nur kurzfristige Änderungen anzeigen.
• Sie schließen alternativen Erklärungen für beobachtete Veränderungen nicht aus.

Fragen, die bei der Bewertung von Evaluationsergebnissen zu berücksichtigen sind

Bei der Bewertung der Ergebnisse einer Evaluation und der daraus zu ziehenden Schlussfolgerungen gibt es, unabhängig vom Forschungsdesign, eine Reihe von weiteren Faktoren, die zu bedenken sind. Diese müssen bei der Gestaltung einer Evaluation ebenfalls berücksichtigt werden.

Validität

Bei allen Evaluationen beziehen sich die wichtigsten Bedenken auf die Validität der Ergebnisse. Was bedeutet Validität? Im Falle einer Evaluation bedeutet Validität, dass die gefundenen Effekte der Intervention zuzuschreiben sind. Es gibt zwei Arten von Validität, die berücksichtigt werden müssen:

• Interne Validität: Sind die Befunde wirklich das Ergebnis der Teilnahme an der Intervention oder hängen sie mit anderen Ereignissen zusammen?
• Externe Validität: Sind die Befunde aus der Evaluation einer Präventionsmaßnahme auch auf andere Situationen und andere Populationen übertragbar? Mit anderen Worten, wenn eine Präventionsmaßnahme bei europäischen Kindern wirksam war, ist sie bei Kindern aus Südamerika genauso wirksam?

Diese Themen sind wichtig. Dass eine Intervention für Jugendliche aus der Mittelschicht wirksam ist, bedeutet nicht, dass sie für Jugendliche, die in Armut leben, wirksam sein wird.

Interne Validität

Es gibt eine Reihe von Gefahrenquellen für interne Validität, welche bedacht werden müssen, da sie die Ergebnisse möglicherweise verzerren können und somit nicht den tatsächlichen Effekt der Intervention abbilden

• Laufzeit: Der Einfluss des Zeitablaufs.
• Geschichte: Ein weiterer Aspekt des Zeitablaufs. Was ist vor einer Intervention oder in der Zwischenzeit passiert?
• Stichprobenauswahl: Wenn Evaluationsforscher die Intervention nicht für alle Mitglieder einer Gruppe durchführen können, müssen sie eine kleinere Gruppe oder Studienstichprobe auswählen, welche die größere Gruppe repräsentiert. Das bedeutet, dass die kleinere Gruppe die primären Merkmale der größeren Gruppe widerspiegeln muss, damit die Ergebnisse auf diese übertragen werden kann (Repräsentativität).
• Abbruch (oder Verlust): Der Begriff bezieht sich auf Studienteilnehmer, die die Studie verlassen haben oder für ein Follow-up nicht mehr erreichbar sind.
• Messinstrumente: Es gibt Hinweise darauf, dass Probanden allein durch das Beantworten der Evaluationsfragen Lerneffekte erfahren können.

Externe Validität

Externe Validität bedeutet, dass die Erkenntnisse aus der Evaluation einer Präventionsmaßnahme auf andere Situationen und andere Populationen verallgemeinerbar (oder anwendbar) sind.

• Generalisierbarkeit. Gilt dies für andere Situationen und Bevölkerungsgruppen?
• Übertragbarkeit: Können die Ergebnisse voraussichtlich von anderen Personen repliziert werden, die an der Durchführung der Intervention interessiert sind?
• Intervention, Setting oder Durchführung: Interventionsbedingungen, Tageszeit, Jahr, Standort, Beleuchtung, Lärm.
• Pre-/Post-Test-Effekte. Es gibt bereits einen Lerneffekt, der bei der Durchführung von Pre- oder Post-Tests auftritt.
• Eine weitere Gefahrenquelle ist die sogenannte „Reaktivität gegenüber der Forschung” oder auch „Reaktivität gegenüber der Intervention”. Die Kenntnis der Teilnehmer, dass sie im Rahmen einer Forschungsstudie an einer Intervention teilnehmen, hat Einfluss darauf, wie sie auf die Intervention reagieren (z.B. absichtlich versuchen, „erfolgreich” zu sein oder zu „scheitern”) oder wie sie Forschungsinstrumente, z.B. Fragebögen, beantworten. Zu den dazu verwandten Begriffen gehören Placebo-Effekte (wenn eine Intervention einen positiven Effekt auf die Teilnehmenden hat, nur weil die Empfänger glauben, dass sie das tut), Neuheitseffekte (novelty effects; wenn Menschen dazu neigen, besser auf die anfängliche Einführung einer Intervention zu reagieren, weil sie neu ist und sich von dem unterscheidet, was normalerweise angeboten wird, jedoch nicht weil sie effektiver ist); und Hawthorne-Effekte (wenn Menschen ihr gewohntes Verhalten ändern, weil sie wissen, dass sie Teil einer Forschungsstudie sind oder von Mitarbeitern der Intervention beobachtet werden).

Kontroll- oder Vergleichsgruppe

Was wir bei jeder Evaluation herausfinden wollen, ist, ob ein starker Zusammenhang zwischen der Teilnahme an einer Intervention und dem erwünschten Ergebnis, in unserem Fall Substanzkonsum, besteht. Um sicherzustellen, dass die Intervention tatsächlich die „Ursache” für das Ergebnis ist, muss ausgeschlossen werden, dass andere Faktoren eine Rolle für das Ergebnis spielen. Zu diesen Faktoren gehören die oben genannten, wie z.B. der Reifungsprozess, die Geschichte usw. Wie erreichen wir das? Durch die Untersuchung einer Gruppe von Personen, die die Intervention zwar nicht erhält, aber der Gruppe, die an der Intervention teilgenommen hat, ähnlich ist. Diese Gruppe wird Kontroll- oder Vergleichsgruppe genannt.

Die Kontrollgruppe wird auch „treatment as usual” oder „conditions as usual” genannt. Mit anderen Worten, die Kontrollgruppe repräsentiert, was mit der Interventionsgruppe geschehen würde, wenn sie die Intervention nicht erhalten hätte. „Treatment as usual” kann sich darauf beziehen, dass überhaupt keine oder nur die übliche Behandlung erfolgt. Ein Beispiel dafür ist der Vergleich eines neuen schulischen Präventionsprogramms mit den allgemeinen Gesundheits- und Sozialstunden, die die Schüler normalerweise erhalten. Das ist der Kern eines starken Forschungsdesigns.

Stichprobenziehung und Messtechniken

Wie bereits erwähnt ist eine Stichprobenziehung ein Verfahren, dass es ermöglicht, Erkenntnisse aus der Untersuchung eines Bevölkerungsausschnitts auf die Gesamtbevölkerung zu übertragen (Repräsentativität). Darüber hinaus ist es von ethischer Bedeutung, die Rechte und Sicherheit der Teilnehmer zu schützen und dafür zu sorgen, dass ihnen durch die Teilnahme an der Intervention kein Schaden entsteht.

Die Stichprobenziehung umfasst mehrere Schritte:

• Populationsdefinition und -beschreibung: Was sind die Merkmale der Population? Was ist die geschlechtsspezifische Aufschlüsselung? Wie viele Männer? Wie viele Frauen? Wir möchten vielleicht zudem herausfinden, ob sie in Städten, Vororten oder in ländlichen Gebieten leben.
• Zugang zur Population: Möglicherweise können Sie nicht alle erreichen, daher stellt sich die Frage: Zu welcher Population haben Sie Zugang? Wenn Sie eine bundesweite Umfrage durchführen, ist die Teilnahme limitiert auf Personen, die in Haushalten leben und/oder Computer mit Internetzugang besitzen.
• Einschluss-/Ausschlusskriterien: Definieren Sie, wer innerhalb derselben Population in Ihrer Studie und Ihrer Stichprobe sein wird und wer nicht.
• Wenn wir über Messungen sprechen, diskutieren wir stets die Themen der Reliabilität und Validität. Wie beständig sind wiederholte Messungen im zeitlichen Verlauf? Diese Frage bezieht sich auf Konsistenz oder Reliabilität. Messen wir, was wir messen wollen? Diese Frage trägt der Validität Rechnung. Glücklicherweise hat das Gebiet der Suchtprävention Instrumente zur Beurteilung der Wirksamkeit von Präventionsmaßnahmen entwickelt, die in vielen verschiedenen Situationen und für viele verschiedene Bevölkerungsgruppen angewendet wurden. Die EBDD hat Einzelheiten zu vielen davon in ihrer Datenbank für Evaluationsinstrumente veröffentlicht (https://www.euda.europa.eu/eib).

Wie bereits angemerkt gibt es zwei Arten von Daten: quantitative und qualitative. Für diese beiden Datenarten gibt es viele Definitionen. Nachfolgend finden Sie einige Beispiele.

Quantitative Daten im Allgemeinen:

• stellen Messungen zur Quantität bereit: z.B. „Wie viele Personen im Alter von 12 bis 17 Jahren haben in den letzten 30 Tagen Cannabis/Marihuana/Haschisch konsumiert?” Oder, für diejenigen, die in den letzten 30 Tagen Cannabis konsumiert haben: „Wie oft haben Sie in den letzten 30 Tagen durchschnittlich Cannabis konsumiert?”;
• messen Verhaltensebenen und Trends im Laufe der Zeit;
• sind objektiv, standardisiert und in der Regel leicht zu analysieren. Da sie standardisiert sind, können sie über Gemeinschaften und Gruppen hinweg gesammelt werden.

Qualitative Messungen sind im Allgemeinen:

• subjektiv und befassen sich mit den Fragen „Warum?” und „Was für eine Bedeutung hat ein Phänomen?”
• aufschlussreich in Bezug auf Verhalten, Trends und Wahrnehmungen
• erklärend und hilfreich bei der Interpretation quantitativer Daten („Wie kam es zur Ausprägung eines bestimmten Phänomens?”).

Unabhängig von der Wahl eines quantitativen oder qualitativen Messverfahrens sollen die Daten systematisch erhoben und analysiert werden, um die Forschungsfrage angemessen beantworten zu können.

Datenerhebung, Analyse, Statistik und Berichterstattung

Sobald die Messungen erhoben sind, müssen sie in Daten und eine Form umgewandelt werden, die eine weitere Untersuchung oder Analyse ermöglichen. Die Datenanalyse ermöglicht dem Sachverständigen, die untersuchte Population systematisch zu beschreiben und mit der Beantwortung der Forschungsfragen zu beginnen, welche die Grundlage der Evaluation darstellen. Dieser Prozess der Beschreibung und weiteren Analyse wird durch den Einsatz statistischer Methoden unterstützt.

Deskriptive Statistik: Stellt Werkzeuge bereit, um Daten anhand von statistischen Kennwerten, Diagrammen, Grafiken oder Tabellen zu beschreiben. Dies umfasst insbesondere die Darstellung in Form von Lage- (u.a. Mittelwert, Median, Summe) und Streuungsmaßen (Standardabweichung, Varianz, Spannweite) sowie Häufigkeitstabellen und Diagrammen. Deskriptive Statistik beschreibt eine untersuchte Stichprobe bzw. Population, lässt jedoch keine Schlussfolgerungen im Hinblick auf den zeitlichen Verlauf, Kausalität oder die Gesamtbevölkerung zu. Dies ist Gegenstand der sogenannten Inferenzstatistik

Inferenzstatistik: Diese möchte Aussagen über die Grundgesamtheit (Gesamtbevölkerung) treffen, untersucht zur Erreichung dieses Ziels jedoch nur einen Ausschnitt der Gesamtbevölkerung. In Abhängigkeit der untersuchten Hypothese kommen unterschiedliche mathematische Verfahren zum Einsatz, um eine belastbare Schlussfolgerung im Hinblick auf die Verallgemeinerbarkeit der Ergebnisse zu ziehen. Dies ist insbesondere dann besonders wertvoll, wenn es aus verschiedenen Gründen nicht möglich ist, die gesamte Bevölkerung zu befragen (finanzielle, logistische Gründe). Inferenzstatistik erlaubt es, Aussagen hinsichtlich der Wahrscheinlichkeit und der Verteilung eines bestimmten Problems in der Bevölkerung zu treffen und kausale Zusammenhänge zwischen verschiedenen Variablen aufzuklären (z.B. sozioökonomischer Status und Lebenserwartung). Für die Evaluation von Präventionsprogrammen ist die Inferenzstatistik daher besonders wichtig

Berichterstattung: Die Berichterstattung dokumentiert nachvollziehbar und transparent, das gesamte Evaluationsvorgehen, einschließlich seiner Ziele, Forschungsfragen und seinem -design. Sie spiegelt auch die angewendeten Methoden sowie sämtliche verwendeten Informationsquellen offen wider. Die gefundenen Evaluationsergebnisse werden systematisch und kritisch beleuchtet, um auf mögliche Fehlerquellen und Verzerrungen (Bias), welche Einfluss auf die Ergebnisse genommen haben könnten einzugehen. Eine abschließende Bewertung und Schlussfolgerungen aus den Evaluationsergebnisse sollen dabei immer auf den gefundenen und analysierten Daten und den zuvor formulierten Zielwerten beruhen.

Zusammenarbeit mit einem Evaluationsforscher – das kollaborative Modell

In der traditionellen Herangehensweise ist der externe Evaluationsforscher unabhängig von der Intervention (z.B. einer spezialisierten Universitätsabteilung) und trifft Entscheidungen über alle Aspekte der Evaluation, abgesehen von denen, die das die Intervention durchführende Team betreffen. Die Interaktion zwischen Interventionsteam und Evaluationsteam wird im Allgemeinen auf das Wesentliche beschränkt und minimal gehalten, um Verzerrungen (bias) zu vermeiden. Im Gegensatz dazu wird die kollaborative Evaluation mit dem Input des Interventionsteams entwickelt, und der Evaluationsforscher arbeitet während der gesamten Evaluation mit dem Interventionsteam zusammen.

Der kollaborative Ansatz bezieht beide Parteien mit ein, sodass Interventions- und Evaluationsteam eine Einheit bilden. Im Rahmen des Kooperationsmodells können auch weitere Akteure eingebunden werden. Es ist jedoch wichtig, dass die Rollen, Tätig- und Verantwortlichkeiten definiert sind, andernfalls werden fast zwangsläufig Konflikte und falsche Erwartungen entstehen. Wichtig ist, dass sich das Evaluations- und Interventionsteam regelmäßig austauschen. Tabelle 6 zeigt, wie Rollen von beiden Parteien wahrgenommen werden können, bei gleichzeitiger Einbringung von Expertise. Führende Rollen sind gelb, unterstützende Rollen blau und geteilte Rollen rot markiert.

Externe Evaluationsforscher müssen Dienstleistungen erbringen, die ein gutes Kosten-Nutzen-Verhältnis aufweisen, und über die für die Durchführung einer Evaluation erforderliche Erfahrung und Kompetenz verfügen.

Ergänzend sollten sich externe Evaluationsforscher bezüglich des Einhaltens von Qualitätsstandards und zeitlicher Fristen verpflichten, den Untersuchungsgegenstand verstehen und sich intensiv mit den Entwicklern der Maßnahme und weiteren Akteuren befassen.

Verzeichnisse geprüfter Präventionsprogramme

Meistens müssen wir kein neues Präventionsprogramm entwickeln, sondern stattdessen versuchen, mit bestehenden effektiven Programmen zu arbeiten. Wie finden Sie gewaltpräventive Maßnahmen, die funktionieren? Glücklicherweise gibt es mehrere Register, die evidenzbasierte Interventionen im Bereich der Prävention und Gesundheitsförderung gesammelt haben. Diese Register identifizieren Interventionen mit einer starken empirischen oder evidenzbasierten Grundlage, und die besten Register haben eine durchsuchbare Datenbank, so dass Sie Schlüsselbegriffe eingeben können, die sich sowohl auf die Interventionen als auch auf die Interessen des Suchenden beziehen.

Die Verwendung von Registern kann aber auch Probleme aufwerfen, daher sollte sorgfältig darauf geachtet werden, die dargestellten Interventionen gründlich zu sichten und die Aufnahmekriterien zu prüfen. Möglicherweise verlassen sich die Register auf die von einer Person oder Organisation vorgelegten Evidenzen zur Wirksamkeit. Somit kann es sein, dass die angegeben Evidenzen möglicherweise keine negativen bzw. unwirksamen Evaluationsergebnisse beinhalten. Außerdem könnte es der Fall sein, dass die veröffentlichten Analysen keine neueren Evidenzen, die in der Zwischenzeit verfügbar geworden sind, enthalten. Register variieren auch darin, auf welche Weise sie Evidenzen darstellen. Dennoch sind sie eine wichtige Quelle für Informationen, bezüglich evaluierter Präventionsmaßnahmen, mit einer Beschreibung von deren Inhalt und Durchführung.

Es gibt Register, die für die Auswahl von für Ihre Zielgruppe geeigneten Präventionsmaßnahmen genutzt werden können. Dazu gehören u.a. Xchange, die Grüne Liste Prävention, die Blueprints for Healthy Child Development und der wegweiser prävention.

Xchange ist ein europäisches Register für evidenzbasierte Präventionsprogramme im Kontext Drogen und Entwicklungsförderung. Umfassender sind die Grüne Liste Prävention und Blueprints for Healthy Child Development, die ausgehend von Risiko- und Schutzfaktoren ein weites Spektrum geprüfter Präventionsprogramme beinhalten. In Kooperation mit der Grünen Liste zeigt der wegweiser prävention geprüfte Programme speziell zur Entwicklungsförderung und Gewaltprävention auf.

Wenn Sie sich darüber hinaus für aktuelle Entwicklungen im Kontext der Präventionsforschung interessieren, empfehlen wir die regelmäßige Lektüre wissenschaftlicher Zeitschriften wie z.B. „Prevention Science”, „Public Health” oder die Teilnahme an den Jahreskongressen entsprechender Fachgesellschaften (z.B. Europäische Gesellschaft für Präventionsforschung, Deutsche Gesellschaft für Public Health)

Exkurs: Ex-ante-Evaluationen

Eine Ex-ante-Evaluation (auch präformative bzw. vorgeschaltete Evaluation) wird vor der erstmaligen Umsetzung eines Programms durchgeführt, um dessen Konzept zu bewerten. Von Interesse können beispielsweise die Passung hinsichtlich des Bedarfes, die Finanzierbarkeit, Umsetzbarkeit oder Wirksamkeit sowie das Kosten-Nutzen-Verhältnis sein. Eine Ex-ante-Evaluation kann auch zur Klärung von Zielen dienen und Sie können durch sie ein vertieftes Verständnis darüber gewinnen, welche Art von Analysen erforderlich sind, um den Erfolg oder Misserfolg eines Präventionsprogramms zu ermitteln.

Schlüsselinformationen für Ex-ante-Evaluation

• Problemanalyse und Bedarfsanalyse
  • Was ist das zu lösende Problem und was sind die wichtigsten Faktoren und beteiligten Akteure?
  • Was ist die Zielgruppe und was sind ihre substanzbezogenen Bedürfnisse?
• Zielsetzung
  • Wurden die allgemeinen, spezifischen und operativen Ziele der Präventionsmaßnahme anhand der erwarteten Ergebnisse definiert?
  • Welche Bewertungsindikatoren sind für die Messung von Inputs, Outputs, Ergebnissen und Auswirkungen vorgesehen?
• Alternative Möglichkeiten der Umsetzung und Risikobewertung
  • Welche alternativen Präventivmaßnahmen wurden in Betracht gezogen (einschließlich des Unterlassens von Interventionen), und warum wurde die vorgeschlagene gewählt?
  • Welche Risiken (z.B. Opportunitätskosten, potenziell ungünstige Ergebnisse) sind an der Umsetzung der Maßnahme beteiligt und welche Gegenmaßnahmen wurden ergriffen?
• Mehrwert der Intervention
  • Ist die vorgeschlagene Maßnahme komplementär und kohärent zu anderen damit verbundenen Maßnahmen?
  • Erzeugt sie Synergien mit ihnen?
• Lehren aus der Vergangenheit
  • Welche Erkenntnisse und Informationen aus früheren Bewertungen, Prüfungen oder Studienergebnissen/Erfahrungen mit ähnlichen Maßnahmen liegen vor?
  • Wie können diese angewendet werden, um die Gestaltung der Intervention zu verbessern?
• Planung des zukünftigen Monitorings und der Evaluation
  • Sind die vorgeschlagenen Methoden zur Erhebung, Speicherung und Analyse des Monitoringsystems/der Evaluationsdaten robust?
  • Ist das Monitoringsystem/die Evaluation von Anfang an voll funktionsfähig?
  • Welche Arten von Evaluationen sind erforderlich, wann sollten sie durchgeführt werden, und wer sollte dies tun?
• Beitrag zur Kosteneffizienz
  • Welche unterschiedlichen Kostenfolgen hat die vorgeschlagene Interventionsmöglichkeit?
  • Könnten die gleichen Ergebnisse zu niedrigeren Kosten erzielt werden oder könnten bessere Ergebnisse bei gleichen Kosten erzielt werden, wenn man die Intervention verändert oder wechselt?