Evaluationen von Entwicklungsarbeit

Der Begriff „Evaluation“ wird ebenso oft wie unterschiedlich definiert. Man muss stets vorsichtig bleiben: Wird ein Gesamtes „evaluiert“, inklusive Ergebnisse, oder nur Teile wie einzelne Prozesse, Personen? Je nachdem ist die Aussagekraft stark eingeschränkt. Ein internationaler Standard existiert nicht.

Ist es möglich, Evaluationen von Entwicklungsarbeit so vergleichbar zu gestalten, dass sich daraus ein universeller Standard ableiten liesse? AidRating sagt: ja. Hier die wichtigsten Anforderungen und unsere Methodik des Transparenzratings.

Impact Rating: Evaluating and Comparing Development Project Effectiveness. A concept to standardize and quantify results

Impact Rating: Evaluating and Comparing Development Project Effectiveness. A concept to standardize and quantify results.

Jan Stiefel, IDEAS AidRating, presented the original version at the Openaid Data Conference, Heinrich Böll Stiftung, Berlin, 29th September 2011: Evaluating and Comparing Development Project Effectiveness (PDF)

Entwicklungszusammenarbeit und Transparenz

Eine sachlich fundierte öffentliche Erörterung konkreter Tätigkeiten in der Entwicklungszusammenarbeit ist dringend notwendig. Dies sollte helfen, das Richtige zu fördern und das Unwirksame zu vermeiden. Wir von aidrating.org arbeiten in diesem Sinn. Dabei fangen wir bei unseren Schweizer Hilfswerken an.

Um einen qualifizierten Diskurs zu führen, muss ein ausreichender Grundstock an Wissen bei allen Beteiligten darüber verbreitet sein, was für Tätigkeiten darunter zu verstehen sind, und wie diese Tätigkeiten im wirklichen Leben aussehen.

Dies ist nur möglich, wenn ein ungehinderter Zugang zu den wesentlichen Informationen über diese Tätigkeiten gegeben ist. Dieser Zugang ist für uns gleichbedeutend mit Transparenz über Entwicklungszusammenarbeit (EZA).

Da wir eine solche als Grundvoraussetzung ansehen, um einen qualifizierten Diskurs in der Öffentlichkeit überhaupt führen zu können, ist unser erstes Ziel: Förderung der EZA-Transparenz.

Wenn mehr Transparenz da ist, kann auch besser beurteilt werden, wer gute Arbeit leistet. Es reicht nicht, Gutes zu wollen. Man muss das Gute auch gut tun.

Dazu haben wir ein zweites Ziel: Anreize schaffen. Für die Zivilgesellschaft heisst das: Kompetenz entwickeln durch neue Einsichten. Für die Entwicklungsbranche: Anreiz durch positive Beachtung dessen, was Ergebnisse bringt.

Die von IDEAS für EZA vorgeschlagene Definition von Transparenz findet sich hier, von ihr ist in diesem Aufsatz die Rede:

Transparenz in der Entwicklungszusammenarbeit bedeutet Verfügbarkeit aller Angaben, die es Aussenstehenden ermöglichen, Ziele, Mittelverwendung, Arbeitsweise, Orte und direkte Auswirkungen der Tätigkeiten von (Hilfswerken) mit hinreichender Verlässlichkeit einzuschätzen.

Als hinreichend gelten dabei Angaben, welche für den Sachverhalt
a) gleichzeitig relevant und konkret,
b) für die Gesamtschau repräsentativ, und
c) auf eine Weise dargelegt sind, die sie mit ähnlichen Aktionen vergleichbar macht.

Es geht darum, zu ermitteln, wie viel wir eigentlich erfahren über EZA-Tätigkeiten. Angepasst an die Bedingungen der EZA hat AidRating einen Raster entwickelt, mit dem diese erfasst und verglichen werden können.

Wir haben 2008 die grösseren Hilfswerke (HW) angeschaut und untersuchten:

1. Was ist zu erfahren über Grösse und (finanzielle) Abhängigkeiten der Hilfswerke (HW) sowie über allgemeine Aspekte wie Verantwortlichkeiten, Struktur u.ä?

Zu diesem Punkt hat sich gezeigt, dass alle grösseren Hilfswerke ausführliche Grundsatzerklärungen präsentieren, und über ihre Organisationsverantwortlichkeiten und die Buchhaltung allesamt etwa gleich detailliert berichten. Wir betrachteten weiter:

2. Was ist spezifisch zu erfahren über die konkrete Tätigkeit der HW vor Ort, also ihre Aktionen, Projekte, Programme?

Hierzu haben wir unter Nutzung unserer Erfahrung in Entwicklungsprojekten eine konkrete Fragenliste entwickelt, die sich auf jede Intervention (d.h. auf jedes Entwicklungs-Projekt oder Programm) anwenden lässt. Wir geben sie hier wieder:

Frageliste zu konkreter Arbeit in Projekten/Programmen (Fragestellung und konkrete Erläuterung [was wollen wir wissen])

  1. Was ist über das Projektumfeld zu erfahren?
    Wie ist die soziale, ökonomische bzw. (öko)geografische Ausgangslage? Wo findet das Projekt statt?
  2. Wer/ welche Personenkreise profitieren vom Projekt, und in welcher Weise?
    Was erfahre ich über die Zielgruppe(n), bzw. was soll anders oder besser für diese werden?
  3. Was will das Projekt erreichen? Sind eine (oder die wichtigsten) Zielsetzung(en) klar erkennbar?
    „Ziel“ ist ein Zustand, der erreicht werden soll. Dieser sollte möglichst konkret beschrieben sein. Bsp: Einkommen verbessert durch… u.ä.
  4. Wer (Organisation, Personal) führt das Projekt/Programm vor Ort?
    Wer ist operativ wofür verantwortlich? Wer macht konkret was vor Ort? Wer führt?
  5. Was konkret sind die wichtigsten Projekthilfsmittel und –aktivitäten, um Ziel(e) 3 zu erreichen?
    Was wird für die Zielerreichung konkret getan, erstellt, übergeben? Mit welchen Hilfsmitteln, Ausrüstung?
  6. Sind Risiken/ unerwünschte Nebenwirkungen und/oder Missbrauch denkbar? Sind diese verunmöglicht oder ausreichend unter Kontrolle?
    Erfahre ich etwas über projektbedrohende Risiken (z.B. Einflussnahme durch Dritte, Korruption, Ressourcen­verschwendung) und evtl. Gegenmassnahmen (risk management)?
  7. Wann hat das vorliegende Projekt begonnen, und wie lange soll die Aktion dauern?
    Konkrete Daten: Beginn, wievielte Phase, wann Ende usw.
  8. Wie wird die Projektwirkung von den Zuständigen festgestellt oder gemessen?
    Abschätzung oder Nachweis der Wirkung, siehe Ziel. Vorkehrungen dazu? =Wirkungsprüfung?
  9. Hält die Verbesserung an, nachdem das Projekt zuende ist? Für wie lange?
    Was wird zu Vorkehrungen dazu gesagt, dass die Projektwirkung nach Weggang nicht verloren geht, Nachhaltigkeit?
  10. Was kostet dieses Projekt/Programm insgesamt von Beginn bis Ende? Pro Jahr?
    Kosten für Material, Ausrüstung, Personal, Betrieb, technische Beratung, Leitung vor Ort insgesamt.

Diese Fragenliste bildet ein Grundgerüst, mit dem wir einschätzen können, wie viel relevante und konkrete Information uns über ein Projekt geboten wird. Die Beantwortung lässt sich nach Punkten bewerten von 0 bis 4, wobei bedeutet:

  • 0 = gar nicht beantwortet
  • 1 ein wenig
  • 2 = halb
  • 3 = ziemlich gut, und
  • 4 = vollständig beantwortet.

Zuletzt gab es eine Einschätzung, wie gut die Projektarbeit der Hilfswerke repräsentiert ist. Die Frage lautet:

3. Ist die Tätigkeit vollständig repräsentiert? Anders gesagt: Sind alle Projekte der Organisation beschrieben, oder nur ein Teil davon?

Dazu muss man 2 Dinge wissen (hat sich als gar nicht leicht erwiesen):

  1. Wieviele Projekte/Programme laufen überhaupt?
  2. Für wie viele davon sind Infos erhältlich?

(2) lässt sich als Anteil von (1) in Prozent ausdrücken. Wenn alle Projekte beschrieben sind, gäbe es eine Wertung von 100%, die Hälfte 50%, usw.

Ergebnisse

Die Transparenz aller 10 betrachteten Hilfswerke ist weit geringer als erwartet. Die Realität: Der Transparenzdurchschnitt beträgt schwache 36.57%! Wir fanden, mindestens ein Wert von 50% müsste sich ergeben, oder mehr. Besonders wenig erfährt man über Risiken, Dauer, Kosten, und Wirkung. Nur 4 von 10 Hilfswerken berichten über alle ihre Projekte!

Weiteres auf aidrating.org oder später auf diesem Blog!

Medien über die komplette Pilotstudie

Am 11. November haben wir den Medien die komplette Pilotstudie zum AidRating erstmals vorgestellt.

Am 12. November sind im » Tages-Anzeiger, der » Basler Zeitung und im » Landboten 11novemberBerichte dazu erschienen.

Die 10 grössten Hilfswerke der Schweiz

ratingarbeit3_160

IDEAS hat die Transparenz (also den Informationsgehalt) der Projekte analysiert, die von den 10 grössten privaten Hilfswerken der Schweiz in der Entwicklungszusammenarbeit durchgeführt werden.

Die Ergebnisse sind heute zur Stellungnahme an die Hilfswerke versandt worden. Veröffentlichung folgt in Bälde.

Pilotprojekt zur Transparenz in Entwicklungsprojekten

Pilotprojekt am Start

Pilotprojekt am Start

Ein Pilotprojekt zu Transparenz von Entwicklungsprojekten ist derzeit im Gang. Bericht erscheint voraussichtlich Ende Juni!