Transparenz jetzt!

Entwicklungszusammenarbeit (EZA) und ihre Auswirkungen lassen sich nicht trennen von anderen wichtigen Fragen wie Globalisierung, Migration, Welthandel, Umweltzerstörung, und vielen weiteren, die uns alle betreffen.

EZA kann einen sinnvollen Beitrag leisten, wenn sie zielgerichtet und wirksam geleistet wird. Dies sicherzustellen ist nötiger denn je.

So ist es nicht gleichgültig, was von DEZA und Hilfswerken mit unserem Geld getan wird, und was zu verbessern ist. Es ist wichtig, dass die Öffentlichkeit an der Debatte teilnimmt.

Um mitzureden, muss die Öffentlichkeit aber Bescheid wissen. Und dazu wiederum muss man wissen, was da draussen eigentlich gemacht wird. Dies wiederum ist nur möglich, wenn man darüber genug erfährt, also mit TRANSPARENZ.

Seit über 20 Jahren arbeiten wir von IDEAS AidRating daran, mehr Transparenz in der EZA herbeizuführen. Seit 2008 gibt es unsere Transparenzratings, und seit 2015 gibt es unser Transparenzsiegel.

Viele Leute haben das verstanden. Auf unserer Website haben wir ab Beginn Transparenzrating bis Ende 2014 eine Umfrage gestaltet, die von 82 Personen beantwortet wurde. Bei weitem die meisten finden, mehr Transparenz sei sehr wichtig, wie aus dieser Umfrage zu ersehen ist.

In kurzer Zusammenfassung lässt sich sagen:

  • 86.6% der Beantworter wollen mehr über die Wirkung der EZA erfahren
  • 76.8% wollen mehr über die Risiken wissen, die dabei eingegangen werden
  • 76.8% wollen, dass die Hilfswerke transparenter berichten!

Hier die Ergebnisse im einzelnen:

https://www.surveymonkey.com/results/SM-WK7JZP7M/

Die mageren Errungenschaften der Entwicklungszusammenarbeit

In der NZZ wurde am 5. Dezember über eine Studie berichtet, die sich die Analyse der gesamtwirtschaftlichen Auswirkungen von 5 Jahrzehnten Entwicklungszusammenarbeit (IZA) zum Thema gemacht hat. Es handelt sich zwar um eine Studie über andere Studien, also eine klassische Meta-Studie, zu der sich natürlich eine ganze Reihe von methodischen Fragen ergeben.

Dennoch muss ich nach fast fünf Jahrzehnten aktiver Arbeit im Bereich Entwicklungszusammenarbeit, davon anderthalb Jahrzehnte als Feldexperte auf diversen Kontinenten weit abseits von Hauptstädten, und noch immer bei aidrating.net fortdauerndem Engagement, den Kernaussagen zustimmen:

Erstens: Der Nutzen der klassischen Entwicklungshilfe (IZA) entspricht mitnichten dem dazu betriebenen Aufwand. Es gibt innerhalb der Entwicklungsbranche selber nicht zuwenig, sondern zuviel Geld. Dies darum, weil das Geld durch wenige Akteure in übergrossen Projekten und Programmen verbraucht wird. Wenn es mehr Akteure und mehr Wirkungskonkurrenz gäbe, könnte mehr bewirkt werden.

Zweitens: Von den Mitteln der IZA profitieren namentlich privilegierte Kreise in den reichen Ländern und Autokratien im Süden: Bei ersteren sind es vor allem die beauftragten Organisationen, Personen und politischen Kräfte, deren Berichterstattung zur Wirkung wie in der Studie angemerkt auch entsprechend geschönt ist. Bei letzteren sind es ineffiziente bzw korrupte Büro- und Autokratien, deren Fortbestand durch die einfliessenden Mittel verlängert wird.

Drittens: Handel als Mittel zur wirtschaftlichen Stärkung wäre in der Tat wirksamer, wenn auch mit Abstrichen beim Schutz interessierter Branchen in reichen Ländern verbunden: Verringerung der Handelshemmnisse für Erzeugnisse aus dem Süden, Streichung von Agrar- und Exportsubventionen. Hilfreich wäre auch weniger Import bestimmter Cash Crops, die dort lokale Lebensmittelproduktion behindern, sonst aber nur dem Konsum und Luxushunger in reichen Ländern dienen- Beispiele sind etwa Futtermittel-Importe oder, bei uns in jedem Laden augenfällig, ganzjähriger Luxuskonsum von Früchten und Frischgemüse von den Antipoden in Asien, Afrika und Lateinamerika.

Nutzen von IATI für wissenschaftliche Analyse

IATI ist die einzige internationale Initiative für eine umfassende und standardisierte Erhebung der Daten aller Projekte teilnehmender Geber und Hilfs-Agenturen. Es bzw sie ermöglicht damit, wenn ausgebaut, Vergleiche und Profilerstellungen, wie sie noch nie dagewesen sind. Dies alles liesse sich in ungeahnter Weise nutzen, um Erfolgsgeschichten und auch Flops besser zu erkennen und Lehren daraus zu ziehen für bessere Arbeit in der Zukunft.

Da ich in der Technical Advisory Group (TAG) mitwirke, habe ich in den Konsultationen im Juni einen Beitrag erstellt:

http://support.iatistandard.org/entries/89248463-IATI-contents

Hierzu wurde ich danach angefragt, das Anliegen zu präzisieren.

Da es voll und ganz dem Anliegen und den Zielen von AidRating entspricht, macht es Sinn, den ganzen Artikel auch hier zu posten für den Fall, dass er unter dem oben genannten Link nicht zugänglich ist:

IATI Activity Data

Dear colleagues,

as promised some time ago, I will try to explain the rationale behind my statement that activity data for given projects should be more explicit, and more systematically structured. The claim is quite relevant in our understanding, and I request that our reasoning is not dismissed before our paper has been carefully read. I will try to be as short as I can.

Is there a financial policy and statistics bias “in IATI”?

IATI is the only initiative at this time which tries to bring as many donors as possible and their projects or interventions under one standardized umbrella. The standardization brings together many interventions which otherwise would remain unrecorded and will allow much progress in coordination of many aspects.

It might also, and this I would not tire to reiterate, be a unique opportunity to compare and evaluate donor’s priorities and resulting activities worldwide. And this in the field of individual and concrete interventions, which have never been put to such a far reaching test and comparison as may become possible with the properly defined (and implemented) datasets in the IATI standard which this reasoning is about.

For the moment, the standard appears in large stretches formulated for an audience which is primarily interested in data processing and related technologies, and quick availability of financial figures. For field-minded people like us it is difficult to detect whether issues we are interested in are treated to an extent that we think is necessary.
Maybe we are wrong , but, among other things, our group has the impression that the focus is primarily on administrative and financial planning matters and much less on matters of “how” an intervention has been set up, addresses problems, and interacts with the people concerned (the “stakeholders”, “clients” or “target groups”), among others. But exactly these are the issues that we consider crucial- yet they are so often missed or treated marginally in the development discourse that we fear that this might happen in the development of this promising standard once more.

Areas where more focus should be considered

We think that, if properly structured (and implemented) in the category “activity” and two or three categories related to these, the standard could achieve much more: It could become an invaluable learning resource on how to set up projects, and how not to- by opening access to the inner workings of huge numbers of success and failure stories. The categories are:

  1. activities conducted during the intervention (including investment in hardware)
  2. setting where the activities take place (that is: geographic location, and people concerned)
  3. results obtained (and their relation to activities) in terms of output- outcome- impact.

To some lesser degree the objective(s) of an intervention may also play a role. But this is another story which may be left aside for the time being. All three of the mentioned points seem already to be part of the standard, but not to such a degree that it would be sufficient to be effectively analyzed and thus produce added value for analysis and learning.
Naturally, fruitful analysis means also to relate “activity” with some other aspects, e.g. the funds disbursed, timing of funds, and others. Some are more or less covered. In order to not complicate our reasoning, we would like to leave them aside.

It’s the individual project that matters

The IATI standard addresses the level of the individual project. This is quite appropriate and must be put to maximum use.

If we want to relate activities to results, we need to focus on the individual intervention or project where a direct link between activities and results can be assumed. This linkage is a key element in data collection and analysis. In fact, I cannot emphasize enough how important this focus is.

The reason is simple: Quality of results, or, put simply, success or failure can only become a learning experience, if the element of success (or failure) can be as closely related as possible to specific causes. And while these causes may be multiple, it is the activities in the intervention aiming at results that we will want to focus on in order to learn what should be done in a given context, and what not. It is the water outlet built at the right time in the right place with the right technology which makes the difference, and not a large budget with which ten wells have been built at random of which one survives somehow without us understanding why it was this one and not the others.

An example: Three interventions compared

Let me demonstrate with a simple example what can be deducted by looking at “activities” comparing three individual interventions which occur in similar settings. All three may be characterized by the concerned funding agency in a typical way using “terminology” we have found frequently in such projects. Though simplified, the following examples draw from many real experiences we have seen:

Setting: remote rural area x

Objectives: “Improve” vocational training of young adults (DAC CRS Codes 11120, 11130, 11330)

Activity: “Strengthen” school capacity and increase training rate

For our example, other parameters are the same for each of the three: Duration, say, 5 years, total cost 3 Million US $. Formal budgets and deadlines were kept by all three sample projects.

The results at the end of term could well read for each of the three after 3 years: “Improved professional services through improved training capacity and quality of learning” achieved.

Let us now look at what was behind our three sample projects:

Project 1:

In this project, two years were spent in order to plan, build and equip a school building along the latest guidelines of modern learning, and a diesel generator was installed to provide power for the school lighting, for airconditioning the director’s offices, and for modern teaching and office machinery. In the third year, staff was recruited and equipment was bought.
During the fourth and fifth years, 50 students per year were trained in the modern facility. The second group of these could not finish as by mid-last (5th) year a row between director and staff had broken out as regarding allocation of funds to salaries, books, and the diesel generator. Teaching was halted during part of the time.
At the end of the 5th year, 30 of the students had found a job, the other 70 returned to their family’s farms.

The school applied for an extension of the project as running (and maintenance) costs were far above what could be earned from school fees and services.

Project 2:

In this example, an existing government building was rehabilitated and enlarged, and main funds were invested in having a renowned agency design, edit, translate and print a set of top-notch textbooks for a number of curricula expected to be of relevance. Also, 10 teachers were trained and given scholarships abroad in order to acquire the latest teaching skills.
Teaching started in the 3rd year to a tune of 100 students per year. At the end of the 5th year, there were 250 graduates with diploma (of a total of 300 students, the rest being drop-outs). Of them all, 60 had found a job in the profession they had learned, and another 60 had travelled to the capital and found some job there.
At the end of the period, farmers said that it had become slightly easier to sell their produce, and some refrigerators and TVs had been bought, while a mechanical repair shop and a few bicycle repair businesses had come up. The number of applicants, however, remained stagnant, and fees did not cover running costs.

A new phase was in planning, with reduced number of teaching staff, higher fees, and some of the curricula discontinued.

Project 3

In the third sample project, an existing building was renovated adding large workshop space for practical training. Low-cost materials and local labour were used extensively. In cooperation with local people, a baseline survey on local well-being was conducted. Main investment in the first 2 years went into thorough training of teaching staff, support to private businesses in order to receive trainees for on-the job training, and into set-up of a joint governing body where local stakeholders from administration and the wider public participated. Main task was the joint development of curricula on basis of local priorities.
Training started gradually from the second year, and at the end of the 5th year, some 350 trainees had completed their courses. Of these, about 100 set up their own small business, while most of the others had found a job.
A field survey at the end of term allowed comparison with the baseline, and it showed better availability and significant reduction in cost for goods and services, and visible poverty reduction.
The scheme was viewed a success, running costs were covered by fees and services delivered by the school’s own facilities.

A new phase was considered in order to spread the concept in other areas, adding a microcredit scheme aimed at graduates intending to set up new small scale businesses.

Need to trace analysis to the individual project and its specific activities

The three projects in the section above did obviously differ in their impact, although objective, budget and duration were the same. The differences might be summarized as follows (0-3 possible points):

Table 1: Simplified rating of the three interventions

Output (Hardware, machinery, buildings) Outcome
(trainees trained)
Impact (general livelihood improvement) sustainability
Project 1 +++ + 0 0
Project 2 ++ ++ + +
Project 3 + ++ +++ +++
average 2 1.7 1.3 1.3

Two things are demonstrated by table 1:

  1. a given amount of finance can create completely different results even when invested in the same sector and with the same objective. This is exemplified by the difference in impact between the three projects.
  2. differing results (success and failure) can only be reasonably understood if they can be traced back to the individual project and its activities.

Both support the key statement: The difference is not made by the money alone (whilst it remains a necessary fuel for action), but it is the way an intervention is designed and carried out. Development strategists and policymakers would have an interest in being able to draw upon such individual experiences.

Table 1 also helps to make the point why we need to correlate activities from individual projects, and not from groups of projects (all vocational projects of an agency, in a country, in a region) which cannot be individually distinguished. Why go to such lengths? The last line illustrates the answer: The sum of all totals of all projects in the area (in our sample it is 3, but it might be any number) would give a completely misleading generalized interpretation when evaluating them which could read something like the following
“Vocational training projects cause high cost of buildings and hardware, not too much success in number of graduates, and unsatisfactory impact.”
A decision maker could conclude that this type of project is not cost effective and decide to cut funding. The point would have been completely missed, without this even being realized. IATI could help to do better.

An outline of how “activities” could be structured for fruitful analysis

Of course, it is possible to simply allow that activities in a project are explained through a text. As we understand the standard, this is what can already be expected.

Text explanations, however, can be anything between short and precise and large and complicated. An analyst who is interested to correlate results to specific activities will have much work in trying to distill the relevant facts, and even so he cannot be sure that the main information has not somehow gone missing.

This is why we propose to structure the “activity” category into a matrix of activities that allows to appreciate where the main focus in the project is/was. In addition, an indication on the portion of funding (e.g. by putting in the percentage of total funds disbursed for the specific activity) that was assigned to the activity could be useful.

Activity denominators could be selected from a list (proposed in the IATI standard) and subsumed under relevant categories such as the ones proposed in table 2. The activities for the same three sample projects could then be structured like in the following table (which is a simplified example that may need further development). The structure is not a rating this time, but rather an aid to assign activities to given (sample) categories. In the example of table 2, the first column relates to the “activity” either as such or the investment category (which we think would need to be placed here if there is not another category in the standard where this may find its place). The other columns reflect the amount of effort or funding which goes into the respective activity group:

Table 2: Activities selected from a list and subsumed in a possible matrix

Making of.. Project 1 Project 2 Project 3
Buildings and infrastructure 30% 20% 10%
Long term equipment (machinery, equipment) 15% 10% 0
Consumable equipment (textbooks, raw materials) 10% 30% 20%
building maintenance 10% 5% 0
Running cost of equipment including maintenance 10% 5% 5%
Administration activities 5% 5% 5%
Coordination activities 5% 5% 10%
Training activities 15% 20% 50%
100% 100% 100%

Of course, the above table is a rough simplification. But it would help to see what activities brought success, and what was a waste of funds. By a finer adaptation of categories, an even better picture of what happens in each project may be obtained. It is, however, not practical to produce too many categories, as then the assignment of activities may become too cumbersome for those who have to complete the data.

As shown in table 2, it may be noteworthy that under the header “activities” plain investments are included. We have not seen a category in the standard where these found a place, and Being an important part of any intervention, they might be suitably placed here. Doing so may be natural if we take into account that most projects display a mix of investment and activities, and that often projects do nothing than invest in a piece of infrastructure and then leave.

The purpose of this paper was to make the point that it is advisable to structure the activity category along specific lines which allow more profound interpretation. I hope, this purpose has been met.

We would be glad if our points are given the attention they deserve. Please contact us if you wish to deepen this issue.

Jan Stiefel

IDEAS AidRating Switzerland

16.10.14

20 Jahre IDEAS AidRating

Am 22. Juli 2014 wird der Verein IDEAS 20 Jahre alt. Anlass, einen Blick auf den Weg zu werfen, den wir mit IDEAS in dieser Zeit gegangen sind.

Weiterlesen

Ankündigung: neue Transparenz-Rangliste 2012 TCR5

Logo_IDEAS_web_RGBAm 19. Juli stellt AidRating die neue Transparenz-Rangliste 2012/13 TCR5 vor. Gleichzeitig stellen wir unseren neuen Web-Auftritt vor und machen eine wichtige Ankündigung zum AidRating!

Kommentar: Das Transparenzrating 2012 von Publishwhatyoufund

Am 3. Oktober wurde das zweite internationale Transparenzrating von PWYF veröffentlicht. Die Schweiz landet im 55. Rang von 72 – nicht eben beeindruckend.

Bei Aidrating sind wir nicht erstaunt. Wer die DEZA-Informationspolitik unbefangen betrachtet, kommt zu ähnlichen Schlüssen. Aidrating wurde von PWYF für die Schweiz mit dem Sammeln der Daten betraut. Gefragt wurde über die Region bzw das Land, in dem im letzten Jahr das grösste Budget ausgegeben worden ist. Dies ist derzeit die Mekong-Region. Dort wurden gemäss DEZA 2011 35.23 Mio. CHF ausgegeben, und für 2012 sind 42.0 Mio. geplant. Die Zahlen beinhalten bilaterale Hilfe, ohne humanitäre Projekte. Die erfassten Daten stützen sich auf die DEZA-Homepage und die Homepage des Koordinationsbüros Mekong-Region.

Ein Hauptproblem beim Analysieren der DEZA-Informationen ist seit langem, dass man stets im Unklaren bleibt, wie vollständig die gemachten Angaben eigentlich sind. Bei der DEZA ist Unvollständigkeit der gelieferten Informationen so häufig, dass man es fast für eine Art Markenzeichen halten muss. Dies nährt den Verdacht, dass durch Vorzeigen ausgewählter Aktionen ein besserer Eindruck erzeugt werden soll, als eigentlich gerechtfertigt ist.

Neuerdings gibt es auf der DEZA-Homepage auch eine “Liste aller Projekte“. Wir haben diese im Juli entdeckt. Sie enthielt im Juli 66 Projekte, und jetzt, am 07. Oktober 2012, 111. Pikanterweise gab es aber schon im Juli 115 “ausgewählte” Projekte, und am heutigen Datum sind es 122. Die Zahlen dürften sich in nächster Zeit weiter verändern: Im Oktober 2011, als wir unser eigenes Transparenzrating vorbereiteten, gab man uns die Gesamtzahl der DEZA-Projekte mit 1117 an.

Während wir bei Aidrating versuchen, den Anteil der Tätigkeiten, die im Dunkel bleiben, zahlenmässig als Prozentsatz zu ermitteln, basiert die Methodik von PWYF im wesentlichen auf der Berichterstattung über die Projekte im jeweils grössten Empfängerland. Der angewandte Masstab ist dann aber besonders strikt: Wenn klar ist, dass die Informationen vollständig sind, gibt es einen Wert „1“. Wenn nicht, eine Null. (Methodik PWYF, englisch).

Dies erscheint als Hauptgrund, warum die Angaben zur Information über Einsatzregion und dortige Tätigkeiten mit Null bewertet worden sind und zum sehr tiefen Rang geführt haben. Die Art der Bewertung mag stark vereinfachend sein. Wenn sie aber konsequent bei allen Gebern gleich angewendet wird, dann ist die Aussagekraft dennoch gross.

Die fehlende Einführung des schon auf Ende 2011 versprochenen IATI-Standards bei der DEZA wirkt hier zusätzlich unvorteilhaft. Und die Erklärung, dass eben die Berichterstattung der Koordinationsbüros in der Ferne nicht standardisiert sei, klingt wie eine Ausrede, denn es sind die Verantwortlichen der Zentrale selber, die es längst in der Hand hätten, hier Klarheit zu schaffen.

Transparenzindex: Schweiz nur auf Platz 55

Nicht nur wir von Aidrating bescheinigen der Schweizer Entwicklungszusammenarbeit mangende Transparenz: Die internationale NGO Publishwhatyoufund hat heute in Brüssel ihren Transparenzindex für 72 Geberländer und Organisationen vorgestellt.

Von 72 Agenturen liegt die Schweiz, vertreten durch die DEZA, auf dem 55. Platz, etwa gleichauf mit Irland und Italien, aber weit hinter allen mittel- und nordeuropäschen Ländern. Der Durchschnitt aller Agenturen war 41%; das Schweizer Ergebnis liegt mit 25% weit darunter. Nur die Informationen über die Organisation selber werden als einigermassen gut bewertet (25 von möglichen 33%). Die Qualität der Info über die Einsatzregion (im aktuellen Fall das Mekong-Becken) wurde ebenso wie jene zu den Projekten mit Null bewertet.

Unser Kommentar: Das Transparenzrating 2012 von Publishwhatyoufund

Aktuelle Pressekommentare auf deutsch:

Internationale Kommentare auf englisch:

Evaluationen von Entwicklungsarbeit

Der Begriff „Evaluation“ wird ebenso oft wie unterschiedlich definiert. Man muss stets vorsichtig bleiben: Wird ein Gesamtes „evaluiert“, inklusive Ergebnisse, oder nur Teile wie einzelne Prozesse, Personen? Je nachdem ist die Aussagekraft stark eingeschränkt. Ein internationaler Standard existiert nicht.

Ist es möglich, Evaluationen von Entwicklungsarbeit so vergleichbar zu gestalten, dass sich daraus ein universeller Standard ableiten liesse? AidRating sagt: ja. Hier die wichtigsten Anforderungen und unsere Methodik des Transparenzratings.

Aidrating an der Openaid Data Conference in Berlin

Die Openaid Data Conference vom 29. September in Berlin mit 120 Teilnehmern aus ganz Europa war eine Inspiration. ÜberOpenforChangeall sind Organisationen und NGOs dabei, die erwartete neue Daten-Offenheit der Geber zu nutzen und neue Anwendungen dafür zu entwickeln. Das Interesse kommt gleichermassen von Organisationen in den Geberländern wie von solchen in den Empfängerländern, die mehr Rechenschaft verlangen.

Als erstes praxistaugliches Anwendungsbeispiel zeigt AidRating mit dem „Impact Rating“ (Evaluating and Comparing Development Project Effectiveness, PDF) , wie Vergleiche zwischen Projekten und Programmen möglich werden. Es ist längst nicht mehr die Frage, ob Daten und Infos herausgegeben werden sollen. Es geht inzwischen darum, welche genau die wichtigen sind, und was für Bedingungen erfüllt sein müssen, um als vollständig zu gelten!

Von der Schweiz kam ausser uns von AidRating niemand. Die Branche hierzulande scheint immer noch nicht begriffen zu haben, dass mehr und bessere Transparenz nötig ist und immer selbstverständlicher eingefordert werden wird. Peter Eigen, Gründer von Transparency International, ermutigte die versammelten NGOs (Nichtregierungsorganisationen), auf Transparenz zu bestehen und meinte:

Numbers as such do not help, they do not feed children or heal the sick. But numbers are a starting point for activism.

Die 10 grössten Hilfswerke der Schweiz

ratingarbeit3_160

IDEAS hat die Transparenz (also den Informationsgehalt) der Projekte analysiert, die von den 10 grössten privaten Hilfswerken der Schweiz in der Entwicklungszusammenarbeit durchgeführt werden.

Die Ergebnisse sind heute zur Stellungnahme an die Hilfswerke versandt worden. Veröffentlichung folgt in Bälde.