Inhaltsübersicht:
- Vorstellung des Evaluationsfeldes
- Betroffene Forschungsbereiche
- Drei Qualitätsstufen der Evaluation
- Lebenszyklus des Evaluanden
- Zyklus und Evaluationsphasen
- Anhang: Synonyme für Evaluationsphasen
Im Rahmen meiner von der Deutschen Bundesstiftung Umwelt geförderten Doktorarbeit beschäftige ich mich mit dem Einsatz von Computern in Ausstellungen. Dabei geht es um die Nutzung von Computerterminals durch die Besucher von Museen, Umweltzentren, Zoos u.ä. Mein Interesse liegt dabei auf den Evaluierungsmöglichkeiten, die auf der einen Seite zur Qualitätsverbesserung beitragen können, auf der anderen Seiten neues Wissen schaffen.
Dabei werden Informationen aus der empirischen Sozialforschung,
aus der Besucherforschung (Museen) und auch Erfahrungen aus der
Computerpraxis eingearbeitet.
Als Ergebnis wird meine Arbeit den Untersuchungsgegenstand
"Ausstellungsmedium Computer" differenziert vorstellen und mit
Beschreibungen von Zeitpunkten, Zielen und Erhebungsmethoden der
Evaluation ein Fundament für weiteres Arbeiten liefern. In
diesem Vortrag werde ich mich mich auf einen Teilbereich
beschränken, und zwar werde ich den Lebenszyklus eines Terminals
als Ausgangsbasis meiner Arbeit beschreiben.
Zuerst sei noch vorweggenommen, dass ich bei meiner Arbeit von drei Qualitätstufen beim Einsatz von Evaluation in der Praxis der Ausstellungsentwicklung ausgehe:
Bei der alltäglichen Evaluation geht es eher quick and dirty" zu, d.h. eine Analyse und die folgende Bewertung werden eher unbewußt durchgeführt. Auf der anderen Seite ist die professionelle Evaluation zu sehen, die i.d.R. von berufsmäßigen Evaluatoren durchgeführt wird. Diese profitieren von ihrem langjährigen Erfahrungen und ermöglichen eine qualifizierte Evaluation auf hohem Niveau, die auch den Standards der Evaluation entsprechen. Die pragmatische Evaluation, die ich vor allem während der formativen Evaluation sehe, ist sich den hohen Anprüchen einer professionellen Evaluation bewußt. Da es sich jedoch um eine interne Evaluation mit der Zielsetzung der Produktverbesserung handelt und dies keinen großen Aufwand gestattet, wird hier u.a. auf eine Wiederholbarkeit der Evaluation, eine hohe Anzahl der Versuchspersonen, eine ausführliche Dokumentation usw. verzichtet.
Jetzt kommen wir zum Schwerpunkt meines Vortrages. Während bei den meisten Evaluationen beim fertigen Produkt oder bei der Entwicklung angesetzt wird, werde ich einen Blick auf den gesamten Lebenszyklus werfen. Durch die Analyse von zehn Zeitphasen bei den Computerterminals erhoffe ich mir neue und sinnvolle Ansatzpunkte für die Evaluation.
1. Vorlauf
2. Ermittlung
3. Planung
4. Entwicklung
5. Installation
6. Ausstellungsentwicklung
7. Fertigstellung
8. Nachbesserung
9. Einsatz
10. Deinstallation
In der Vorlaufsphase wird ein Thema und das passende Ausstellungsmedium ausgewählt und eine Entwicklung beschlossen. In der Ermittlungsphase werden Informationen gesammelt und Hintergrundinformationen wie eine Standortbeschreibung erhoben und aufbereitet. In der Planungsphase findet dann eine Grobplanung statt, die danach verfeinert wird. Aufgrund dieser Feinplanung wird anschließend die Software entwickelt. Die fertige Software wird zusammen mit der Hardware in die Ausstellung installiert. Der Einsatz von Computerterminals bietet die Möglichkeit, in der Ausstellung nach der Eröffnung erst mit Testversionen zu arbeiten und erst später das fertige Produkt zu installieren (Ausstellungsentwicklungsphase). Nach der Behebung von Mängeln, die in der Anfangsphase auftreten, wird in der Fertigstellungsphase der Terminal übergeben. In der Praxis tauchen allerdings noch Monate später Fehler auf, die im Nachbesserungszeitraum behoben werden. Wenn dies geschehen ist, wird der Terminal eingesetzt (teilweise geschieht dies über zehn Jahre lang, bei Sonderausstellungen ist die Einsatzzeit wesentlich kürzer). Irgendwann wird dann der Terminal ausgemustert und die Deinstallationsphase schließt den Lebenszyklus ab.
Diesen Lebenszyklusphasen möchte ich jetzt Evaluationsphasen gegenüberstellen. Die Evaluation fertiger Produkte verbindet man mit dem Begriff summative Evaluation, die Evaluation während der Entwicklung ist bekannt als formative Evaluation. Im Museumsbereich wird seit langem der Begriff front-end Evaluation für die Evaluation der Planung verwendet. Der Sonderfall der Software-Entwicklung in der Ausstellung wird remedial Evaluation genannt.
- Vorlauf |
Front-End Evaluation |
- Entwicklung |
Formative Evaluation |
- Ausstellungsentwicklung |
Remedial Evaluation |
- Fertigstellung |
Summative Evaluation |
Für meine Arbeit habe ich dann jeder Zeitphase genau eine Evaluationsphase zugewiesen:
Zyklus (-phase) |
Evaluation |
- Vorlauf |
Pre |
- Ermittlung |
Analyzing |
- Planung |
Front-End |
- Entwicklung |
Formative |
- Installation |
On-Site |
- Ausstellungsentwicklung |
Remedial |
- Fertigstellung |
Summative |
- Nachbesserung |
Touch-Up |
- Einsatz |
Stand-By |
- Deinstallation |
End |
Hinzu kommen noch Evaluationsmöglichkeiten, die unabhängig vom Lebenszyklus durchgeführt werden können. Dazu gehören z.B. Meta-Analysen, Evaluation von Testverfahren u.ä. Hier spreche ich dann von Independent Evaluation.
Es gibt zwei Hauptgründe, die in meinen Augen für eine
wie gerade vorgenommene Aufteilung sprechen.
So ist es sicher sinnvoll, die Aufmerksamkeit auf verschiedene
Zeitpunkte und die unterschiedlichen Evaluationsmöglichkeiten zu
lenken. Es kann weiterhin dazu beitragen, schwammige Begriffe"
wie summative Evaluation zu spezifizieren.
Ich hoffe, dass die zeitlichen Aufschlüssungen der Evaluation bei der Ausarbeitung des Evaluationsfundamentes für meine Doktorarbeit hilfreich sein werden.
Ich danke für Ihre Aufmerksamkeit!
© 2001, Marc Jelitto
Weitere Infos online unter: http://www.medienevaluation.de/tagung01/
Weitere Infos zum Thema: http://ausstellungsmediumcomputer.de/
Anhang:
Summative Evaluation |
Formative Evaluation |
Front-End Evaluation |
- Abschließend bewertende Ev. - Abschließende Evaluation - Bilanzierende Evaluation - Ergebnis-Evaluation - Ergebnisorientierte Evaluation - Ex-post-Evaluierung - Finale Evaluation - Geschlossene Evaluation - Nachprüfende Evaluation - Output-Evaluation - Produktevaluation - Zusammenfassende Evaluation
- Ex-post evaluation - Outcome evaluation - Post-design evaluation - Product evaluation |
- Aktiv gestaltende Evaluation - Begleitforschung - Dynamische Evaluation - Eingreifende Evaluation - Entwicklungs-Evaluation - Entwicklungsbegleitende Ev. - Projektbegleitende Evaluation - Prozeß-Evaluation - Prozeßevaluierung - Prozeßorientierte Evaluation - Verbesserungsevaluation - Verlaufsevaluierungen
- Developmental testing - On-going evaluation - Mockup evaluation - Process evaluation |
- Anforderungsanalyse - Bedarfsanalyse - Ex ante Evaluation - Front-End Evaluation - Kontextevaluation - Offene Evaluation - Präformative Evaluation - Pre-Design Evaluation - Pre-Evaluation - Vorab Evaluation - Vorab-Evaluation - Vorbereitende Sondierung
- Ex-ante evaluation - Feasibility study - Input-evaluation - Pre-design evaluation |
Pre Evaluation |
Analyzing Evaluation |
On-Site Evaluation |
- Durchführbarkeitsstudie - Gutachtenerstellung - Machbarkeitsstudie - Vorab-Evaluation - Vorentscheidungs-Evaluation
- Feasibility Study |
- Analysierende Evaluation - Erfassende Evaluation - Ermittlungsevaluation - Systematische Bestandsaufnahme |
- Beta-Test - Integrationstest - Systemtest |
Remedial Evaluation |
Touch-Up Evaluation |
Stand-By Evaluation |
End Evaluation |
- Nachbesserungs-Evaluation |
- Technische |
- Fortlaufende Evaluation - Laufende Evaluation
- Ongoing research |
- Abschluß-Evaluation - Endevaluation - Finale Evaluation
- Final evaluation - Terminal evaluation |
© 2001, Marc Jelitto