Startseite Jelitto
Übersicht Vorträge 
Vortrag 

Ein lebenszyklusorientiertes Evaluationsfundament
beim Ausstellungsmedium Computer

Online-Version: http://marcjelitto.de/tagungen/dege2001/volltext.htm

Inhaltsübersicht:

- Vorstellung des Evaluationsfeldes
- Betroffene Forschungsbereiche
- Drei Qualitätsstufen der Evaluation
- Lebenszyklus des Evaluanden
- Zyklus und Evaluationsphasen

- Anhang: Synonyme für Evaluationsphasen

_____

Im Rahmen meiner von der Deutschen Bundesstiftung Umwelt geförderten Doktorarbeit beschäftige ich mich mit dem Einsatz von Computern in Ausstellungen. Dabei geht es um die Nutzung von Computerterminals durch die Besucher von Museen, Umweltzentren, Zoos u.ä. Mein Interesse liegt dabei auf den Evaluierungsmöglichkeiten, die auf der einen Seite zur Qualitätsverbesserung beitragen können, auf der anderen Seiten neues Wissen schaffen.

_____

Dabei werden Informationen aus der empirischen Sozialforschung, aus der Besucherforschung (Museen) und auch Erfahrungen aus der Computerpraxis eingearbeitet.
Als Ergebnis wird meine Arbeit den Untersuchungsgegenstand "Ausstellungsmedium Computer" differenziert vorstellen und mit Beschreibungen von Zeitpunkten, Zielen und Erhebungsmethoden der Evaluation ein Fundament für weiteres Arbeiten liefern. In diesem Vortrag werde ich mich mich auf einen Teilbereich beschränken, und zwar werde ich den Lebenszyklus eines Terminals als Ausgangsbasis meiner Arbeit beschreiben.

_____

Zuerst sei noch vorweggenommen, dass ich bei meiner Arbeit von drei Qualitätstufen beim Einsatz von Evaluation in der Praxis der Ausstellungsentwicklung ausgehe:

alltägliche Evaluation - pragmatische Evaluation - professionelle Evaluation

Bei der alltäglichen Evaluation geht es eher „quick and dirty" zu, d.h. eine Analyse und die folgende Bewertung werden eher unbewußt durchgeführt. Auf der anderen Seite ist die professionelle Evaluation zu sehen, die i.d.R. von berufsmäßigen Evaluatoren durchgeführt wird. Diese profitieren von ihrem langjährigen Erfahrungen und ermöglichen eine qualifizierte Evaluation auf hohem Niveau, die auch den Standards der Evaluation entsprechen. Die pragmatische Evaluation, die ich vor allem während der formativen Evaluation sehe, ist sich den hohen Anprüchen einer professionellen Evaluation bewußt. Da es sich jedoch um eine interne Evaluation mit der Zielsetzung der Produktverbesserung handelt und dies keinen großen Aufwand gestattet, wird hier u.a. auf eine Wiederholbarkeit der Evaluation, eine hohe Anzahl der Versuchspersonen, eine ausführliche Dokumentation usw. verzichtet.

_____

Jetzt kommen wir zum Schwerpunkt meines Vortrages. Während bei den meisten Evaluationen beim fertigen Produkt oder bei der Entwicklung angesetzt wird, werde ich einen Blick auf den gesamten Lebenszyklus werfen. Durch die Analyse von zehn Zeitphasen bei den Computerterminals erhoffe ich mir neue und sinnvolle Ansatzpunkte für die Evaluation.

1. Vorlauf
2. Ermittlung
3. Planung
4. Entwicklung
5. Installation
6. Ausstellungsentwicklung
7. Fertigstellung
8. Nachbesserung
9. Einsatz
10. Deinstallation

In der Vorlaufsphase wird ein Thema und das passende Ausstellungsmedium ausgewählt und eine Entwicklung beschlossen. In der Ermittlungsphase werden Informationen gesammelt und Hintergrundinformationen wie eine Standortbeschreibung erhoben und aufbereitet. In der Planungsphase findet dann eine Grobplanung statt, die danach verfeinert wird. Aufgrund dieser Feinplanung wird anschließend die Software entwickelt. Die fertige Software wird zusammen mit der Hardware in die Ausstellung installiert. Der Einsatz von Computerterminals bietet die Möglichkeit, in der Ausstellung nach der Eröffnung erst mit Testversionen zu arbeiten und erst später das fertige Produkt zu installieren (Ausstellungsentwicklungsphase). Nach der Behebung von Mängeln, die in der Anfangsphase auftreten, wird in der Fertigstellungsphase der Terminal übergeben. In der Praxis tauchen allerdings noch Monate später Fehler auf, die im Nachbesserungszeitraum behoben werden. Wenn dies geschehen ist, wird der Terminal eingesetzt (teilweise geschieht dies über zehn Jahre lang, bei Sonderausstellungen ist die Einsatzzeit wesentlich kürzer). Irgendwann wird dann der Terminal ausgemustert und die Deinstallationsphase schließt den Lebenszyklus ab.

_____

Diesen Lebenszyklusphasen möchte ich jetzt Evaluationsphasen gegenüberstellen. Die Evaluation fertiger Produkte verbindet man mit dem Begriff summative Evaluation, die Evaluation während der Entwicklung ist bekannt als formative Evaluation. Im Museumsbereich wird seit langem der Begriff front-end Evaluation für die Evaluation der Planung verwendet. Der Sonderfall der Software-Entwicklung in der Ausstellung wird remedial Evaluation genannt.

- Vorlauf
- Ermittlung
- Planung

Front-End Evaluation

- Entwicklung
- Installation

Formative Evaluation

- Ausstellungsentwicklung

Remedial Evaluation

- Fertigstellung
- Nachbesserung
- Einsatz
- Deinstallation

Summative Evaluation

Für meine Arbeit habe ich dann jeder Zeitphase genau eine Evaluationsphase zugewiesen:

Zyklus (-phase)

Evaluation

- Vorlauf

Pre

- Ermittlung

Analyzing

- Planung

Front-End

- Entwicklung

Formative

- Installation

On-Site

- Ausstellungsentwicklung

Remedial

- Fertigstellung

Summative

- Nachbesserung

Touch-Up

- Einsatz

Stand-By

- Deinstallation

End

Hinzu kommen noch Evaluationsmöglichkeiten, die unabhängig vom Lebenszyklus durchgeführt werden können. Dazu gehören z.B. Meta-Analysen, Evaluation von Testverfahren u.ä. Hier spreche ich dann von Independent Evaluation.

Es gibt zwei Hauptgründe, die in meinen Augen für eine wie gerade vorgenommene Aufteilung sprechen.
So ist es sicher sinnvoll, die Aufmerksamkeit auf verschiedene Zeitpunkte und die unterschiedlichen Evaluationsmöglichkeiten zu lenken. Es kann weiterhin dazu beitragen, „schwammige Begriffe" wie summative Evaluation zu spezifizieren.

Ich hoffe, dass die zeitlichen Aufschlüssungen der Evaluation bei der Ausarbeitung des Evaluationsfundamentes für meine Doktorarbeit hilfreich sein werden.

Ich danke für Ihre Aufmerksamkeit!

© 2001, Marc Jelitto

Weitere Infos online unter: http://www.medienevaluation.de/tagung01/

Weitere Infos zum Thema: http://ausstellungsmediumcomputer.de/

 

_____  

Anhang:

Synonyme für Evaluationsphasen

Summative Evaluation

Formative Evaluation

Front-End Evaluation

- Abschließend bewertende Ev.

- Abschließende Evaluation

- Bilanzierende Evaluation

- Ergebnis-Evaluation

- Ergebnisorientierte Evaluation

- Ex-post-Evaluierung

- Finale Evaluation

- Geschlossene Evaluation

- Nachprüfende Evaluation

- Output-Evaluation

- Produktevaluation

- Zusammenfassende Evaluation

 

- Ex-post evaluation

- Outcome evaluation

- Post-design evaluation

- Product evaluation

- Aktiv gestaltende Evaluation

- Begleitforschung

- Dynamische Evaluation

- Eingreifende Evaluation

- Entwicklungs-Evaluation

- Entwicklungsbegleitende Ev.

- Projektbegleitende Evaluation

- Prozeß-Evaluation

- Prozeßevaluierung

- Prozeßorientierte Evaluation

- Verbesserungsevaluation

- Verlaufsevaluierungen

 

- Developmental testing

- On-going evaluation

- Mockup evaluation

- Process evaluation

- Anforderungsanalyse

- Bedarfsanalyse

- Ex ante Evaluation

- Front-End Evaluation

- Kontextevaluation

- Offene Evaluation

- Präformative Evaluation

- Pre-Design Evaluation

- Pre-Evaluation

- Vorab Evaluation

- Vorab-Evaluation

- Vorbereitende Sondierung

 

- Ex-ante evaluation

- Feasibility study

- Input-evaluation

- Pre-design evaluation

Pre Evaluation

Analyzing Evaluation

On-Site Evaluation

- Durchführbarkeitsstudie

- Gutachtenerstellung

- Machbarkeitsstudie

- Vorab-Evaluation

- Vorentscheidungs-Evaluation

 

- Feasibility Study

- Analysierende Evaluation

- Erfassende Evaluation

- Ermittlungsevaluation

- Systematische Bestandsaufnahme

- Beta-Test

- Integrationstest

- Systemtest

Remedial Evaluation

Touch-Up Evaluation

Stand-By Evaluation

End Evaluation

- Nachbesserungs-Evaluation

- Technische
Nachbesserungs-
Evaluation

- Fortlaufende Evaluation

- Laufende Evaluation

 

- Ongoing research

- Abschluß-Evaluation

- Endevaluation

- Finale Evaluation

 

- Final evaluation

- Terminal evaluation

_____

© 2001, Marc Jelitto