Vortrag auf der MAI-Tagung "museums and the internet" in Hagen
Referent: Marc Jelitto, Institut für Umweltkommunikation, Universität Lüneburg
Zeit: 28. Mai 2001, 16.30-17.15 Uhr
Ort: Hagen
URL: http://marcjelitto.de/tagungen/mai2001/volltext.htm
Aktualisierte Version vom 22.07.2001
Übersicht:
Bei dem Thema "Museen im Internet" sehe ich drei Schwerpunkte.
Einmal die WWW-Seiten eines Museums; zweitens die Kommunikation,
sei es auf e-mail-Anfragen, auf den eigenen Webseiten oder in
Diskussionsforen bzw. Newsgroups und drittens bei
Gemeinschaftsprojekten wie Datenbankzugriffe auf Archive in
mehreren Museen oder gemeinsame virtuelle Ausstellungen.
Bei der Vorbereitung des Vortrages habe ich mich mit dem Problem beschäftigt, welche Punkte ich in dem Vortrag ausführlicher behandeln sollte und welche ich nur anspreche bzw. wegfallen lassen kann. Dabei habe ich erst den mir vorliegenden Stoff analysiert und dann die einzelnen Felder bewertet. Beim Erstellen der Übersicht habe ich diese dann wiederholt getestet und beurteilt. Diesen Vorgang der Analyse mit anschließender Bewertung nennt man Evaluation. Bei dem beschriebenen Beispiel handelt es sich um eine Alltagsevaluation, die einfach sein sollte und schnell durchgeführt werden kann (quick and dirty). Eine professionelle Evaluation bei der Vorbereitung des Vortrages wäre wesentlich aufwendiger und teurer gewesen, hätte allerdings wahrscheinlich zu einem besseren Vortrag geführt.
Weitere Definitionen von Evaluation aus verschiedenen Bereichen
findet man unter http://www.evaluieren.de/evaluat.ion/definiti.htm
.
Bei einer Evaluation werden drei Phasen durchlaufen. Zuerst
kommt es zu einer Festlegung von Evaluationsgrundlagen, dann wird
die Evaluation durchgeführt und anschließend werden die
Ergebnisse benutzt.
In der ersten Phase werden die Beteiligten definiert (s.
Anhang). Dann wird das zu untersuchende Objekt (der
Evaluand) genauer beschrieben und der Bereich der
Evaluation eingegrenzt. Man sollte klarstellen, was die
Ursache für die Evaluation ist und welche Ziele
dabei verfolgt werden. Der Zeitpunkt der Evaluation
prägt Methoden und Möglichkeiten. Eine Definiton des
Kontext hilft Einflußfaktoren auf den Evaluanden
festzustellen. Danach muß genau definiert werden, welche
Elemente eines WWW-Auftrittes evaluiert werden sollen
(Navigation, Inhalt, Auffindbarkeit, Kommunikation,
Plattformunabhängigkeit...). Vor dem Beginn einer Evaluation
sollten die Bewertungskriterien festgelegt werden. Dann
findet eine Auswahl der Methoden zur Datenerhebung statt.
Eine Festlegung der Ergebnisform schärft den Blick auf
die zu untersuchende Elemente. Zu guter Letzt wird die
Vorgehensweise ausgearbeitet und das ganze in einer
Beschreibung zusammengefaßt.
In der zweiten Phase werden die Methoden angewandt, die
Daten gesammelt, ausgewertet und
anschließend mit den vorgegebenen Kriterien bewertet.
Zuletzt wird ein Evaluationsbericht erstellt.
Zu guter Letzt findet eine Nutzung der
Evaluationsergebnisse statt, sei es für technische oder
inhaltliche Verbesserungen oder als Grundlage für weitere
Entscheidungen.
Vertiefende Informationen findet man unter: http://www.evaluieren.de/evaluat.ion/vorgehen.htm
Am Anfang des Lebens eines WWW-Auftritts steht die
Planung. Dann findet die Entwicklung statt, gefolgt
von der Einsatzphase. Typisch für das Internet ist die
Überarbeitung der Internet-Seiten nach ein bis
fünf Jahren (Relaunch).
In der Praxis findet häufig am Ende eines Projektes eine Endbewertung statt, z.B. bei der Freigabe eines WWW-Auftrittes im Netz. Diesen Vorgang nennt man summative Evaluation. Meist hat dieser Vorgang keine direkten Auswirkungen auf die Webseiten, trotzdem handelt es sich dabei um die bekannteste Evaluationsphase. Um die Ergebnisse einer Evaluation in die Entwicklung einfließen lassen zu können, kann man Untersuchungen auch während der Entwicklung bzw. Durchführung anwenden und die Bewertungsergebnisse zu Verbesserungen nutzen. Dabei handelt sich um die formative Evaluation, die häufig wiederholt eingesetzt wird (Produktion - Evaluation - Verbesserung - Evaluation...) und auch häufig in der Literatur auftaucht. Um Planungsfehler zu vermeiden, kann man auch während der Vorbereitungsphase Evaluationen durchführen. Diese Front-End-Evaluation taucht selten in Veröffentlichungen auf.
Klein (1995) nennt noch weitere Evaluationsphasen. Vor Planungsbeginn sollte man auch die Rahmenbedingungen erfassen, die jedes Projekt aufweist (Status-Quo-Evaluation). Um zu wissen, welche Möglichkeiten ein WWW-Auftritt zu bieten hat, sollte man vergleichbare, aber auch weiter entfernt verwandte Webseiten testen (Analog-comparative Evaluation). Häufig finden Evaluationen bei der Entwicklung unter Laborbedingungen statt. Hier sollte auch ein Test per Fernzugriff auf die im Netz installierten Seiten stattfinden, um Installationsprobleme feststellen und beseitigen zu können (Remedial Evaluation).
Ich möchte hier auf drei weitere Phasen hinweisen. Nach der Installation eines Servers erhält der Webmaster häufig Hinweise auf Verbesserungsmöglichkeiten, die dann realisiert werden. Durch eine Folge-Evaluation, die auf eine summative Evaluation aufbaut, kann man die Auswirkungen der Verbesserung prüfen. Bei einigen Projekten sind auch Evaluationen während der Einsatzphase sinnvoll, so ist die Fortlaufende Evaluation bei der Aktualisierung und Pflege von Internet-Seiten einzusetzen.
Abgekoppelt von diesen Evaluationen im Lebenslauf eines Produktes können auch Evaluationen wie Pressebesprechungen oder Datenbankeinträge stattfinden. Die Zeitunabhängige Evaluation beinhaltet auch Meta-Evaluationen (Evaluation einer Evaluation) und Meta-Analysen (die Aufbereitung von Evaluationsberichten).
Die Evaluationsphasen in der zeitlichen Reihenfolge:
- Status-Quo-Evaluation
- Analog-comparative Evaluation
- Front-End-Evaluation
- Formative Evaluation
- Remedial Evaluation
- Summative Evaluation
- Folge-Evaluation
- Fortlaufende Evaluation
- Zeitunabhängige Evaluation
Bei der Evaluation können zahlreiche Methoden genutzt werden. Neben den klassischen aus der Sozialforschung wie Fragebögen, Interviews und teilnehmende Beobachtung (die alle on- und offline wie im Museum eingesetzt werden können), bietet die Computerforschung weitere Möglichkeiten. So werden Usability-Untersuchungen durchgeführt (läßt sich die Seite gut nutzen), Experten nutzen mehr oder weniger umfangreiche Kriterienkataloge, bei der Task-Analyse sollen von Testpersonen Aufgaben anhand des WWW-Auftrittes gelöst werden und alle Surfer hinterlassen bei der Benutzung einer Website Spuren, die durch eine Logfile-Analyse analysiert werden können. Es kann teilweise auch sinnvoll sein, weitere Methoden aus anderen Bereichen wie der Marktforschung einzusetzen. So kann bei der Besucherforschung beobachtet werden, ob die Besucher eines Museums Ausdrucke der WWW-Seiten mit sich führen.
Weitere Methoden findet man unter: http://www.evaluieren.de/evaluat.ion/methoden.htm
- Homepage
Dies meint einen allgemeinen Hinweis bei einer Stadt, in
Museumsverzeichnissen u.ä.. Dieser geht i.d.R. nicht
über eine Adresse, ein Photo und eine Kurzbeschreibung
hinaus.
Naturmuseum Lüneburg
http://www.luene-info.de/naturmuseum/natur.html
- Mittlerer Auftritt
Dieser beinhaltet weitere Informationen, wie
Veranstaltungshinweise und allgemeine Informationen zum Thema.
Jura-Museum Eichstätt
http://www.jura-museum.de/
- Umfassender Auftritt
Hier werden umfangreiche Informationen, teilweise
datenbankbasiert, angeboten.
Deutsches Museum München
http://www.deutsches-museum.de/index.htm
Bei der Evaluation sind folgende Phasenschwerpunkte festzustellen:
Status-Quo-Evaluation, Analog-comparative Evaluation,
Front-End-Evaluation, Formative Evaluation und Remedial Evaluation
dienen hauptsächlich dem Qualitätsmanagment, die
Summative Evaluation der Erfolgsmessung, die
Folge-Evaluation der Erfassung von Nutzungsänderungen,
die Fortlaufende Evaluation der Überwachung des Einsatzes
und die Zeitunabhängige Evaluation u.a. der Forschung
und Eignungsprüfung.
Jede(r) sollte sich die Zeit nehmen, um die (Selbst-)
Evaluation verstärkt einzusetzen und um Erfahrungen (auch
negative) zu veröffentlichen.
Klein, H.-J. (1995): Die Rolle der Besucherforschung bei
Medieneinsatz und interaktiven Ausstellungen. In: Museumskunde,
60, (1-3), 115-120.
Vortrag von 1994, Institut für Museumskunde, "Neue Medien im
Museum", Bonn, 1.-2. Dezember 1994
Weiterführende Links und Literaturhinweise siehe:
http://marcjelitto.de/tagungen/mai2001/litlinks.htm
Evaluationsbeteiligte
An einer Evaluation sind hauptsächlich Auftraggeber, Entwickler, Wissenschaftler und Nutzer beteiligt. Dabei haben alle verschiedene Wissensstufen, vom Laien über den Anwender bis zum Experten. Diese Wissenstufen beziehen sich auf die Gebiete Evaluation, digitale Medien und Nutzungskontext (inhaltlich, lehr- und lerntechnisch). So ist der Auftraggeber Experte auf dem Gebiet des Nutzungskontextes, er kennt sich mit Museumsinhalten aus und kann auch Vermittlungswege nennen. Die digitalen Medien kennt er als Anwender, während er sich bei Evaluation nicht auskennt. Der Entwickler hingegen ist Fachmann für die Erstellung digitaler Medien (Experte), nutzt häufig Testpersonen (Anwender), kennt sich aber mit musealen Inhalten nicht aus (Anfänger). Diese unterschiedlichen Kenntnisse sind bei einer Evaluation zu beachten.
Anforderungen an die Beteiligten:
Wichtig ist bei einer Evaluation die Zusammenarbeit der
Beteiligten. Die Entwickler sollten sich bewußt sein,
daß nicht sie, sondern das Produkt untersucht wird.
Wissenschaftler sollten hingegen auch die Erfahrungen der
Entwickler nutzen. Die Akzeptanz von Ergebnissen spielt eine
große Rolle, dies kann durch eine Offenlegung der
Vorgehensweise und eine Einbeziehung aller Beteiligten geschehen.
Bei Front-End- und formativen Evaluationen sollte die Integration
von Ergebnissen in die Entwicklung fest eingeplant werden. Die
Beachtung von Standards durch Evaluatoren führt zu
professionellen Ergebnissen. Eine Linkliste zu Standards findet
man unter http://www.evaluieren.de/infos/linksall.htm#ethik
.
Fortbildung
Fortbilden kann man sich im Bereich Evaluation auf verschiedene Weisen. Man kann die passende Literatur benutzen, in der Praxis durch Anwendung von Evaluationsmethoden und Selbstevaluation üben (learning by doing) oder Fortbildungen off- und online besuchen.
Pam Berger´s "Web Evaluation Guide" unter http://www.infosearcher.com/cybertours/tours/tour04/_tourlaunch1.htm ermöglicht die Betrachtung mehrerer WWW-Seiten mit den Augen eines Evaluators.
Online-Kurse zum Thema Evaluation bietet u.a. das "Centre for Program Evaluation" der "University of Melbourne, Australia" unter http://www.edfac.unimelb.edu.au/cpe/cpefiles/CPEcourses.html an.
© 2001, Marc Jelitto, marc@uni-lueneburg.de