1. Grundlagen der Evaluation
2. Durchführung der Evaluation
3. Nutzung der Evaluationsergebnisse
- Evaluationsbeteiligte
Evaluator: Marc Jelitto
Auftraggeber: Thilo Martini, Veranstalter der Tagung MAI (museums and the internet)
http://www.mai-tagung.de/
Entwickler: - (entfällt, da summative, zeitunabhängige Evaluation)
Benutzer: - (werden nicht einbezogen)
Nutzer der Evaluationsergebnisse: Teilnehmer der Tagung, Webmaster der Seite
- Evaluand (Evaluationsobjekt)
Internet-Auftritt des Kunstmuseums in Bonn
http://www.bonn.de/Kunstmuseum/
- Evaluationsursache
Beispielsevaluation zur Visualisierung eines Tagungsvortrages
- Evaluationsziel
Aufweisen von Mängeln an bestehenden Webseiten durch den Einsatz verschiedener Evaluationsmethoden
- Evaluationszeitpunkt
- Summative Evaluation
Da nach Fertigstellung.
- Zeitunabhängige Evaluation
Da willkürlich gewählter Zeitpunkt, es handelt sich um eine einmalige Analyse.
- Evaluationskontext (Gebietsbeschreibung)
WWW:
Das World Wide Web bietet die Möglichkeit, multimediale Angebote im Internet zu präsentieren. Neben Text und Bildern können Videos, Töne und (theoretisch) Gerüche angeboten werden. Technisch werden die Dateien auf einem Server zur Verfügung gestellt, von dem aus sie abgerufen werden und von einem Browser (Klient) dargestellt bzw. mit Plug-Ins bzw. Zusatzsoftware abgespielt werden. Für das WWW wurden spezielle Formate entwickelt (Grafiken als .gif und Photos als .jpg) und Techniken entwickelt (Flash, Shockwave, Videos per Streaming-Technologie), die zu komprimierten Dateien führen. Dies geschah wegen der geringen Bandbreite beim Endnutzer (Modemleitung, z.Zt. max. 56.600 bps auf analogen Leitungen), die bei größeren Dateien zu längeren Wartezeiten und ggf. Abbrüchen führen.
Für die Realisierung von WWW-Auftritten existieren es zwei Strömungen, die "Puristen" (z.B. Nielsen http://www.useit.com/) und die "Technokraten" (neue Techniken wie Flash und Shockware müssen genutzt werden, jede Website braucht ein Intro).
Fast jeder Provider von Webseiten bietet die Möglichkeit der Erstellung von Logfiles an, bei dem Nutzungsdaten in größerem Umfang genutzt werden können.Kurzbeschreibung:
Bei dem Internet-Auftritt des Kunstmuseums Bonn handelt es sich um eine Web-Site mit mittlerem Umfang. Die Seiten sind wahrscheinlich statisch (werden nicht erkennbar von einer Datenbank live erzeugt). Die vermutete Funktion ist die der Öffentlichkeitsarbeit.URL:
http://www.bonn.de/Kunstmuseum/
Das Kunstmuseum hat keine eigene Internet-Domain, sondern ist auf dem Server Bonn.de zu finden, dem Auftritt der Stadt Bonn.Aufbau:
Nach einer schlicht gestalteten Startseite, die u.a. die Adresse des Museums und die Öffnungszeiten anzeigt, gelangt man nach wenigen Sekunden zu einer Übersichtsseite.
Die weiteren Seiten erfordern Java (startet automatisch) und sind aus 5 Frames (einzelne Web-Seiten, auf einer angezeigt) aufgebaut. Links oben ist ein leeres Frame (seltsamerweise grau; später fiel dann auf, dass es passend zur Menüleiste die ausgewählte Gruppierung anzeigt), links darunter ist eine Menüleiste, die mit Java-Applets arbeitet. Im oberen Frame befindet sich rechts das Logo (?) des Museums, welches zurück zur Übersichtsseite führt. Im großen Frame darunter findet man Bilder und Texte. Im unteren Frame befindet sich das Copyright und eine Sprungmöglichkeit zum Index und zur englischsprachigen Übersichtsseite (alles verlinkt).
Abb. 1: Seitenlayout
Gestaltung:
Die optisch ansprechende Übersichtsseite zeigt die wesentlichen Gestaltungsfarben. Weiß, schwarz, rot und diverse Grautöne. Die Farbgebung wird im gesamten Auftritt umgesetzt, nur Bilder der Künstler, Raumphotos, Quicktime-VR-Ansichten aus dem Museum und Grafiken (Umgebungkarte) in Farbe sowie ein Video durchbrechen dieses Muster. Die sechs Gruppierungen (Sammlungen, Ausstellungen, Aktuelles, Informationen, Museum und Architektur) tauchen später in der linken Menüleiste wieder auf.Vermutete Ziele des Auftritts:
Informationen über das Haus und seine Sammlungen und Ausstellungen ebenso wie aktuelle Informationen anbieten. Hinzu kommen noch Hintergrundinformationen für Besucher, Freunde des Hauses und architektonisch Interessierte. Die wichtigsten Fragen werden kurz angesprochen. Die Besucher sollen auf das Museum und aktuelle Ausstellungen neugierig gemacht werden.
Museumspädagogische Ziele (Vor- und Nachbereitungsmöglichkeiten) sollen nicht erreicht werden.
- Evaluationselemente
Navigation
Inhalt
Auffindbarkeit
- Bewertungskriterien
Eine gute Webseite sollte keine Benutzungsprobleme bei der Benutzung von Apple- und Windows-PCs aufweisen.
Ein Internet-Auftritt sollte leicht zu benutzen und übersichtlich sein.
- Methodenauswahl
Bei einer externen Evaluation (es wird der bestehende WWW-Auftritt evaluiert) können nicht alle Evaluationsmethoden angewandt werden. Es ist zum Beispiel kein Zugriff auf die Logfiles möglich.- Expertenbeurteilung (freie Vorgehensweise, Testen der Seite und Nutzung implizites Wissen (Erfahrung))
- Prüfung der Vernetzung im Internet (Eintrag in Verzeichnisse u.ä.)
- Besprechungen von dritter Seite
- Task-Analyse (auf einer Tagung XYZ kennengelernt - vielleicht vom Kunstmuseum in Bonn?)
- Analyse hinsichtlich der Kommunikations- / Interaktionsmöglichkeiten
- Analyse der Navigationselemente (sind die Stichworte verständlich und eindeutig)
- Evaluationsdesign (Vorgehensweise, Projektplan)
Expertenbeurteilung am Anfang, weitere Methoden folgen je nach investierbarer Zeit und guter Vorführbarkeit
- Ergebnisform
Die aufgefundenen Probleme sollten gewichtet werden, von schnell beheben bis vernachlässigbar.
In Hinblick auf die Finanzierbarkeit sollte auf einfache Verbesserungsmöglichkeiten hingewiesen werden.
- Evaluationsbeschreibung
folgt
- Grundlagen
Evaluator:
Marc Jelitto (http://marcjelitto.de/) ist seit 1995 online. Er beschäftigt sich theoretisch mit der Evaluation im Bereich digitaler Medien (http://www.evaluieren.de/), betreibt mehrerer WWW-Server (z.B. http://ausstellungsmediumcomputer.de/) und beschäftigt sich mit Web-Publishing (siehe Seminar http://www.uni-lueneburg.de/infu/team/jelitto/lehre/lehre3a.htm). Schwerpunkte der Web-Publishing-Interessen liegen auf der Planung und Umsetzung von WWW-Auftritten, und den damit verbundenen Fallstricken und Problemen. Diese Evaluation ist die erste "offizielle" Evaluation eines Web-Auftritts.Grundeinstellung des Evaluators:
Marc Jelitto ist eher puristisch eingestellt. Sein Leitmotto lautet: "Form follows function". Er ist der Meinung, Frames sollten nur im Notfall eingesetzt werden. Wichtig ist ihm eher der Inhalt einer Seite als seine optische Aufbereitung.Technische Hinweise:
Der Evaluator benutzte zum Betrachten der Seiten einen G3-Apple-Macintosh Rechner mit PowerPC-Prozessor und den Netscape® Communicator 4.74 (englische Version).
Java und Java Script sind aktiviert, ebenso Stylesheeds. Cookies werden nur akzeptiert, wenn sie zum Original-Server zurückgesandt werden.
Der Zugang zum Internet erfolgt über eine Standleitung (32 Mbit/s), Zugriffsort Universität Lüneburg.Evaluationsdatum:
Der erste Zugriff erfolgte am 17.05.2001 von 11.00-15.00 Uhr (Screenshots). Die weiteren Zugriffe erfolgten in den folgenden 8 Tagen.- Methodenanwendung
Expertenevaluation (17.Mai 2001, 12.00-14.00):
Adresse nur kurzfristig auf der Startseite erkennbar, später nicht komplett auffindbar. Teil unter *Informationen / Öffnungszeiten* bzw. */ Eintrittspreise* auffindbar (e-mail-Adresse und Fax-Nummer fehlen), dazu kommt, das der Text nur sehr klein geschrieben ist (jedenfalls am Mac). Besonders wichtig wäre die Adresse bei der Wegebeschreibung unter *Informationen / Anreise*. Die Adresse ist auch beim Copyright und über den Index zu finden.
Startseite
ÖffnungszeitenDer als Orientierungswerkzeug wichtige Index ist nicht über die Übersichtsseite zu erreichen.
Die Kategorie Ausstellungen / Übersicht ist undeutlich, sinnvoller wäre: Vergangene Ausstellungen.
Der Wechsel zum englischen Angebot ist nur über die Startseite, nicht aber direkt von einer deutschen Unterseite zur englischen möglich.
Finden einzelner Seiten per Suchmaschine - Querverweis zur Übersichtseite fehlt.
Suchzeile bei Google.de: August Macke Türkisches Café Kunstmuseum
http://www.google.de/search?hl=de&safe=off&q=August+Macke+T%FCrkisches+Caf%E9+kunstmuseum&meta=Navigationsbruch:
Sprung auf weitere Bilder nach unten anstatt vergrößert:
http://www.bonn.de/Kunstmuseum/sammlungen/macke/macke.htm#1
wie bei den Künstlervideos
http://www.bonn.de/Kunstmuseum/sammlungen/videos/videos.htmTechnische Probleme:
Bilder in zu kleinen Rahmen
Sammlungen / Künstlervideos
http://www.bonn.de/Kunstmuseum/sammlungen/videos/videos.htm
Bild vergrößern, neues Fenster nicht schließen, weitersurfen zu:
Sammlungen / Graphische Sammlung, Bild vergrößern -> wird unten abgeschnitten / oder wird (beim Mac) vom aktuellen Fenster verborgen
http://www.bonn.de/Kunstmuseum/sammlungen/graphik/graphik.htm
*Beleg*
Hinter Übersichtsseite muß die Zurück-Taste (Back-Button) des Browsers doppelt betätigt werden.
Nur Ausschnitt aus Stadtplan, keine größerräumige Einteilung vorhanden.
Bei längeren Seiten fehlen Sprungmöglichkeiten im Text nach unten:
Aktuelles / Führungen/Kurse zu Kindergeburtstag
http://www.bonn.de/Kunstmuseum/aktuelles/fuehrungen/fuehrungen.htmPrüfung der Vernetzung im Internet (Eintrag in Verzeichnisse u.ä.) (18.Mai 2001):
- Suche über Domains:
http://www.kunstmuseum.de/ Connectiert von Computerfirma.
Ansonsten erfolglos unter http://www.kunstmuseum-bonn.de/, http://www.kunstmuseumbonn.de/, http://www.kunstmuseum_bonn.de/.- Plazierung in Suchmaschinen:
Eintrag von "Kunstmuseum Bonn"
Google: http://www.google.de/search?q=kunstmuseum+bonn&hl=de&meta= Eintrag an erster Stelle
Altavista: http://search.de.altavista.com/cgi-bin/query?aveenc=1&pg=q&sc=on&q=kunstmuseum+bonn&kl=XX&what=de Eintrag an erster Stelle- Eintrag in Web-Katalogen:
web.de: WEB.DE > Verzeichnis > Kunst & Kultur > Museen & Ausstellungen > Museen in Deutschland
http://dir.web.de/Kunst+&+Kultur/Museen+&+Ausstellungen/Museen+in+Deutschland/? ist unter "Kunstmuseen" zu finden.yahoo.de: Yahoo! > Kunst und Kultur > Museen und Ausstellungen
"http://de.dir.yahoo.com/Kunst_und_Kultur/Museen_und_Ausstellungen/ ist unter "Kunstmuseen und Galerien nicht zu finden, sondern dann unter "Moderne und Zeitgenössische Kunst".- Eintrag auf spezifischen Museumsseiten:
Museum.com http://www.museum.com/ Quick-search nach Kunstmuseum ergab 11 Treffer, ohne das Kunstmuseum Bonn
Webmuseen (museen.de) http://www.museen.de/ Suche per Suchmaschine nach Kunstmuseum ergab zuviele Treffer, nach "Kunstmuseum Bonn" ergab 19 Treffer, ohne das Kunstmuseum Bonn (*Beleg*)
*Anmerkung Jelitto 17.09.2001:
Laut Auskunft von Rainer Göttlinger von museen.de ist das Museum auf eigenen Wunsch nicht eingetragen. Ein Korrekturbogen, mit dem die Aktualität der Daten überprüft werden sollte, kam vom Museum mit dem Vermerk "Veröffentlichung wird nicht gewünscht" zurück.*
Museumsdatenbank bei kunst-und-kultur.de http://kunst-und-kultur.de/Museum/bin/show/34897653489/ Treffer, inklusive Steckbrief
http://www.hco.hagen.de/museen/ unter "Kunstmuseen" gefunden
VL Museen - Museumsverzeichnisse http://kunst-und-kultur.de/Projekte/vl/, dort unter "Kunstmuseen" gefunden- Querverweise, die auf die Site weisen:
Suche nach der Domain, hier nach www.bonn.de/kunstmuseum/ bei Google.de
http://www.google.de/search?hl=de&safe=off&q=www.bonn.de%2Fkunstmuseum%2F+&btnG=Google-Suche&meta=
Ergebnis: ungefähr 235 SeitenBesprechungen von dritter Seite (18.Mai 2001):
MUSÉE: http://www.musee-online.org/
http://www.musee-online.org/rate.cgi?Kunst+Museum+Bonn Overall Site Score 3 (Bewertung von Homepage, 1-5 Punkte; 5 am Besten) (*Beleg*)Task-Analyse (18.Mai 2001):
Aufgabe: Auf einer Tagung wurde Frau Schmidt kennengelernt. Diese kommt vielleicht vom Kunstmuseum in Bonn. Überprüfen Sie diese Vermutung anhand der Webseiten.
Eine Lösung dieser Aufgabe ist mangels Mitarbeiterverzeichnis nicht möglich.
Analyse hinsichtlich der Kommunikations- / Interaktionsmöglichkeiten:
Außer einer versteckten e-mail-Adresse sind keinen weiteren digitalen Kommunikationsmöglichkeiten wie Anforderung von Broschüren, Kontaktfomulare, Gästebuch, Chatroom, Anmeldung zu einer Mailingliste, Versand von Rundmails (mit z.B. Infos zu aktuellen Informationen) vorhanden. Selbst der Verein kann nur per Telefon erreicht werden.
Neben dem passiven Nutzen von Text und Bildern sind Quicktime-VR Panoramas von Ausstellungsräumen aktiv nutzbar. Diese sind ohne Hotspots zum Vergrößern der Bilder und können nur einen groben Eindruck der Räume vermitteln. Unter Aktuelles / Audio & Videos finden sich ein Video über das Museum (Real-Audio mit 3,09 Minuten Länge) und fünf Tonbeispiele von Musikveranstaltungen.
Weiterhin gibt es keine Suchfunktion über die Seiten.Analyse der Navigationselemente:
Unklar ist bei Aktuelles der Unterschied zwischen Tageskalender und Events.
- DatensammlungDokumentation:
Bei "flüchtigen" Medien wie WWW-Seiten ist es wichtig, möglichst viel zu dokumentieren, um Ergebnisse belegen zu können. Auch können so betriebssystemspezifische Probleme festgehalten werden. Dies kann durch Abspeichern der Webseiten inklusive Bildern, Videos etc. passieren, oder durch Screenshots (Photos der aufgerufenen Seite auf dem Monitor, geschieht durch geeignete Software)- Startseite
- Übersichtsseite
- englischsprachige Übersichtsseite- Sammlungen / August Macke und die Rheinischen Expressionisten
- Ausstellungen / Aktuelle Ausstellungen
- Aktuelles / Tageskalender
- Informationen / Tickets online
- Museum / Verein der Freunde
- Architektur / Das Haus- Index
- Datenauswertung
- Datenbewertung
Verbesserungsvorschläge machen, Hinweise auf gute Lösungen im Netz verlinken
- Evaluationsbericht
Der Evaluationsbericht enthält auch die Dokumentation (Bilder wie Screenshots usw.), notfalls werden die Daten auf einer CD-ROM beigefügt.
- Beispiel für die Durchführung einer Evaluation
- Verbesserung des WWW-Auftritts
© 2001 Marc Jelitto, Universität Lüneburg
