Die Studie tritt also in die Fussstapfen grosser Retrievalsystemevaluationen wie TREC (Harman, 1995), CLEF4 (Peters & Braschler, 2001), und NTCIR5 (Kando,2004), bleibt aber im Gegensatz zu diesen breiter abgestellten Unternehmungen fest dem Grundsatz verpflichtet, konkrete Unternehmens-Websites, nicht unterliegende Systeme, von Anbietern aus der Schweiz zu erfassen.


2. Testanordnung und Durchführung
2.1. Evaluations-Raster
Für die Untersuchung der Sitesuche haben Eurospider, HTW Chur, namics und Zürcher Hochschule Winterthur gemeinsam ein Evaluationsraster entwickelt. Das Raster ist in vier Bereiche gegliedert (Suchindex, Vergleich von Anfragen und Dokumenten, Benutzerinteraktion und Suchergebnisse), mit deren Hilfe die wesentlichen Dimensionen einer Sitesuche abgedeckt werden. Diese Hauptkriterien werden jeweils durch mehrere Subkriterien gebildet, und jedes Subkriterium wiederum durch eine Reihe von Einzeltests ermittelt.
So besteht beispielsweise das Hauptkriterium Anfrage- und Dokumentenvergleich aus den drei Kriterien Anfrageausführung, Ausdrucksstärke der Abfragesprache und Metadatenqualität.
Die Anfrageausführung wird durch drei Einzeltests ermittelt:

�� Werden sehr lange Anfragen ausgewertet?
�� Können Phrasen mit Stoppwörtern gesucht werden?
�� Ist die Suche gegenüber Flexionen (Wortbeugungen) robust?

Diese Strukturierung ermöglicht, einzelne Aspekte der Sitesuche differenziert zu bewerten und zu würdigen.
Das Evaluationsraster besteht überwiegend aus manuellen sowie einigen ausgewählten automatische Tests. Für jeden einzelnen Test wurde ein Testprotokoll formuliert, welches Punkt für Punkt durchgegangen werden musste. Für die Codierung der Ergebnisse wurden ebenfalls feste Vorgaben gemacht.
Das vollständige Evaluationsraster wurde von Eurospider, HTW Chur und namics in einem Pre-Test zunächst im Hinblick auf seine Durchführbarkeit hin überprüft. Zu diesem Zweck wurden die Site-Suchen von drei grossen Schweizer Versicherungsgesellschaften der Evaluation unterzogen. Die Pre-Tests führten unter anderem zum Ausschluss verschiedener nicht durchführbarer Tests. Auf Tests, die nicht isoliert, ohne Intervention der Betreiber stattfinden konnten, wurde verzichtet. Stattdessen wurden zum Teil neue Tests mit einbezogen.

[Vorherige]  1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 [...]  [Nächste]