Die Frage, ob die verschiedenen Kriterien korrekt evaluiert wurden, muss differenziert beantwortet werden. Im Nachhinein konnten bei vereinzelten Tests Probleme identifiziert werden, welche zu nur teilweise korrekten Resultaten führten. Aufgrund der Erfahrung in den grossen Evaluationsforen wurde das Evaluationsraster jedoch so angelegt, dass diese Fehler keinen Einfluss haben auf die Kernaussagen. Die wichtigsten Mechanismen sind die Folgenden.

�� Genügend grosse Anzahl von Tests, was mit 74 erfüllt ist.
�� Die Testpersonen müssen die Tests unabhängig vom darunter liegenden Produkt evaluieren. Dies wurde erreicht, indem die Testpersonen keine Beziehung zu den Site-Suchprojekten hatten und die Zuteilung nach dem Zufallsprinzip erfolgte.
�� Die Bewertungen erfolgen relativ zu den Bewertungen anderer Site-Suchen. Dies erfordert genügend viele zu testende Site-Suchen, was mit 56 erfüllt ist.

Zusammenfassend kann man sagen, dass die in der Studie gemachten Erkenntnisse fundiert sind. Die Kernaussagen werden nicht relativiert durch vereinzelte Unschönheiten, welche aber in zukünftigen Studien trotzdem eliminiert werden sollten.


10. Literaturverzeichnis
Alvarado, C., Teevan, J., Ackerman, M. and Karger, D. (2003). Surviving the Information Explosion: How People find their Electronic Information. AI Memo 2003-006. http://haystack.lcs.mit.edu/papers/alvarado.aim03.pdf, verifiziert am 28.11.2006, 20:52 Uhr MEZ
Braschler, M., Ripplinger, B. (2004). How Effective is Stemming and Decompounding for German Text Retrieval? Information Retrieval, Volume 7, Issue 3/4, 291-306, Kluwer Academic Publishers Cleverdon, C. W. (1967). The Cranfield tests on index language devices. Aslib Proceedings, 19, 173-192. Reprinted in (Sparck Jones & Willett, 1997) Cremers, Iris et al. (2006). It’s Time To Update Site Search Functionality. Best Practices. Forrester Research, Inc.
Dumais, S., Cutrell, E., Cadiz, J.J., Jancke, G., Sarin, R., and Robbins, D. C. (2003). Stuff I’ve Seen: A System for Personal Information Retrieval and Re-Use. Proceedings of SIGIR ’03, 72-79, 2003. http://research.microsoft.com/~sdumais/SISCore-SIGIR2003-Final.pdf, verifiziert am 24.11.2006, 11:52 Uhr MEZ

[Vorherige]  [...] 26 27 28 29 30 31  [Nächste]