Laut einem Test der Schallhorn Omnisearch arbeitet Google trotz klaren Auflagen gegen die Richtlinien in Webseiten. Google indiziert auch Seiten auf sogenannten sicheren Servern [SSL], die über das HTTPS-Protokoll geliefert werden. Eigentlich sollten diese laut Sicherheits-Richtlinien nicht indiziert werden, das würde die Sicherheit massiv steigern. Google gibt auch vor, solche Seiten nicht zu indizieren. Inzwischen wurden aber schon mehr als 3.8 Millionen solcher Seiten durch Google indiziert. Schlimmer noch: Google gibt zwar vor, den robots.txt-Standard zu beachten, ignoriert aber zumindest beim Abruf von Seiten über HTTPS genau das Protokoll, das Spidern den Zugriff auf bestimmte Web-Bereiche verbietet. Inzwischen haben Googles Spider 161,000 cgi-bin Programme auf HTTPS-Servern ein- oder mehrfach ausgeführt. Wer die in entsprechenden Suchergebnissen genannten Server prüft, findet schon unter den ersten 10 Ergebnissen solche, deren robots.txt-Dateien Spidern den Zugriff auf /cgi-bin und andere Bereiche auf HTTPS-Servern ausdrücklich verbieten. Web-Verantwortliche, die verhindern wollen, dass Seitenaufrufe oder Programmausführungen über HTTPS von Spidern ausgelöst werden, sind gezwungen, neue Schutzmassnahmen zu ergreifen.

Website