Interessant, was die Datei http://www.whitehouse.gov/robots.txt dem verrät, der sie lesen kann.

Zur Erklärung: Web-Spider wie Suchmaschinen fragen die zu durchsuchenden Seiten üblicherweise freundlich, welche Bereiche der Seite nicht indiziert werden sollen. Ganz oben sieht man, daß die Einträge für alle Roboter gelten soll (*), darunter steht jede ‚Disallow‘-Zeile für einen Bereich der Seite die nicht in Suchmaschinen auftauchen soll. Irgendwie Schizophren, etwas zu veröffentlichen und dann zu verhindern daß es gefunden wird… oder?