Twosteps FAQ

Eine Reihe von Robots (meist von Suchmaschinenbetreibern, aber leider auch von Spammern) rufen die Webseiten automatisiert ab und verarbeiten dabei deren Inhalte (Bilder (z.B. Google-Image), Texte, Emailadressen ect) . Die Datei robots.txt erlaubt die Steuerung dieser Robots.

Robots suchen zuerst nach der robots.txt. Ist diese nicht vorhanden, gibt es einen Fehler im Logfile, der Robot verwendet dann die Standardeinstellung.

Der Aufbau der Datei ist sehr einfach; eine Textdatei enthält zeilenweise Befehle, z.B.:

User-agent: *
Disallow: /
User-agent: msnbot
Disallow: /private/

Der Schutz von Verzeichnissen/Daten vor Robots mittels der robot.txt ist nicht wirklich ausgereift, da sich die Programmierer dieser Robots nicht immer an die Regeln halten. Wir sind jedoch gerne bereit, Robots systemseitig auszusperren, wenn sich ein Robot bei Ihnen nicht sauber verhält. Hierfür genügt eine Email an den Support mit Datum, Uhrzeit und Domain auf die der Robot zugegriffen hat. Nach Prüfung durch den Support wird der Robot dann bei Ihnen geblockt