What is the 007AC9 Crawler?

We here at SISTRIX have made it our task to evaluate both content and networks on the Internet to break open the shackles of information-monopolies that has come to be, thanks to the giants in the searchengine market. The information necessary for that comes in part from our 007AC9 Crawler.

How often will my site get visited by the 007AC9 Crawler?

The update-intervals depend on both the size of your website as well as its popularity. We will try our best to make sure we do not put any excess strain on your webservers. This means that usually only one crawler will search through your domain’s content at a time. Should we notice that response-times are starting to lag, we will finish our crawling process at a more convenient time.

Will the 007AC9 Crawler obey the content of my robots.txt?

The 007AC9 Crawler will obey the Robot Exclusion Standard and will take the entries in your robots-txt file into account. To add exceptions for just the 007AC9 Crawler, please use “007ac9” for the user-agent-specification.

Do you have any other questions? Please send them to crawler@sistrix.com – we will try to get back to you as soon as possible.


Was ist der 007AC9 Crawler?

Wir von SISTRIX haben es uns zur Aufgabe gemacht, Inhalte und Netzwerke im Internet zu untersuchen, um Informationsmonopole, wie sie derzeit durch Suchmaschinengiganten entstanden sind, aufzubrechen. Die dafür notwendigen Informationen sammelt zum Teil der 007AC9 Crawler.

Wie häufig wird meine Seite vom 007AC9 Crawler besucht?

Die Update-Intervalle hängen von der Größe und Beliebtheit Ihrer Webseite ab. Wir versuchen natürlich, mögliche Belastungen für Ihren Webserver zu vermeiden. So wird in der Regel nur ein Crawler zeitgleich die Inhalte Ihrer Domain untersuchen. Sollten wir dabei langsame Antwortzeiten feststellen, setzen wir den Crawldurchlauf zu einer geeigneteren Zeit fort.

Beachtet der 007AC9 Crawler den Inhalt meiner robots.txt?

Selbstverständlich unterstützt der 007AC9 Crawler den Robot Exclusion Standard und beachtet dabei die Einträge in der robots.txt-Datei. Um den 007AC9 Crawler dabei individuell anzusprechen, nutzen Sie bitte "007ac9" als User-Agent-Angabe.

Haben Sie weitere Fragen? Wenden Sie sich mit Ihrer Frage an crawler@sistrix.com – wir versuchen, Ihnen schnellstmöglich zu antworten.