Mit diesen Tools können Sie eine robots.txt erstellen und prüfen

Eine robots.txt ermöglicht es Ihnen, die Crawler/Robots der Suchmaschinen daran zu hindern, bestimmte Unterseiten oder ganze Bereiche einer Website nicht zu crawlen und damit in den Index der jeweiligen Suchmaschine aufzunehmen. Diese Datei wird in dem Hauptverzeichnis gespeichert, in dem auch die Daten für die Website abgelegt sind. In der Datei können nun einerseits einzelne Seiten, andererseits aber auch ganze Ordner für den Robot der Suchmaschinen gesperrt werden.

Bild: geralt /pixabay.com

robots.txt prüfen

Wenn Sie bereits eine robots.txt-Datei nutzen, sollten Sie sie einmal daraufhin testen, ob sie ihren Zweck auch erfüllt. Mit einem solchen Test überprüfen Sie zum einen, ob Sie vielleicht durch die Datei irgendwelche Unterseiten aus der Indexierung aussperren, die eigentlich gecrawlt werden sollten, und zum anderen, ob Seiten für die Indexierung freigegeben sind, die eigentlich nicht für die Öffentlichkeit bestimmt sind. Im Folgenden stellen wir Ihnen drei Tools vor, mit denen Sie eine solche Überprüfung ganz einfach vornehmen können:

Robots.txt Checker (Motoricerca)

Der Robots.txt Checker von Motoricerca ist einfach zu bedienen. Sie geben zunächst die URL der robots.txt ein, die Sie überprüfen möchten. Im Vergleich zu anderen Tools muss hier die komplette URL inklusive „robots.txt“ stehen, damit der Check funktioniert. Klicken Sie anschließend auf „Check robots.txt“. Gleich im Anschluss werden Ihnen die Ergebnisse angezeigt. Wenn der Checker Fehler findet, markiert er diese in der jeweiligen Zeile in rot und zeigt auch gleich an, worin der Fehler besteht (s. Beispiel im Screenshot).

Zum Tool

Motoricera robots.txt prüfen

Robots.txt Syntax Checker

Auch bei diesem Syntax Checker geben Sie zunächst die URL ein, dieses Mal jedoch ohne “robots.txt”. Klicken Sie anschließend auf den Button „Submit this site’s robots.txt file for checking“ und starten Sie damit die Auswertung. Gefundene Fehler werden anschließend übersichtlich aufgelistet und auch die zugehörigen Probleme werden aufgezeigt. Dieses Tool ist besonders übersichtlich, weil auf die Einblendung von Zeilen, die in Ordnung sind, verzichtet wird.

Zum Tool

Robots.txt Syntax Checker

Google Webmastertools

Die Google Webmastertools können Sie für die Prüfung einer Website nur nutzen, wenn Sie ein Konto dafür besitzen. Gehen Sie dann wie folgt vor:

  1. Suchen Sie die Startseite der Google Webmastertools auf und wählen Sie die Seite aus, deren robots.txt analysiert werden soll.
  2. Links in der Menüleiste finden Sie unter dem Punkt „Website-Konfiguration“ den „Crawler-Zugriff“, den Sie bitte öffnen.
  3. Klicken Sie ganz unten auf „Test“, damit die Analyse gestartet wird.

Ganz unten können Sie die Testergebnisse einsehen. Hier werden etwaige Fehler oder Unstimmigkeiten angezeigt.

Google Webmastertools robots.txt prüfen

robots.txt erstellen

Wenn Sie noch keine robots.txt einsetzen, können Sie diese ganz einfach mithilfe verschiedener Tools erstellen. Auch für diesen Fall zeigen wir Ihnen wieder drei nützliche Tools:

Robots.txt erstellen bei art2digital.com

Der robots.txt-Generator von art2digital.com ermöglicht es Ihnen, verschiedenste Einstellungen vorzugeben, die dann automatisch in den Text Ihrer robots.txt umgesetzt werden:

  • Geben Sie ein, um wie viele Sekunden der Crawl ggf. verzögert werden soll.
  • Schließen Sie auf Wunsch einzelne Such-Robots aus, beispielsweise den yahoo-slurp der Yahoo-Suchmaschine oder den googlebot der Google-Suchmaschine.
  • Geben Sie bis zu fünf Verzeichnisse ein, die für Crawler gesperrt werden soll.

Sobald Sie den Button „Erstelle Robots.txt“ betätigen, erscheint im Feld darüber der generierte Code. Diesen müssen Sie nun nur noch in ein einfaches Textfile speichern, als „robots.txt“ (Kleinschreibung beachten!) speichern und ihn auf Ihren Webserver laden. Wenn das File online ist, sollten Sie es mit einem der oben genannten Tools überprüfen.

Zum Tool

Art2Digital robots.txt erstellen

Robots.txt erstellen bei Webmaster-Elite.de

Nicht annähernd so umfangreich ist das Tool der Webmaster-Elite; dennoch soll es nicht unerwähnt bleiben. Geben Sie zunächst die URL ein, für die die robots.txt erstellt werden soll. Wählen Sie aus, ob alle Suchmaschinen Ihre Website crawlen dürfen. Sie können bis zu drei bestimmte Verzeichnisse oder Dateien vom Crawler ausnehmen und hierfür sogar noch Ausnahmen für bestimmte Suchmaschinen definieren.

Klicken Sie anschließend auf den Button „Abschicken“ und auf der nächsten Seite wird der Text Ihrer robots.txt angezeigt.

Zum Tool

Webmaster-Elite robots.txt erstellen

Robots.txt erstellen mit Google Webmastertools

Wenn Sie ein Webmastertools- Konto besitzen, können Sie damit auch eine robots.txt-Datei erstellen. Dabei handelt es sich von den drei Tools um die komfortabelste und umfangreichste Möglichkeit. Gehen dazu so vor:

  1. Suchen Sie die Startseite der Google Webmastertools auf und wählen Sie die Seite aus, deren robots.txt analysiert werden soll.
  2. Links in der Menüleiste finden Sie unter dem Punkt „Website-Konfiguration“ den „Crawler-Zugriff“, den Sie bitte öffnen.
  3. Öffnen Sie die Registerkarte „Datei robots.txt erstellen“.
  4. Wählen Sie aus, ob Sie grundsätzlich alle Crawler zulassen oder blockieren wollen (in letzterem Fall wird Ihre Website überhaupt nicht indiziert).
  5. Im nächsten Schritt können Sie optional weitere Regeln angeben. Sie können Verzeichnisse oder Dateien für alle oder einzelne Crawler blockieren oder zulassen.
  6. Sobald Sie eine neue Regel angelegt haben, wird sofort im Feld darunter der geänderte Text der robots.txt angezeigt.
  7. Über die Schaltfläche „Download“ können Sie die bereits fertige Datei herunterladen, die Sie dann nur noch auf Ihrem Webserver speichern müssen.

Webmastertools robots.txt erstellen

 

 

 

 



Sind Sie der geborene Unternehmer? Jetzt testen!