Domänen-URLs für die test (MAX 50) ↓ Captcha: aktualisieren
|
Was Macht den Test Robots.Txt Tool Tun?
Unsere robots.txt checker wird in der Lage sein zu überprüfen-Fehler aufgrund von Tippfehlern, syntax und "Logik", sowie geben Ihnen wertvolle Tipps zur Optimierung.
Legen Sie einfach die URLs der websites, drücken Sie "Check", und dieses tool wird automatisch die Prüfung der Anwesenheit und inhaltlichen Korrektheit von robots.txt und auch alle Daten anzeigen, die in den Bericht.
Was ist ein Robots.Txt Datei?
Robots.txt ist eine Datei auf Ihrer domain (some-site.com/robots.txt), der angibt, ob bestimmte web-crawling-software oder bots kann oder nicht Crawlen Sie die verschiedenen Seiten Ihrer website. Crawl-Anweisungen angegeben werden, indem Sie "verbieten" oder "erlauben" Seiten Ihrer Website gecrawlt werden, die von den verschiedenen web-crawler.
Gängigen SEO-Tools / Alle Werkzeuge