Drei robots.txt-Fehler, die ich selbst gemacht habe

Vorher: Meine Produktseiten tauchten nicht im Google-Index auf. Drei Wochen lang. Ich checkte alles: Meta-Tags, Sitemaps, interne Verlinkung. Nichts half.

Nachher: Eine Zeile in der robots.txt war schuld. Fünf Minuten Arbeit, Problem gelöst.

Fehler Nummer eins war bei mir: Disallow: /produkte statt Disallow: /produkte-alt. Ein Tippfehler. Klingt banal, aber Google crawlt dann halt nicht.

Zweiter klassischer Fehler: Die Sitemap-URL in der robots.txt zeigt auf eine 404-Seite. Passiert schnell nach einem Relaunch. Ich teste jetzt jeden Link in der robots.txt manuell im Browser.

Der dritte: Wildcards falsch einsetzen. Disallow: *.pdf funktioniert nicht so, wie du denkst. Du brauchst Disallow: /*.pdf$ für korrekte Regex-Syntax.

Mein Workflow jetzt: Erst die robots.txt im Google-Robots-Testing-Tool prüfen. Dann fünf wichtige URLs testen. Dauert zwei Minuten, spart Wochen Debugging.

Niemand muss wissen, dass du diesen Fehler hattest. Du fixst es einfach, wartest ein paar Tage auf den Re-Crawl und gut ist.