Suchmaschinen

robots.txt blockiert die gesamte Seite

Üblicher Schweregrad: hoch · Aufwand: minimal

Woran du es erkennst

Die robots.txt enthält für "User-agent: *" ein "Disallow: /" ohne gegensteuerndes "Allow" — alle Suchmaschinen werden angewiesen, die komplette Seite nicht zu crawlen.

Warum es zählt

Ein versehentliches sitewides "Disallow: /" (oft aus einer Staging-/Entwicklungsumgebung übernommen) nimmt die gesamte Website aus den Suchergebnissen — der schwerwiegendste einzelne, leicht zu übersehende SEO-Fehler. Der gesamte organische Traffic bricht weg, sobald Google die Datei neu einliest.

So behebst du es

  1. Die Zeile "Disallow: /" aus der "User-agent: *"-Gruppe entfernen, wenn die Seite öffentlich auffindbar sein soll.
  2. Sollen nur einzelne Bereiche gesperrt werden, gezielt deren Pfade angeben (z. B. "Disallow: /admin/") statt der ganzen Seite.
  3. Nach der Änderung in der Google Search Console (robots.txt-Tester / URL-Prüfung) bestätigen, dass wichtige Seiten wieder crawlbar sind.
  4. Prüfen, ob die robots.txt versehentlich aus einer Staging-Umgebung deployt wurde, und den Deploy-Prozess so absichern, dass das nicht erneut passiert.

Zum Nachlesen