Kunden sind oft enttäuscht, wenn die Google- oder Bing-Suchergebnisse diesen Text für die eigene Webseite ausgeben:

Die Datei „robots.txt“ auf dieser Webseite
lässt nicht zu, dass eine Beschreibung
für das Suchergebnis angezeigt wird.

Bei der Entwicklung einer Webseite sollten diese beiden Einstellungen aktiv sein:
1. Maintenance Mode an. Das ist ein Plugin, das den Besuchern eine „Baustellen-Seite“ anzeigt.
2. WordPress-Dashboard -> Einstellungen -> Lesen. Haken gesetzt bei: Suchmaschinen davon abhalten, diese Website zu indexieren.

Wenn die Seite fertig ist führt man diese Aktionen durch:
1. Maintenance Mode ausschalten.
2. WordPress-Dashboard -> Einstellungen -> Lesen. Haken rausnehmen bei: Suchmaschinen davon abhalten, diese Website zu indexieren.
3. Webseite indexieren lassen. Für Google wählt man: https://www.google.com/webmasters/tools/submit-url

Wenn man die Reihenfolge ändert, lässt man Google eine Seite indexieren, bei denen die robots nicht drüberlaufen dürfen. Dann erscheint dieses schräge Suchergebnis: „Die Datei „robots.txt“ auf dieser Webseite lässt nicht zu, dass…..“
Es kann aber auch sein, dass niemand einen Fehler gemacht hat und Google gleich nach der Bestellung der Domain die Seite indexiert hat und seitens des Hosting-Unternehmens die Crawler-Roboter blockiert wurden. Niemand ist schuld aber es ist schlecht für das SEO der Webseite.

Lösung: Seite neu indexieren lassen und in 2-7 Tagen ändern sich die Suchergebnisse.

 

Hinweis für Sitemap: Vor dem Indexieren der Webseite durch Google sollte eine Sitemap erstellt werden und bei den Google Search Console eingereicht werden.