Robots.txt Generator

Robots.txt Generator

Standard - Alle Roboter sind:	Dürfen Verweigert
Crawl-Verzögerung:	Standard - Keine Verzögerung 5 Seconds 10 Seconds 20 Seconds 60 seconds 120 Seconds
Seitenverzeichnis: (leer lassen, wenn Sie nicht haben)
Roboter suchen:	Google	Wie Standard Dürfen Verweigert
	Google Image	Wie Standard Dürfen Verweigert
	Google Mobile	Wie Standard Dürfen Verweigert
	MSN Search	Wie Standard Dürfen Verweigert
	Yahoo	Wie Standard Dürfen Verweigert
	Yahoo MM	Wie Standard Dürfen Verweigert
	Yahoo Blogs	Wie Standard Dürfen Verweigert
	Ask/Teoma	Wie Standard Dürfen Verweigert
	GigaBlast	Wie Standard Dürfen Verweigert
	DMOZ Checker	Wie Standard Dürfen Verweigert
	Nutch	Wie Standard Dürfen Verweigert
	Alexa/Wayback	Wie Standard Dürfen Verweigert
	Baidu	Wie Standard Dürfen Verweigert
	Naver	Wie Standard Dürfen Verweigert
	MSN PicSearch	Wie Standard Dürfen Verweigert
Eingeschränkte Verzeichnisse:	Der Pfad ist relativ zu root und muss einen abschließenden Schrägstrich enthalten "/"

Erstellen Sie jetzt die Datei "robots.txt" in Ihrem Stammverzeichnis. Kopieren Sie den obigen Text und fügen Sie ihn in die Textdatei ein.

Über Robots.txt Generator

Über Robots.txt Generator

Um zu verstehen, wofür robots.txt tatsächlich nützlich ist, sollten Sie sich die Definition dieses Bereichs ansehen. Sie haben es vielleicht selbst erlebt: Sie gehen auf eine Website und plötzlich erscheint eine Meldung: Fehler404 erscheint hier. Was ist los? Die Suchmaschine besuchte die Seite und forderte robots.txt zur Indizierung an.

Wenn dies nicht verfügbar ist, tritt ein Fehler auf. Für Besucher Ihrer Website bedeutet dies, dass ein Problem vorliegt. Also darf er nicht zurückkommen. Dies ist bei Verwendung von robots.txt nicht der Fall. Sie können in der Datei eine Beschreibung angeben, welche Teile der Seite möglicherweise nicht dargestellt sind. Dateien, die nicht im Bereich robots.txt angegeben sind, können auch von Suchmaschinen indiziert werden.

Tipp: Wenn Sie diese Datei nicht haben, zeigen Suchmaschinen Ihre Website möglicherweise überhaupt nicht. Auf diese Weise möchten Suchmaschinen sicherstellen, dass keine negativen Seiten indiziert werden. In diesem Fall sind Sie jedoch ebenfalls betroffen, wenn Ihre Webseite keinen negativen Inhalt enthält.