Robots.txt Generator: Create Crawl Rules

Robots.txt Generator

Standard – alle Robots sind:	Erlaubt Gesperrt
Crawl-Verzögerung:	Standard – keine Verzögerung 5 Seconds 10 Seconds 20 Seconds 60 seconds 120 Seconds
Sitemap: (leer lassen, falls nicht vorhanden)
Suchmaschinen-Robots:	Google	Wie Standard Erlaubt Gesperrt
	Google Image	Wie Standard Erlaubt Gesperrt
	Google Mobile	Wie Standard Erlaubt Gesperrt
	MSN Search	Wie Standard Erlaubt Gesperrt
	Yahoo	Wie Standard Erlaubt Gesperrt
	Yahoo MM	Wie Standard Erlaubt Gesperrt
	Yahoo Blogs	Wie Standard Erlaubt Gesperrt
	Ask/Teoma	Wie Standard Erlaubt Gesperrt
	GigaBlast	Wie Standard Erlaubt Gesperrt
	DMOZ Checker	Wie Standard Erlaubt Gesperrt
	Nutch	Wie Standard Erlaubt Gesperrt
	Alexa/Wayback	Wie Standard Erlaubt Gesperrt
	Baidu	Wie Standard Erlaubt Gesperrt
	Naver	Wie Standard Erlaubt Gesperrt
	MSN PicSearch	Wie Standard Erlaubt Gesperrt
Gesperrte Verzeichnisse:	Pfade sind relativ zum Stammverzeichnis und müssen mit einem Schrägstrich enden "/"

Lege nun im Stammverzeichnis deiner Website eine robots.txt-Datei an und füge den Text oben ein.

Info Robots.txt Generator

A robots.txt file sits at the root of your site and tells well-behaved crawlers which areas they may visit. A small typo can block an entire site, so a generator helps you get the syntax right.

How to use it

1. Choose whether all robots are allowed or refused by default.
2. Optionally set a crawl delay and add your sitemap address.
3. Adjust individual search bots and list any folders to keep out.
4. Generate, copy the text and save it as robots.txt in your root folder.

Important to know

Robots.txt is a request, not a lock. Private content still needs a password. Blocking a page from crawling also doesn't guarantee it stays out of search results; use a noindex tag for that. After uploading, open yoursite.com/robots.txt in a browser to confirm it's live.