Robots.txt Generator: Create Crawl Rules

Robots.txt Generator

Par défaut – tous les robots sont:	Autorisés Bloqués
Délai d'exploration:	Par défaut – aucun délai 5 Seconds 10 Seconds 20 Seconds 60 seconds 120 Seconds
Sitemap: (laissez vide si vous n'en avez pas)
Robots des moteurs:	Google	Comme par défaut Autorisés Bloqués
	Google Image	Comme par défaut Autorisés Bloqués
	Google Mobile	Comme par défaut Autorisés Bloqués
	MSN Search	Comme par défaut Autorisés Bloqués
	Yahoo	Comme par défaut Autorisés Bloqués
	Yahoo MM	Comme par défaut Autorisés Bloqués
	Yahoo Blogs	Comme par défaut Autorisés Bloqués
	Ask/Teoma	Comme par défaut Autorisés Bloqués
	GigaBlast	Comme par défaut Autorisés Bloqués
	DMOZ Checker	Comme par défaut Autorisés Bloqués
	Nutch	Comme par défaut Autorisés Bloqués
	Alexa/Wayback	Comme par défaut Autorisés Bloqués
	Baidu	Comme par défaut Autorisés Bloqués
	Naver	Comme par défaut Autorisés Bloqués
	MSN PicSearch	Comme par défaut Autorisés Bloqués
Répertoires bloqués:	Les chemins sont relatifs à la racine et doivent se terminer par une barre oblique "/"

Créez ensuite un fichier robots.txt à la racine de votre site et collez-y le texte ci-dessus.

À propos Robots.txt Generator

A robots.txt file sits at the root of your site and tells well-behaved crawlers which areas they may visit. A small typo can block an entire site, so a generator helps you get the syntax right.

How to use it

1. Choose whether all robots are allowed or refused by default.
2. Optionally set a crawl delay and add your sitemap address.
3. Adjust individual search bots and list any folders to keep out.
4. Generate, copy the text and save it as robots.txt in your root folder.

Important to know

Robots.txt is a request, not a lock. Private content still needs a password. Blocking a page from crawling also doesn't guarantee it stays out of search results; use a noindex tag for that. After uploading, open yoursite.com/robots.txt in a browser to confirm it's live.