Robots.txt Generator: Create Crawl Rules

Robots.txt Generator

Predeterminado: todos los robots están:	Permitidos Bloqueados
Retraso de rastreo:	Predeterminado: sin retraso 5 Seconds 10 Seconds 20 Seconds 60 seconds 120 Seconds
Sitemap: (déjalo vacío si no tienes uno)
Robots de búsqueda:	Google	Igual que el predeterminado Permitidos Bloqueados
	Google Image	Igual que el predeterminado Permitidos Bloqueados
	Google Mobile	Igual que el predeterminado Permitidos Bloqueados
	MSN Search	Igual que el predeterminado Permitidos Bloqueados
	Yahoo	Igual que el predeterminado Permitidos Bloqueados
	Yahoo MM	Igual que el predeterminado Permitidos Bloqueados
	Yahoo Blogs	Igual que el predeterminado Permitidos Bloqueados
	Ask/Teoma	Igual que el predeterminado Permitidos Bloqueados
	GigaBlast	Igual que el predeterminado Permitidos Bloqueados
	DMOZ Checker	Igual que el predeterminado Permitidos Bloqueados
	Nutch	Igual que el predeterminado Permitidos Bloqueados
	Alexa/Wayback	Igual que el predeterminado Permitidos Bloqueados
	Baidu	Igual que el predeterminado Permitidos Bloqueados
	Naver	Igual que el predeterminado Permitidos Bloqueados
	MSN PicSearch	Igual que el predeterminado Permitidos Bloqueados
Directorios bloqueados:	Las rutas son relativas a la raíz y deben terminar en barra "/"

Ahora crea un archivo robots.txt en la carpeta raíz de tu sitio y pega en él el texto de arriba.

Acerca de Robots.txt Generator

A robots.txt file sits at the root of your site and tells well-behaved crawlers which areas they may visit. A small typo can block an entire site, so a generator helps you get the syntax right.

How to use it

1. Choose whether all robots are allowed or refused by default.
2. Optionally set a crawl delay and add your sitemap address.
3. Adjust individual search bots and list any folders to keep out.
4. Generate, copy the text and save it as robots.txt in your root folder.

Important to know

Robots.txt is a request, not a lock. Private content still needs a password. Blocking a page from crawling also doesn't guarantee it stays out of search results; use a noindex tag for that. After uploading, open yoursite.com/robots.txt in a browser to confirm it's live.