de webmaster a webmaster

Quiero que me indexen por esto

sin comentarios, faltaría plus, venga haz el tuyo pinchando aquí que esto tiene premio seguro!

¿Cómo decirle a un buscador lo que quieres que indexen y lo que no?

Podrías escribirlo en la home… bromas a parte el archivo robots.txt es un archivo que se coloca en la raíz del servidor y sirve para que los bots y spiders que pupulan por la red lo lean y se atengan a él.

Estos bots son entre otros los mismos buscadores como la todopoderosa con su GoogleBot, otros muchos bots son de origen desconocido y algunos se pueden comportar de forma especialmente violenta provocando por ejemplo una saturación en tu servidor y dejándolo  sin servicio.

Los bots buenos respetan las indicaciones que se le indiquen a través del fichero “robots.txt”, un fichero donde le dices, index este archivo o este directorio porque aquí vas a encontrar contenido, en cambio en este directorio no hay contenido y no pierdas el tiempo ni me hagas derrochar ancho de banda ni recursos de mis servidor para nada.

Dada esta teoría de una forma un tanto brusca pero pienso yo que bastante clara vamos a mostraros el contenido de diferentes ficheros robots.txt para diferentes gestoresd de contenidos, de forma que tan sólo tengas que copiar y pegar:

Fichero robots.txt de

User-agent: *
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /tag
Disallow: /author
Disallow: /wget/
Disallow: /httpd/
Disallow: /cgi-bin
Disallow: /images/</pre>
Disallow: /search
Disallow: /feed
Disallow: /feed/
Disallow: /trackback/
Disallow: /rss
Disallow: /comments/feed
Disallow: /feed/$
Disallow: /*/feed/$
Disallow: /*/feed/rss/$
Disallow: /*/trackback/$

User-agent: *Disallow: /wp-adminDisallow: /wp-includesDisallow: /wp-content/pluginsDisallow: /wp-content/cacheDisallow: /wp-content/themesDisallow: /trackbackDisallow: /tagDisallow: /authorDisallow: /wget/Disallow: /httpd/Disallow: /cgi-binDisallow: /images/</pre>Disallow: /searchDisallow: /feedDisallow: /feed/Disallow: /trackback/Disallow: /rssDisallow: /comments/feedDisallow: /feed/$Disallow: /*/feed/$Disallow: /*/feed/rss/$Disallow: /*/trackback/$

Fichero robots.txt para Magento

User-agent: *

Disallow: /wp-admin

Disallow: /wp-includes

Disallow: /wp-content/plugins

Disallow: /wp-content/cache

Disallow: /wp-content/themes

Disallow: /trackback

Disallow: /tag

Disallow: /author

Disallow: /wget/

Disallow: /httpd/

Disallow: /cgi-bin

Disallow: /images/</pre>

Disallow: /search

Disallow: /feed

Disallow: /feed/

Disallow: /trackback/

Disallow: /rss

Disallow: /comments/feed

Disallow: /feed/$

Disallow: /*/feed/$

Disallow: /*/feed/rss/$

Disallow: /*/trackback/$

Fichero robots.txt para Drupal

User-agent: *

# Directorios

Disallow: /database/

Disallow: /includes/

Disallow: /misc/

Disallow: /modules/

Disallow: /sites/

Disallow: /themes/

Disallow: /scripts/

Disallow: /updates/

Disallow: /profiles/

# Rutas (con permalinks activos)

Disallow: /admin/

Disallow: /aggregator/

Disallow: /comment/reply/

Disallow: /contact/

Disallow: /logout/

Disallow: /node/add/

Disallow: /search/

Disallow: /user/register/

Disallow: /contact

Disallow: /logout

Disallow: /user/register

Disallow: /user/password

Disallow: /user/login

Disallow: /user/password/

Disallow: /print/

Disallow: /forward/

# Ficheros

Disallow: /xmlrpc.

Disallow: /cron.php

Disallow: /update.php

Disallow: /install.php

Disallow: /INSTALL.txt

Disallow: /INSTALL..txt

Disallow: /INSTALL.pgsql.txt

Disallow: /CHANGELOG.txt

Disallow: /MAINTAINERS.txt

Disallow: /LICENSE.txt

Disallow: /UPGRADE.txt

# Block user tracker pages

Allow: /project/track

Disallow: /*/track$

Disallow: /*/track?page=

Si no estás utilizando permalinks:

Disallow: /?q=admin/

Disallow: /?q=aggregator/

Disallow: /?q=comment/reply/

Disallow: /?q=contact/

Disallow: /?q=logout/

Disallow: /?q=node/add/

Disallow: /?q=search/

Disallow: /?q=user/password/

Disallow: /?q=user/register/

Disallow: /?q=user/login/

Disallow: /user/login/

Fichero robots,txt para Joomla

User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /editor/
Disallow: /help/
Disallow: /includes/
Disallow: /language/
Disallow: /mambots/
Disallow: /media/
Disallow: /modules/
Disallow: /templates/
Disallow: /installation/
Disallow: /libraries/
Disallow: /tmp/
Disallow: /xmlrpc/
Disallow: /admin
Disallow: /administrator
Disallow:/admin/
Disallow: /admin.html
Disallow:/admin.php
Be Sociable, Share!

Escrito por un tal uvedobles.com

February 11th, 2010 a las 8:03 am

Deja aquí tu comentario, tu huella, o mejor ingrésame unos euros