¿Cómo decirle a un buscador lo que quieres que indexen y lo que no?
Podrías escribirlo en la home… bromas a parte el archivo robots.txt es un archivo que se coloca en la raíz del servidor y sirve para que los bots y spiders que pupulan por la red lo lean y se atengan a él.
Estos bots son entre otros los mismos buscadores como la todopoderosa Google con su GoogleBot, otros muchos bots son de origen desconocido y algunos se pueden comportar de forma especialmente violenta provocando por ejemplo una saturación en tu servidor y dejándolo sin servicio.
Los bots buenos respetan las indicaciones que se le indiquen a través del fichero “robots.txt”, un fichero donde le dices, index este archivo o este directorio porque aquí vas a encontrar contenido, en cambio en este directorio no hay contenido y no pierdas el tiempo ni me hagas derrochar ancho de banda ni recursos de mis servidor para nada.
Dada esta teoría de una forma un tanto brusca pero pienso yo que bastante clara vamos a mostraros el contenido de diferentes ficheros robots.txt para diferentes gestoresd de contenidos, de forma que tan sólo tengas que copiar y pegar:
Fichero robots.txt de Wordpress
User-agent: *
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /tag
Disallow: /author
Disallow: /wget/
Disallow: /httpd/
Disallow: /cgi-bin
Disallow: /images/</pre>
Disallow: /search
Disallow: /feed
Disallow: /feed/
Disallow: /trackback/
Disallow: /rss
Disallow: /comments/feed
Disallow: /feed/$
Disallow: /*/feed/$
Disallow: /*/feed/rss/$
Disallow: /*/trackback/$
User-agent: *Disallow: /wp-adminDisallow: /wp-includesDisallow: /wp-content/pluginsDisallow: /wp-content/cacheDisallow: /wp-content/themesDisallow: /trackbackDisallow: /tagDisallow: /authorDisallow: /wget/Disallow: /httpd/Disallow: /cgi-binDisallow: /images/</pre>Disallow: /searchDisallow: /feedDisallow: /feed/Disallow: /trackback/Disallow: /rssDisallow: /comments/feedDisallow: /feed/$Disallow: /*/feed/$Disallow: /*/feed/rss/$Disallow: /*/trackback/$
Fichero robots.txt para Magento
User-agent: *
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /tag
Disallow: /author
Disallow: /wget/
Disallow: /httpd/
Disallow: /cgi-bin
Disallow: /images/</pre>
Disallow: /search
Disallow: /feed
Disallow: /feed/
Disallow: /trackback/
Disallow: /rss
Disallow: /comments/feed
Disallow: /feed/$
Disallow: /*/feed/$
Disallow: /*/feed/rss/$
Disallow: /*/trackback/$
Fichero robots.txt para Drupal
User-agent: *
# Directorios
Disallow: /database/
Disallow: /includes/
Disallow: /misc/
Disallow: /modules/
Disallow: /sites/
Disallow: /themes/
Disallow: /scripts/
Disallow: /updates/
Disallow: /profiles/
# Rutas (con permalinks activos)
Disallow: /admin/
Disallow: /aggregator/
Disallow: /comment/reply/
Disallow: /contact/
Disallow: /logout/
Disallow: /node/add/
Disallow: /search/
Disallow: /user/register/
Disallow: /contact
Disallow: /logout
Disallow: /user/register
Disallow: /user/password
Disallow: /user/login
Disallow: /user/password/
Disallow: /print/
Disallow: /forward/
# Ficheros
Disallow: /xmlrpc.php
Disallow: /cron.php
Disallow: /update.php
Disallow: /install.php
Disallow: /INSTALL.txt
Disallow: /INSTALL.mysql.txt
Disallow: /INSTALL.pgsql.txt
Disallow: /CHANGELOG.txt
Disallow: /MAINTAINERS.txt
Disallow: /LICENSE.txt
Disallow: /UPGRADE.txt
# Block user tracker pages
Allow: /project/track
Disallow: /*/track$
Disallow: /*/track?page=
Si no estás utilizando permalinks:
Disallow: /?q=admin/
Disallow: /?q=aggregator/
Disallow: /?q=comment/reply/
Disallow: /?q=contact/
Disallow: /?q=logout/
Disallow: /?q=node/add/
Disallow: /?q=search/
Disallow: /?q=user/password/
Disallow: /?q=user/register/
Disallow: /?q=user/login/
Disallow: /user/login/
Fichero robots,txt para Joomla
User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /editor/
Disallow: /help/
Disallow: /includes/
Disallow: /language/
Disallow: /mambots/
Disallow: /media/
Disallow: /modules/
Disallow: /templates/
Disallow: /installation/
Disallow: /libraries/
Disallow: /tmp/
Disallow: /xmlrpc/
Disallow: /admin
Disallow: /administrator
Disallow:/admin/
Disallow: /admin.html
Disallow:/admin.php
