¿Qué es el robots.txt y para qué se utiliza en SEO?

Tabla de contenidos

¿Qué es robots.txt?

Según Moz, robots.txt es un archivo de texto que los webmasters crean para instruir a los robots web (típicamente robots de motores de búsqueda) sobre cómo rastrear páginas en su sitio web.

What is a Robots.txt? (Moz.com)

Básicamente el archivo robots.txt indica a los buscadores como Google que partes de la web queremos que acceden sus rastreadores. Por ejemplo, el checkout de tu web o la parte de pedidos del usuario.

💡 El robots.txt sólo se considera una indicación y los buscadores no tienen obligación de seguir sus directrices.

¿Qué directrices o reglas puede incluir un robots.txt?

Hay cuatro directrices comunes que un robots.txt puede contener.

User Agent

Indica a qué robot afectan las directrices.

Ejemplo: User-agent: Googlebot

Allow

Indica al robot qué secciones le está permitido rastrear.

Ejemplo: Allow: /album

Disallow

Indica al robot (cómo sugerencia) qué partes de la web no queremos que se rastreen.

Ejemplo: Disallow: /checkout

Sitemap

Hace una refencia al XML sitemap de tu web para que los buscadores lo encuentren fácilmente.

Ejemplo: Sitemap: https://www.mysite.com/sitemap.xml

Que NO debes incluir en un robots.txt

Hace unos meses, Google dijo oficialmente que se evitara incluir directrices «noindex» en el robots.txt.

Que SÍ puedes incluir en un robots.txt

Además de las directrices comentadas anteriormente, puedes incluir comentarios de guía en tu robots.txt siempre que vengan precedidos por un «#»

¿Por qué un SEO necesita analizar el robots.txt?

  • Para asegurarse de que ninguna parte importante de la web está bloqueada a los buscadores.
  • Para asegurarse de que hay una referencia el XML sitemap en el robots.txt
  • Para asegurarse de que los parámetros incluidos en las directrices son correctos.

💡 No bloquees los css con el robots.txt.

  • Para saber si hay diferencias entre la capacidad de rastreo entre un robot (Googlebot) y otro (Bingbot).

Cómo crear un robots.txt

Estos son los pasos a seguir para crear un archivo robots.txt:

  1. Crea un archivo de texto plano (con tu bloc de notas por ejemplo).
  2. Introduce las directrices que quieres incluir en tu robots.txt.
  3. Guarda el archivo con formato «.txt» y llámalo «robots» de forma que el nombre final junto al formato sea «robots.txt».
  4. Sube este archivo al directorio raíz de tu web de forma que quede ubicado en: https://www.tusite.com/robots.txt

Errores comunes a evitar en tu robots.txt

Estos son algunos errores que no debe tener tu archivo robots.txt

Directriz «no index»

Recuerda que Google no admite incluir esta directriz en el archivo. Aquí un artículo de Search Engine Land explicándolo.

Directrices siempre en minúsculas

El archivo robots.txt debe incluir el URL path en el mismo formato en el que se encuentran en tu web. Generalmente, en minúsculas.

Trailing slash (/)

Es un error común añadir «/» después de una URL.

Ejemplo: «/categoria/» en lugar de «/categoria»

Olvidar usar (/) al principio de la URL

Al excluir una URL en una regla en robots.txt, esta debe empezar por «/».

Bloquear una página etiquetada como «no index» a través de robots.txt

Si tenemos una regla en robots.txt que bloquea esta página a los buscadores y posteriormente añadimos una etiqueta no index, los robots nunca verán esta etiqueta al no poder rastrear la página en un primer paso.

¿Dónde está el archivo robots.txt en WordPress?

El archivo robots.txt en wordpress se encuentra, por lo general en tu directorio raíz. Este directorio se encuentra en una carpeta denominada «public_html» o «html» o «www» o «nombre de tu web».

captura robots txt directorio raiz

💡 Ten en cuenta que WordPress configura un archivo robots.txt por defecto que no es accesible. Para hacer cambios en él, debes crear tu propio archivo y subirlo a la carpeta raíz.

¿Cómo crear un archivo robots.txt en WordPress?

Hay varios métodos para crear un archivo robots.txt en wordpress. Depende de tu nivel de conocimiento y de con cuál te sientas más cómodo.

1 – Editar el archivo robots.txt con el plugin de Yoast SEO

Si usas el pugin de Yoast SEO, puedes generar tu propio archivo robots.txt. Con él puedes crear y editar un robots.txt desde tu propio WordPress.

  1. En el panel izquierdo de tu dashboard de WordPress ve a «SEO» (opciones del plugin de Yoast) y luego a «Tools» (Herramientas).
captura seo yoast tools

2. Dirígete a la opción «File Editor» (Editor de Archivos). Esta es la opción que te permitirá editar archivos de tu instalación wordpress como el robots.txt

captura file editor seo yoast

3. En la siguiente página, Yoast te dará la opción de editar tu Robots.txt (si ya tienes un archivo) o crear un nuevo.

captura crear robots txt yoast seo

4. Haz click en «create robots.txt file» y Yoast creará automáticamente tu robots.txt. En caso de ya tenerlo, te permitirá editar las directrices dentro del robots.txt ya existente. Una vez hecho los cambios, haz click en «save changes to robots.txt».

captura robots txt edicion yoast seo

2 – Editar el archivo robots.txt con el plugin de RankMath SEO

Si tu plugin de SEO preferido es RankMath SEO (personalmente es el que uso), también encontrarás una opción para editar el robots.txt.

  • En el panel izquierdo de tu dashboard wordpress dirígete a las opciones de «Ajustes Generales» del plugin Rankmath SEO.
rankmath seo ajustes
  • Ahora dirígiete a la opción de «Editar robots.txt» para ver el archivo que el plugin ha generado automáticamente y poder editarlo.
rankmathseo editar robots.txt

Si no modificaste este archivo desde la instalación de la web, el propio plugin habrá generado un archivo por defecto. Para configurarlo, simplemente escribe las reglas en el cajón y haz click en «guardar cambios».

💡 Si ya tienes un archivo robots.txt en la carpeta raíz de tu sitio, los cambios aquí no tendrán efecto. Tendras que usar tu cliente FTP o cpanel para editar ese archivo de forma manual. Puedes también borrarlo y editar uno nuevo desde estas opciones.

3 – Crear y editar un archivo robots.txt de forma manual y subirlo usando un cliente FTP

  • Lo primero que necesitas para aplicar este método es instalar un cliente FTP. El que yo uso es FileZilla pero hay más.

Un cliente FTP emplea el FTP para conectarse a un servidor FTP para transferir archivos a un alojamiento. Wikipedia

  • Una vez tengas descargado el cliente, conéctate a tu servidor de WordPress.

💡 Si no sabes cómo, lee aquí: Cómo acceder a WordPress mediante FTP (WPNovatos)

  • Una vez dentro, en tu directorio raíz verás el archivo robots.txt tal y cómo indiqué más arriba. Te pego aquí la captura de nuevo. El archivo robots.txt es un archivo de texto así que puedes descarglo a tu ordenador y editarlo con el bloc de notas.

🧔 Yo uso un bloc de notas más avanzado llamado Notepad ++ que es mucho más visual.

captura robots txt directorio raiz
  • Si no lo ves muy probablemente no tienes uno. En ese caso debes crear tu archivo robots.txt. Para ello sólo tienes que abrir tu bloc de notas y guardar las directrices que quieras incluir.

Si necesitas uno muy simple para wordpress que no bloquee ninguna parte de la web clave y de vía libre a los bucadores para rastrear tu sitio puedes copiar este.

Sólo necesitas modificar la URL de tu sitemap.

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Allow: /

Sitemap:https://tusite.com/sitemap.xml

Si prefieres generar uno de forma automática busca «robots.txt generator» en Google. Este generador de robots.txt lo encontré así.

¿Cómo saber si robots.txt funciona?

La mejor de forma de saber si tu archivo robots.txt funciona es probarlo en Google Search console para encontrar errores.

🧔 La herramienta está un poco escondida así que te dejo el enlace del robots.txt tester aquí.

Una vez selecciones la propiedad para lo que quieres combrobar tu archivo robots.txt, aterrizarás en la siguiente pantalla:

robots txt tester

En esta pantalla, podrás comprobar si cualquiera de las partes de tu web son acessibles. Para ello, sólo añade un directorio o una URL específica en la barra inferior y haz click en «Test».

Si el mensaje es correcto, aparecerá un mensaje de confirmación en color verde.

robots txt tester ok

Si el mensaje es incorrecto, verás un mensaje de error y la línea en la que se produce ese error señalada.

robots txt tester error

Ejemplos de robots.txt

Hay muchos tipos de estructuras de robots.txt A mi siempre me ha llamado la atención el de nike.com.

Para saber más: artículos sobre robots.txt

Si quieres ver más ejemplos y aprender más sobre el robots.txt aquí tienes algunos artículos interesantes.

Robots.txt File [2020 Examples]

Moz.com What is Robots.txt file