Robots.txt, parte 2: configuración del archivo robots.txt

La segunda parte de nuestro artículo sobre “Guía de mejores prácticas de Robots.txt + ejemplos” habla sobre cómo configurar su archivo robots.txt recién creado.

Si no está seguro de cómo crear su propio archivo robots.txt o no está seguro de cuál es, diríjase a nuestra primera parte de esta serie de artículos, “Guía de mejores prácticas de Robots.txt + ejemplos” donde podrá aprenda los entresijos de lo que es un archivo robots.txt y cómo configurarlo correctamente. Incluso si has estado en el juego de SEO por algún tiempo, el artículo ofrece un excelente curso de actualización.

Cómo agregar un archivo robots.txt a su sitio

Un archivo Robots.txt generalmente se almacena en la raíz de su sitio web para que se pueda encontrar. Por ejemplo, si su sitio fuera https://www.mysite.com, su archivo robots.txt se encontraría aquí: https://www.mysite.com/robots.txt. Al colocar el archivo en la carpeta principal o en el directorio raíz de su sitio, podrá controlar el rastreo de todas las URL en el dominio https://www.mysite.com.

También es importante saber que un archivo robots.txt distingue entre mayúsculas y minúsculas, así que asegúrese de nombrar el archivo robots.txt y no algo como Robots.txt, ROBOTS.TXT, robots.TXT o cualquier otra variación con letras mayúsculas.

Por qué es importante un archivo robots.txt

Un Robots.txt es solo un archivo de texto sin formato, pero ese archivo de texto sin formato es extremadamente importante ya que se utiliza para que los motores de búsqueda sepan exactamente dónde pueden y qué no pueden ir en su sitio. Es por eso que es una parte extremadamente importante de su sitio web.

Una vez que haya agregado su nuevo archivo robots.txt a su sitio o simplemente esté actualizando su archivo robots.txt actual, es importante probarlo para asegurarse de que funciona de la manera deseada.

Si bien hay muchos sitios y diferentes herramientas que puede usar para probar su archivo robots.txt, aún puede usar el probador de archivos robots.txt de Google en la versión anterior de Search Console. Simplemente inicie sesión en la Consola de búsqueda de su sitio, desplácese hasta la parte inferior de la página y haga clic en ? Ir a la versión anterior

…Para leer más, siga el link del idioma que prefiera