Google dejará de admitir la directiva noindex en robots.txt

Los cambios están llegando a cómo Google entiende algunas de las directivas no compatibles en su archivo robots.txt.

A partir del 1 de septiembre, Google dejará de admitir reglas no admitidas y no publicadas en el protocolo exclusivo de robots, anunció la compañía en el blog de Google Webmaster. Eso significa que Google ya no admitirá archivos robots.txt con la directiva noindex incluida en el archivo.

Con el fin de mantener un ecosistema saludable y preparar futuros lanzamientos de código abierto, retiramos todos los códigos que manejan reglas no admitidas y no publicadas (como noindex) el 1 de septiembre de 2019. Para aquellos de ustedes que confiaron en el noindex Directiva de indexación en el archivo robots.txt, que controla el rastreo, hay una serie de opciones alternativas, dijo la compañía.

¿Cuáles son las alternativas? Google enumeró las siguientes opciones, las que probablemente debería haber estado usando de todos modos:

(1) Noindex en etiquetas meta de robots: admitida tanto en los encabezados de respuesta HTTP como en HTML, la directiva noindex es la forma más efectiva de eliminar las URL del índice cuando se permite el rastreo.(2) Códigos de estado HTTP 404 y 410: ambos códigos de estado significan que la página no existe, lo que eliminará dichas URL del índice de Google una vez que se rastreen y procesen.(3) Protección de la contraseña: a menos que el marcado se use para indicar la suscripción o el contenido del muro de pago, ocultar una página detrás de un inicio de sesión generalmente lo eliminará del índice de Google.(4) No permitir en robots.txt: los motores de búsqueda solo pueden indexar las páginas que conocen, por lo que bloquear el rastreo de la página a menudo significa que su contenido no se indexará. Si bien el motor de búsqueda también puede indexar una URL basada en enlaces de otras páginas, sin ver el contenido en sí, nuestro objetivo es hacer que esas páginas sean menos visibles en el futuro.(5) Herramienta de eliminación de URL de la consola de búsqueda: la herramienta es un método rápido y fácil para eliminar una URL temporalmente de los resultados de búsqueda de Google.

…Para leer más, siga el link del idioma que prefiera