John Mueller: clasificación de páginas bloqueadas por Robots.txt

John Mueller de Google explicó recientemente cómo se determina la relevancia de la consulta para las páginas bloqueadas por robots.txt.

Se ha dicho que Google seguirá indexando las páginas que están bloqueadas por robots.txt. Pero, ¿cómo sabe Google para qué tipos de consultas clasificar estas páginas?

Esa es la pregunta que surgió en el hangout de Google Webmaster Central de ayer:

“Hoy en día todo el mundo habla de la intención del usuario. Si una página está bloqueada por robots.txt y está clasificada, ¿cómo determina Google la relevancia de la consulta con el contenido de la página cuando está bloqueada?

En respuesta, Mueller dice que, obviamente, Google no puede mirar el contenido si está bloqueado.

Entonces, lo que Google hace es encontrar otras maneras de comparar la URL con otras URL, lo que es mucho más difícil cuando está bloqueado por robots.txt.

En la mayoría de los casos, Google dará prioridad a la indexación de otras páginas de un sitio que sean más accesibles y que no estén bloqueadas para rastrear.

A veces, las páginas bloqueadas por robots.txt se clasificarán en los resultados de búsqueda si Google considera que vale la pena. Eso está determinado por los enlaces que apuntan a la página.

Entonces, ¿cómo determina Google cómo clasificar las páginas bloqueadas? La respuesta se reduce a enlaces.

En última instancia, no sería prudente bloquear el contenido con robots.txt y esperar que Google sepa qué hacer con él.

Pero si tiene contenido que está bloqueado por robots.txt, Google hará todo lo posible para averiguar cómo clasificarlo.

Puede escuchar la respuesta completa a continuación, comenzando en las 21:49:<

…Para leer más, siga el link del idioma que prefiera