SEO: Análisis de Googlebot Crawls para problemas, ineficiencias

Las ineficiencias del presupuesto de rastreo pueden afectar el rendimiento de la búsqueda orgánica si el contenido nuevo o actualizado no se rastrea ni indexa.

En Qué significa el presupuesto de rastreo para el robot de Google, Google explica en su blog central para webmasters que hay dos factores que controlan el presupuesto de rastreo: la tasa de rastreo y la demanda de rastreo. Tomando la tasa de rastreo y la demanda de rastreo juntos, definimos el presupuesto de rastreo como el número de URL que Googlebot puede y quiere rastrear.

Google afirma que el presupuesto de rastreo no afecta los sitios con menos de unos pocos miles de páginas. Pero los sitios de comercio electrónico a menudo tienen muchas más páginas, lo que crea un problema potencial.

En esta publicación, explicaré cómo generar informes para ayudar a determinar si su sitio tiene un problema de presupuesto de rastreo de Googlebot. El objetivo es enumerar páginas web nuevas o actualizadas que no se han rastreado (y, por lo tanto, indexado). Lo haré generando una lista de todas las URL en los mapas de sitio XML de un sitio, con las fechas de creación o modificación.

Luego, compararé esa lista con la actividad de rastreo de Googlebot en los registros del servidor web. Los archivos de registro proporcionan la mejor fuente de información al analizar el presupuesto de rastreo. Abordé el problema en Uso de registros del servidor para descubrir problemas de SEO.

Para comenzar, utilizaré el Analizador de archivos de registro de Screaming Frog.

Archivos de registro

Primero, inserte su archivo de registro en Log File Analyzer en Arrastrar y soltar archivos de registro aquí. Esto abrirá la pestaña Proyecto para configurar un nuevo análisis.

A continuación, recorte los archivos de registro para aislar las entradas de Googlebot. La mayoría de los sitios reciben rastreos de, potencialmente, docenas de bots, como Googlebot, Bingbot, otros motores de búsqueda y herramientas de SEO. También debemos eliminar las solicitudes falsas de Googlebot, que son comunes en las herramientas que emulan a Google para, en su mayoría, análisis legítimos.

Para hacer esto, en la pestaña Proyecto, vaya a Nuevo> Agentes de usuario y marque la casilla Verificar Bots al importar registros (ralentiza la importación). Esto verifica que las IP de Googlebot sean reales al realizar una doble verificación de DNS, como Google ha explicado en Verificando Googlebot

…Para leer más, siga el link del idioma que prefiera