¿Qué es el Crawl Budget y cómo puedes mejorarlo en la web de tu eCommerce?

¿Conoces el término "crawl budget"? Hoy te contaré no sólo qué es, sino cómo mejorarlo todo lo posible para intentar arañar algunas posiciones en el posicionamiento de tu tienda online.

En estos mundos en los que Google domina una gran parte del espectro de ventas de las eCommerce en todo el mundo, casi estamos obligados a adoptar ciertas nomenclaturas y términos poco familiares para el negocio offline.

Además, es algo que hasta hace unos años había pasado desapercibido incluso para los propios SEO's.

Y una de ellas es de la que hoy te hablaré, por lo que comencemos por su definición:

¿Qué es el Crawl Budget?

El Crawl Budget, llamado en español “Presupuesto de Rastreo”, es el tiempo que Google otorga a una determinada página web para rastrear el contenido de sus URL's.

Cuanta más autoridad tenga la página, el presupuesto de rastreo será más alto, y por tanto Google podrá rastrear un mayor número de páginas del site.

Para que un determinado contenido aparezca en el buscador (es decir, esté indexado y listado), primero tiene que rastrearlo.

El Bot (robot) de Google accede a nuestra web, a través de un enlace externo rastrea (y renderiza) el contenido de esa página incluidos los enlaces.

Una vez que ha acabado de rastrear esa página, el bot seguirá los enlaces que no estén etiquetados como “nofollow”, para descubrir otras páginas de este sitio web, realizando en todas ellas el mismo trabajo de rastreo, renderización y seguimiento de enlaces.

Cuantas más URL's pueda renderizar por día el robot de Google en una web, más posibilidades de indexación y listado en Google tendrá.  Pero el Crawl Budget es limitado, y por tanto el Robot no va a rastrear todas las URL's del sitio web todos los días...

¿Para qué sirve el Crawl Budget?

El primero y más importante uso del “Presupuesto de Rastreo” es para conseguir listar y posicionar una determinada página lo más arriba posible en las SERP.

En la medida que el presupuesto de rastreo sea mayor, y la web esté optimizada para tal fin, Google podrá rastrear un mayor número de páginas del sitio web, y podrá ponderar de forma más exacta el Page Rank interno.

Y por tanto asignarle la autoridad necesaria para que, si responde al resto de directrices de Google, se pueda posicionar en los primeros lugares.

Tener controlado y optimizado el presupuesto de rastreo también sirve para limitar los accesos al servidor.

Si el Bot de Google accede a multitud de páginas que realmente no aportan nada, como páginas de Búsqueda, paginaciones, mejores ofertas, filtros facetarios etc., conseguimos que el trabajo en el servidor sea mucho menor.

Aunque no nos tiene que importar este segundo uso en gran medida.

¿Cómo optimizar el Crawl Budget de una tienda online?

El problema del Presupuesto de Rastreo es que es limitado. Y, por tanto, se agota.

Como decíamos, Google asigna un tiempo de rastreo a la “araña” (así llaman al Robot rastreador), para ir descubriendo y rastreando páginas del sitio web.

En la medida que nuestra web esté optimizada, el rastreo por parte de Google será más o menos efectivo. Para mejorarlo, podemos actuar de las siguientes formas:

1) Mejorar la velocidad de carga

La velocidad de carga el principal factor que afecta al Crawl Budget junto con los enlaces internos.

Si el tiempo que el bot de Google dedica a rastrear nuestra web es limitado, cuanto más tarde en cargar cada una de las páginas, más desaprovechado estará dicho tiempo.

Por ejemplo [los siguientes datos son a modo de ejemplo y nunca deben tenerse en cuenta] el presupuesto de rastreo asignado a "tiendaonlinedemo. com" es de 20 s.

Si Google tarda en rastrear cada página del sitio web unos 5 segundos, significa que podrá rastrear sólo 4 URL's de tu sitio web.

El problema llega cuando al día siguiente o a los 3 días, o cuando el buscador vuelva a tu página rastreará de nuevo otras 4 páginas, pero si ha entrado por el mismo enlace puede que rastree las mismas URL's y siempre se deje el resto sin rastrear.

Esto significa que Google no podría indexar ni listar, y por tanto posicionar, ninguna de las páginas que no rastree.

Ahora bien, si la velocidad de carga es de 0,5 segundos, significa que Google podrá rastrear 40 URL's del sitio web.

Por eso la velocidad de carga es crucial para optimizar el Crawl Budget.

En mi propio blog, he elaborado una guía para mejorarla todo lo posible en tu tienda PrestaShop, con técnicas y herramientas paso a paso, al alcance de cualquier usuario.

2) Bloqueo en Robots.txt de ciertas páginas

Hay algunas URL's de un eCommerce que no queremos que se indexen, porque son contenido duplicado, o porque son Thin Content, o simplemente no aportan nada y no queremos que aparezcan en el buscador.

Por ello, lo mejor es bloquearlas en el Robots.txt para que Google no pueda acceder y no pierda tiempo de rastreo en estas páginas.

De esta forma ni Google ni ningún robot podrá acceder a ellas, pero si podrá indexarlas.

Para evitar también que se indexen, hay que ponerlas como noindex.

3) Enlaces nofollow a páginas bloqueadas

Es de lógica que, si estás bloqueando la entrada al robot de Google a una página, no cometas la crueldad de enviarlo a esa dirección.

Por ello, los enlaces cuyo destino sea una página bloqueada, lo mejor es poner un rel=”nofollow” en la relación del enlace, para avisar a los rastreadores que no tienen que seguir ese enlace.

4) Enlaces a páginas redireccionadas (301, 302) o con errores 404

Se debe evitar por completo el que haya multitud de páginas que enlazan a errores, ya que es un tiempo precios que pierde la araña y que podría emplearlo en rastrear otras URL's.

Pero además tenemos que cuidar que no haya enlaces a páginas que están redireccionadas a otras páginas.

Por ejemplo, un error muy común es que, tras el cambio a https, hay enlaces en el interior de la página que están apuntando a la versión de la web en http.

Si no cambiamos estos enlaces, provocará un redireccionamiento que debemos evitar.

Y más aún si esa página a su vez también está redireccionada a otra página, es decir hay un doble redireccionamiento.

Pero el caso más flagrante se produce cuando hay un bucle de redireccionamiento.

Esto ocurre cuando se va redireccionando de página a página y no se terminan las redirecciones nunca.

Esto debemos descubrirlo, porque puede ser un error muy grave para el Bot.

5) Link Sculping

En realidad, el Link Sculping es tratar los enlaces internos de forma pormenorizada para controlar el linkjuice y evitar que se desperdicie en sitios que no merecen la pena.

Esto se suele hacer tanto con enlaces internos como externos.

Pero si además nos servirá para optimizar el crawl Budget del sitio web, ya que estás llevando al robot por donde queremos que vaya y evitando que se adentre en páginas que no nos merece la pena.

6) Crear un Sitemap.html y colocarlo en la portada o en sitio visible para todas las páginas

Habitualmente, solemos crear un sitemap y colocarlo en el footer.

El sitemap será una página en HTML, donde aparezcan todos los contenidos en forma de enlace que hay en la web, y que nos interesa que Google los rastree.

Además de enviar el sitemap.xml a Search Console, es muy interesante que, en el Footer, por ejemplo, haya un archivo (llamado sitemap o como se quiera) con enlace follow para que la araña de Google pueda llegar en 2 clic a cualquier resultado.

Aunque ya sabemos que el clic no es tal clic. Ya que Google no hace clic en ningún sitio.

¿Cómo podemos aumentar nuestro presupuesto de Rastreo?

Partimos de la condición que el Presupuesto de Rastreo es algo etéreo que Google te otorga, y que nadie sabe exactamente el tiempo asignado.

Pero si podemos medir el tiempo que la araña pasa en nuestra web. Google aumentará o disminuirá el Crawl Budget en función de unos parámetros y factores en tu web y fuera de ella:

» Aumentando los enlaces externos

Si aumentamos los enlaces externos, aumentamos el número de referencias que hay en Google de nuestro sitio Web y, por tanto, aumentamos el Page Rank.

Google otorgará mayor autoridad y relevancia a la Web y aumentará el presupuesto de Rastreo de forma proporcional.

» Actualizando la página cada cierto tiempo

Google calcula el promedio de actualización de tu página web para saber cuándo tiene que volver, porque piensa que tienes cosas nuevas en la misma.

Si cada vez que llega de nuevo no hay actualizaciones, cada vez alargará más los tiempos.

Si por el contrario cada vez que entra ve actualizaciones de calidad, acortará los tiempos entre visita y visita e irá aumentando de forma proporcional el Presupuesto de Rastreo.

No obstante, es algo que no tiene nada que ver con nosotros, lo hace Google por su cuenta y riesgo.

» Aumento de URLs del proyecto

Si tu proyecto va aumentando diariamente o semanal mente un buen número de URL's, y Google las va descubriendo en cada visita que hace, lo más probable es que proporcionalmente vaya aumentando el tiempo que pasa en tu web.

Todo ello, con el fin de poder satisfacer las necesidades de rastreo ocasionadas por las nuevas páginas.

Conclusión

En definitiva, el Crawl Budget algo tan importante como difícil de trabar de forma correcta y estratégica.

Pero si se sabe trabajar bien, se nota muy pronto la mejora es los proyectos web.

Imagen principal By Freepik.