Crawl budget - Améliorer votre référencement Google

Si vous avez un site marchand, votre souhait le plus cher est certainement de le voir apparaître sur la 1ère page des moteurs de recherche. Tout à fait possible... si vous êtes dans les petits papiers de Google. Si vous n'avez encore jamais entendu de Crawl budget et qu'améliorer votre référencement vous intéresse, vous êtes alors vivement convié à poursuivre votre lecture.

Il y a de fortes chances que vous ou un membre de votre équipe se concentre à améliorer votre référencement avec pour objectif suprême : une bon positionnement parmi les résultats des moteurs de recherche, si possible même LA fameuse et tant convoitée 1ère page ! 

Il y a beaucoup de choses que vous pouvez faire et optimiser si vous visez cet objectif :

• Rechercher des mots-clés,
• Créer un bon contenu,
• Utiliser des liens externes et internes
  
  Il existe une manière d'optimiser vos efforts et de tirer meilleur parti de votre crawl budget ! Mais avant .. 

• 8 conseils pour optimiser et augmenter votre crawl budget
• Réduire l'intervalle entre les scanners

Qu'est-ce que le crawl budget ?

Pour comprendre le concept de crawl budget, il convient d’éclaircir d'abord rapidement 3 termes souvent utilisés comme synonymes mais à la signification pourtant différentes.

Ce que l'on entend par scanner, indexer et positionner une page :

• Tout d'abord, Googlebot (le robot Google) crawle càd scanne les pages des sites. Il peut s'agir d'une nouvelle page avec un nouveau contenu ou d'une page existante avec un contenu mis à jour.
  
  
• La page est ensuite indexée, c'est-à-dire qu'elle entre dans la base de données du moteur de recherche et peut apparaître dans les SERPs.
  
  
•  Google décide ensuite du positionnement de la page en fonction de la requête de recherche des utilisateurs.

Cela étant dit, nous pouvons commencer.

On entend par "crawl budget" le temps que Google décide d'investir dans l'indexation et la numérisation des pages d'un site.

L'araignée de Google, appelée Googlebot, est chargée de scanner chaque page du web. Le Googlebot effectue chaque jour un fresh-crawl et une fois par mois ce que l'on appelle un deep-crawl.

Googlebot visite autant d'URL que possible parce que le but de Google est de se tenir au courant des nouveaux contenus sur le web afin de fournir aux utilisateurs une réponse la plus pertinente possible à leurs termes de recherche.

Le temps que Googlebot passe à indexer et à scanner vos pages (et toutes les autres) n'est pas illimité, au contraire, et toutes les URL ne sont pas scannées régulièrement. C'est pour cela que l'optimisation de votre crawl budget est cruciale : plus vos pages sont adaptées, plus elles sont faciles à lire, et plus Googlebot peut en consulter.

Plus le nombre de pages indexées ou scannées par Googlebot est élevé, plus vous avez de chances d'apparaître parmi les premiers résultats du SERP.

Au contraire, si le Googlebot ne scanne pas une page, celle-ci ne sera pas indexée et n'apparaîtra pas du tout dans les résultats.

Googlebot ne perdra pas de temps et de ressources sur des pages dont il estime que la qualité n'est pas assez élevée, ou s'il pense qu'elles n'apportent aucune valeur ajoutée à la recherche des utilisateurs.

Les questions qui se posent alors spontanément à ce stade sont les suivantes :

• Est-ce que Google aime mon site web ?
• Combien de temps Googlebot consacre-t-il à mes pages ?
• Puis-je augmenter mon crawl budget ?

Il est important de savoir que ceci n'est pas forcément pertinent pour tous les sites : les sites de quelques pages n'ont pas à s'inquiéter. Les sites plus importants, tels que les sites éditoriaux et les grands sites d'e-commerce, qui doivent présenter aux utilisateurs des résultats actualisés et à jour, sont davantage concernés.

Comment évaluer votre crawl budget ?

Pour suivre l'activité du Googlebot sur votre site, un outil existe ! Il s'agit de la search console de Google.

Cet outil vous permet de savoir à la fois combien de requêtes par seconde le moteur de recherche consacre à votre site et combien de temps s'écoule entre les scans.

Il est facile de découvrir l'activité des Googlebot au cours des 90 derniers jours. Vous pouvez consulter les statistiques de balayage de cette manière :

• Cliquez sur "Anciens outils et rapports"
• Cliquez ensuite sur "Statistiques sur l'exploration"

Tada ! 

Vous verrez 3 graphiques évalué par 3 valeurs (élevé, moyenne, basse).

Le premier graphique montre les pages scannées par jour par Googlebot,
Le deuxième montre les kilo-octets téléchargés quotidiennement, 
Le troisième montre le temps en millisecondes passé à télécharger une page.

Pour le premier graphique, on peut dire que plus la valeur est élevée, mieux c'est, tandis que les deuxième et troisième graphiques montrent le contraire. L'optimisation du poids des pages permet au crawler et aux utilisateurs d'y naviguer plus facilement.

De plus, un téléchargement plus rapide signifie que plus de pages peuvent être scannées avec le budget disponible "crawler".

Comment faire pour que Google revienne plus souvent sur vos pages ?

Si vous avez découvert que votre crawl budget n'est pas si élevé, ne désespérez pas. Il existe quelques astuces simples pour convaincre l'araignée de Google de prendre un peu plus en considération votre site web.

Google est curieux, ce n'est pas mon contenu qui est assez complet. Pour le convaincre de revenir vers vous, vous pouvez suivre ces points :

1. Créer régulièrement de nouveaux contenus (de qualité !)
   
   
2. Mettez à jour votre contenu régulièrement (nouveau et ancien)
   
   
3. Variez le type de contenu. Le contenu n'est pas seulement du texte, mais tout ce qui apparaît sur vos pages, comme des images, des vidéos, des pdf...
   
   
4. Assurez-vous que la structure de votre site est claire et lisible pour Google, surtout si votre site est très volumineux. Une liaison correcte de vos pages permet à Googlebot de ne pas perdre trop de temps à les scanner. N'oubliez pas de synchroniser le plan de votre site à la search console de Google.
   
   
5. Liez les pages de votre site entre elles grâce au moyen de liens internes. Sinon, le Googlebot risque d'atteindre une "impasse" après avoir scanné une page sans aucun liens internes.
   
   
6. Essayez d'obtenir des backlinks. Plus vous en aurez il y a de chances que Google prenne en compte vos pages. Les backlinks sont essentiels pour accroître la popularité de votre site.

La popularité d'une page ou d'un site est essentielle. Comme le dit Google lui-même dans son blog, "Les URL les plus populaires sur Internet ont tendance à être scannées plus souvent pour les garder plus fraîches dans notre index.

Comment optimiser votre crawl budget ?

maintenant que vous avez suivi les conseils ci-dessus et réussi à capter l'attention de Google, il est temps de vous concentrer sur le référencement ou sur la manière d'optimiser votre budget de crawl.

Ici, le concept d'optimisation est compris comme le fait de tirer le meilleur parti du "peu" de temps que Googlebot nous consacre.

Risquer que Googlebot perde un temps précieux, par exemple, sur des pages qui n'ont aucune valeur ajoutée pour les utilisateurs ou qui présentent un contenu en double est une démarche qui rendra tous vos autres efforts vains. Quelque chose que vous voulez évidemment éviter.

Gardez toujours ce concept à l'esprit :

Un contenu récent ou mis à jour augmente votre crawl budget .

À l'inverse, un contenu en double, de mauvaise qualité ou qui n'est plus à jour, 404 pages, etc. réduira votre budget de crawl.

Bien que cela puisse paraître évident, vous devez préciser que la création de contenus de faible qualité est contre-productive.

En fait, Googlebot risque de perdre son temps à scanner ces mêmes pages au lieu de pouvoir se consacrer à vos pages de qualité, populaires et actuelles.

*Bonus de lecture* Pour plus d'informations sur le type de contenu possible, nous avons créé un livre blanc sur toutes les possibilités de contenu e-commerce possibles et particulièrement ceux qui vous permettront également d'augmenter vos ventes.

Google est déjà très bon dans son travail, mais vous pouvez l'aider en rendant son travail plus facile et (surtout) plus rapide pour aider votre site.

Pour ce faire, il existe deux valeurs crawl budget que vous pouvez optimiser : augmenter votre budget de crawl et diminuer le temps entre les scans.

8 conseils pour optimiser et augmenter votre budget de crawl

La rapidité est essentielle, car, comme nous l'avons déjà dit, le temps que Googlebot nous consacre n'est pas limité. Optimiser le temps de téléchargement d'une page signifie donner à Googlebot plus de temps à consacrer aux autres.

Conseils pour optimiser le temps de chargement de vos pages :

• Investir dans un serveur de qualité
  
• Optimiser le code des pages pour les rendre plus lisibles
• Compressez les images (mais sans sacrifier la qualité, Tinyjpg est un exemple de logiciel libre permettant de réduire la taille des fichiers même au-delà de 70 %).

2. Organiser (ou revoir) la structure de votre site

Une structure claire et linéaire des pages de votre site vous permet de profiter pleinement de votre crawl budget.

Meilleure structure = gain de temps =  Plus de pages scannées ou indexées

Faites attention :

• Suivez la fameuse règle des 3 clics, selon laquelle le nombre maximum de clics nécessaires à l'utilisateur pour atteindre la page qui l'intéresse à partir de la page d'accueil est en fait de trois.
  
  
• Ne pas avoir de pages sans issue (pages vers lesquelles aucun lien interne ou externe n'est renvoyé).
  
  
• Utilisez les balises canoniques de votre site dans le plan du site. Ceci ne permet pas d'économiser sur le budget mais permet à Google de comprendre au fil du temps quelle version de la page il doit prendre en compte (quelle URL).

3. Utilisation des liens internes

Les liens internes, qui servent essentiellement à approfondir un sujet, doivent pointer vers les pages que vous souhaitez voir prises en compte par Googlebot.

• En pointant vos pages préférées, vous avez plus de chances que le crawler de Google finisse par les scanner. Google a plus de considération pour les pages qui contiennent de nombreux liens (internes et externes).
  
  
• Le crawler ne se retrouvera pas dans une "impasse" après avoir scanné une page qui n'en a pas.
  
  

4. Réparer les liens brisés

Les liens brisés vous pénalisent non seulement en termes de classement, mais ils gaspillent également le précieux crawl budget dont vous disposez. Évitez donc les statuts autres que 200.

5. Ne pas utiliser les liens suivants

Les liens no follow vous permettent d'économiser du budget car ce sont les liens qui indiquent à Googlebot de ne pas perdre de temps à les scanner. Il peut s'agir des pages que vous pensez être parmi les moins importantes de votre site ou qui sont déjà liées à un thème, une catégorie ou autre et qui ne doivent pas être scannées plusieurs fois.

6. Optimiser le txt

Robots.txt, un simple fichier texte, est utile pour bloquer les pages inintéressantes. Il fournit un guide sur le contenu de chaque page et indique à Google comment la scanner.

Le fichier robots.txt est fondamental pour ne pas faire perdre de temps au crawler avec les pages qui ne doivent pas être scannées (telles que les pages privées ou les pages d'administration), et pour indiquer celles qui doivent être prises en compte.

7. Mettre à jour votre contenu

On ne le dira jamais assez : le rafraîchissement de votre contenu entraîne une augmentation du temps que Google y consacre.

8. Éliminer les contenus inutiles/doubles

En éliminant toutes les pages qui ne sont plus pertinentes, qui ne sont plus utiles (par exemple, les salons terminés) ou qui, pour une raison quelconque, ne reçoivent plus de trafic, vous éviterez de gaspiller votre budget de crawl. Si vous ne voulez pas perdre complètement le contenu de ces pages, vous pouvez le renvoyer vers des pages similaires ou nouvelles.

À cet égard, n'oubliez les backlinks. Si d'autres pages font référence à celle que vous êtes sur le point de supprimer, il existe deux options : une redirection 301, qui indique au moteur de recherche que la page est accessible à partir d'une autre URL, ou demander de modifier directement l'URL du lien de retour.

Comment réduire l'intervalle entre les scans ?

L'intervalle entre les scans est intrinsèque à l'augmentation ducrawl budget.

En mettant régulièrement à jour votre contenu, vous remarquerez une augmentation des scans de Googlebot : chaque fois que le Googlebot visite une page et trouve un contenu révisé, vous obtenez une augmentation du budget de crawl.

Mais attention : ne republierez une page qu'après une mise à jour importante. Si Google reconnaît que le contenu est identique ou très similaire, il vous pénalisera avec un balayage moins fréquent.

Conclusion

La gestion et l'augmentation de votre crawl budget est presque le secret de la réussite. Si votre contenu est bon et que vos pages sont lisibles, un balayage plus fréquent entraîne presque certainement une visibilité et une popularité accrues, des valeurs que Google apprécie.

Ce qu'il faut toujours garder à l'esprit quand on parle de "crawl budget", c'est qu'il faut éviter à tout prix de disperser inutilement l'énergie et les ressources.

Tenez-vous informé des tendances du e-commerce en France !

Traduit et adapté de l'article original : Crawl budget: cosa è e come aumentarlo per migliorare il tuo ranking