.avif)
.png)
Si vous ne comprenez pas comment fonctionne le budget d'exploration de Google, il se peut que vous passiez à côté de connaissances précieuses pour votre site.
Le budget d'exploration affecte le référencement et le classement Google, ce qui signifie qu'il a un impact sur la probabilité que les internautes trouvent votre site.
Vous avez du mal à comprendre comment tout cela s'intègre ? Je vais vous le détailler dans ce guide étape par étape. Poursuivez votre lecture pour découvrir comment optimiser le budget d'exploration de Google pour votre entreprise.
Qu'est-ce que le Crawl Budget ?
Google a défini budget d'exploration en combinant la limite de taux d'exploration d'un site avec la demande d'exploration des URL de ce site.
Les pages Web, ou URL, sont explorées par un système appelé Googlebot.
Pour les petits sites, le budget d'exploration n'est généralement pas un problème. Sur ces sites, les nouvelles pages sont généralement explorées le jour où elles apparaissent.
Lorsque le site contient moins de mille pages à explorer, Googlebot peut les parcourir toutes assez facilement.
Cependant, pour un site plus grand, Googlebot doit donner la priorité à la façon dont il explorera les pages.
Le serveur d'un site Web ne peut fournir qu'un nombre limité de ressources pour explorer le site avant que cela ne commence à interférer avec l'expérience de l'utilisateur.
La limite de taux d'exploration définit la quantité d'exploration qui peut se produire avant qu'elle ne commence à affecter la qualité de l'expérience utilisateur d'un site Web.
La limite de vitesse d'exploration n'est pas toujours la même : elle peut augmenter si le site répond rapidement ou diminuer s'il ralentit.
Il est également possible pour le propriétaire du site de définir manuellement une limite de taux d'exploration.
Dans le même temps, la demande d'exploration d'un site est un autre facteur qui affecte l'activité de Googlebot.
Lorsqu'une page Web est très populaire en ligne, comme une publication virale, Google explore cette page plus souvent.
Googlebot souhaite que les pages restent fraîchement explorées.
Si un site Web change ou apporte d'autres modifications majeures, Google peut également explorer chaque page pour s'assurer qu'elles sont correctement indexées avec les bonnes URL.
Lorsque vous combinez la limite de taux d'exploration et la demande d'exploration, vous obtenez le budget d'exploration, c'est-à-dire le nombre d'URL que Googlebot peut et souhaite explorer.
Lorsque la limite d'exploration de votre site est élevée et que la demande est élevée, le budget n'est pas un problème.
Cependant, lorsque la limite et la demande ne correspondent pas bien, votre budget devient un problème. Grâce à ces 20 étapes, vous pouvez augmenter votre budget de crawl chaque fois que vous en avez besoin.
20 étapes pour optimiser le budget Crawl de Google
1. Vérifiez la présence d'erreurs dans les journaux du serveur
Vous devez vous assurer que vos pages ne contiennent pas d'erreurs susceptibles d'empêcher le processus d'exploration de Googlebot.
Seuls deux codes de retour sont acceptables lorsque vos pages sont explorées.
Les codes 301 (« allez plutôt ici ») et 200 (« ok ») fonctionnent pour Googlebot. Tout autre code de retour entravera le processus d'exploration.
Pour savoir quels codes votre site fournit à Google, vous devez consulter les journaux de votre serveur.
L'utilisation de Google Analytics ne fonctionnera pas ici, car les analyses ne suivent aucune page à moins qu'elles n'aient un code de retour de 200.
Utilisez les journaux du serveur de votre site pour détecter et corriger les éventuelles erreurs.
Il existe un moyen simple de le faire : il suffit de trouver n'importe quelle URL dont le code de retour n'est pas correct.
Ensuite, classez ces pages par ordre de fréquence afin de savoir lesquelles posent le plus de problèmes.
Pour corriger ces URL, vous devrez peut-être les rediriger ou modifier du code.
2. Vérifiez la présence d'erreurs dans la console de recherche Google
Si les journaux de votre serveur ne détectent pas toutes les erreurs, vous pouvez également utiliser la console de recherche Google.
Un moyen simple de le faire est d'utiliser un plugin qui vous permet de trouver les erreurs lorsque vous connectez votre site à la Search Console.
3. Bloquer les sections inutiles
Il y a peut-être des sections de votre site dont Google n'a pas besoin.
Vous pouvez utiliser robots.txt pour bloquer ces sections, mais uniquement si vous êtes absolument certain qu'elles ne seront pas nécessaires.
Par exemple, si vous gérez une grande boutique en ligne, votre site peut proposer plusieurs méthodes pour filtrer les produits par couleur, taille, etc.
Chaque paramètre de filtre différent peut ajouter une nouvelle URL que Google pourra trouver.
Cependant, il n'est pas nécessaire de laisser Google explorer chaque URL dans ce cas.
4. Gagnez des backlinks
Obtenir des liens à partir d'autres sites Web réputés est toujours une bonne tactique pour votre site, y compris lorsque vous devez optimiser votre budget d'exploration.
Établissez des liens en vous connectant avec des influenceurs du secteur, en renforçant votre réputation sur les réseaux sociaux et en utilisant d'excellentes stratégies de relations publiques.
La création de liens n'augmentera pas votre budget d'exploration du jour au lendemain, mais elle contribuera grandement à l'amener là où vous en avez besoin au fil du temps.
5. Évitez les pages mobiles accélérées
Les pages mobiles accélérées, ou AMP, sont importantes pour rendre votre site plus performant compatible avec les appareils mobiles.
Les AMP, en revanche, vous fournissent des URL distinctes pour chaque page.
Cela signifie que Google doit effectuer deux fois plus d'exploration, donc votre budget doit être plus élevé.
Si vous vous efforcez déjà d'augmenter votre budget, ne commencez pas à travailler avec les AMP pour l'instant.
6. Évitez les fichiers Rich Media
Googlebot est désormais capable d'explorer les pages Flash, HTML ou Javascript (ce n'était pas le cas par le passé).
Cependant, certains fichiers multimédia peuvent encore faire trébucher Google, comme Silverlight.
Même si Google peut explorer ces pages, tous les autres moteurs de recherche ne le peuvent pas.
Cela peut empêcher le classement de ces pages. Dans la mesure du possible, évitez l'utilisation intensive de fichiers multimédia, voire évitez-les complètement.
7. Donnez des versions textuelles si nécessaire
Il se peut que vous ne souhaitiez pas ou ne puissiez pas toujours éviter complètement les fichiers Rich Media.
Si vous avez des pages contenant de nombreux fichiers multimédia, assurez-vous de fournir également des versions texte de ces pages.
Sinon, Google aura du mal à explorer ces pages.
8. Éliminez les liens brisés
Les liens brisés empêcheront Googlebot d'explorer votre site Web et d'obtenir les informations dont il a besoin.
Bien que les liens brisés ne soient pas un facteur majeur dans le classement des sites Web, ils peuvent tout de même avoir un impact négatif sur votre budget, ainsi que sur l'expérience utilisateur.
9. Combiner des fichiers CSS
Plus votre code est rationalisé, plus Googlebot peut naviguer facilement sur votre site.
Combinez vos fichiers CSS et prenez d'autres mesures pour rationaliser le code de votre site.
10. Mettez à jour votre plan du site
Mettez régulièrement à jour votre plan du site, ce qui inclut le désencombrement pour assurer le bon fonctionnement de votre site.
Si vous avez des pages bloquées, des redirections inutiles et des pages de niveau 400 qui encombrent votre site, cela peut empêcher Googlebot de faire son travail.
Les outils d'audit en ligne peuvent vous aider à nettoyer votre plan du site, de sorte que vous n'ayez pas à le faire à partir de zéro.
Ce travail offrira également à vos utilisateurs une expérience plus positive sur votre site en réduisant les impasses et les redirections qui les empêchent de naviguer facilement.
11. Définir les paramètres d'URL dynamiques
Votre site peut utiliser des URL dynamiques, de sorte que des URL différentes redirigeront toujours les utilisateurs vers la même page Web.
Cependant, Googlebot traitera toutes ces URL comme des pages différentes, quelle que soit leur destination.
Sur la console de recherche Google, sélectionnez « Crawl > Paramètres de recherche ».
Vous pouvez y informer Googlebot de tous les paramètres d'URL qui modifient l'URL, mais pas la page elle-même.
12. Utilisez les flux à votre avantage
Les flux RSS ou XML sont d'excellents moyens pour les utilisateurs de s'inscrire pour accéder au contenu de votre site, même lorsqu'ils n'y figurent pas.
Les fils d'actualité permettent aux internautes de s'abonner aux mises à jour des sites qu'ils souhaitent suivre.
Ils recevront une alerte chaque fois que vous publierez une nouvelle publication qu'ils souhaitent voir, ce qui vous permettra d'attirer davantage d'attention de la part de Googlebot (et d'attirer plus de lecteurs).
13. Organiser les liens internes
Une stratégie de liens internes de haute qualité peut être très utile pour votre budget.
Les robots de recherche seront en mesure de trouver votre site plus facilement si vous disposez d'un système de liens interne bien entretenu, même si ces liens n'ont pas tendance à affecter directement les taux d'exploration.
14. Boostez le référencement
Comme vous l'avez probablement remarqué, bon nombre de ces stratégies d'optimisation budgétaire sont également des stratégies de renforcement du référencement.
Le fait d'avoir un site bien entretenu avec un excellent référencement facilite la recherche et la navigation de Google et des robots de recherche.
Suivez les bonnes pratiques de référencement et vous augmenterez votre budget.
Lectures associées : 10 conseils de référencement abordables pour améliorer votre classement
15. Réduire ou compresser des images
Un site Web propre et simple qui fonctionne correctement est utile à la fois à Google et à vos utilisateurs.
Les images sont importantes pour la plupart des sites Web. Cependant, les images de grande taille ralentissent la vitesse à laquelle votre site peut être exploré ou visualisé.
Essayez de réduire la taille de l'image et de la compresser si cela ne fonctionne pas.
16. Éloignez-vous de l'infini
Cela peut sembler ridicule, mais il est possible que votre site comporte des endroits où les liens restent actifs indéfiniment.
Par exemple, si vous avez un calendrier avec un bouton pour afficher « Le mois prochain », il est concevable qu'un utilisateur clique sur ce calendrier indéfiniment.
Les utilisateurs ne le feront pas réellement, mais Googlebot pourrait le faire, ce qui l'empêchera de lire les pages réelles de votre site.
Débarrassez-vous de ces liens infinis et ne conservez que ceux qui sont utiles.
17. Effacer le contenu dupliqué
Vous savez probablement déjà que le contenu dupliqué peut nuire à votre classement sur Google.
Cela peut également affecter votre budget lorsqu'il s'agit de faire du crawling.
Trouvez et éliminez tout contenu dupliqué pour satisfaire Googlebot.
18. Commercialisez votre contenu
Comme mentionné ci-dessus, Google est plus susceptible d'explorer les pages qui ont gagné en popularité.
Utilisez une bonne stratégie de marketing de contenu pour diffuser votre contenu, et Googlebot vous accordera l'attention qu'il mérite.
19. Modifier l'ancien contenu
Vous pouvez également mettre à jour votre ancien contenu pour le réexplorer.
Lorsque vous apportez des modifications à d'anciennes pages, Google effectue généralement une nouvelle analyse pour s'assurer qu'il dispose des informations dont il a besoin.
20. Rédiger un nouveau contenu
La stratégie finale liée au contenu est une autre stratégie de référencement : écrire un nouveau contenu.
Continuez à explorer Googlebot en proposant du contenu actualisé qu'il pourra explorer régulièrement. Cela stimulera votre référencement et suscitera également l'intérêt des lecteurs !
Réflexions finales
Comprendre le budget du crawl est en fait plus simple qu'il n'y paraît au premier abord.
L'augmentation de votre budget utilise à peu près les mêmes tactiques que l'amélioration de votre référencement.
L'utilisation de bonnes pratiques de site vous aidera à maintenir votre budget là où il doit être et à satisfaire les utilisateurs.
Comme vous pouvez le constater, il existe de nombreuses façons d'augmenter efficacement ce budget.
En suivant ces 20 étapes, vous pouvez continuer à explorer régulièrement votre site par Googlebot.
Avez-vous essayé d'autres stratégies pour augmenter votre budget ? Laissez un commentaire et faites-le moi savoir !
