Crawling : L’exploration par Google

Le crawling est un procédé permettant d’explorer, tandis que le budget crawl est le nombre de pages de votre site internet que Google va parcourir par jour.

Les deux sont en quelques sortes reliés, car mieux votre crawling sera, plus votre budget crawl sera important.

Vous pouvez évaluer votre budget crawl de deux façons :

• Analyser les fichiers logs
• Analyser sur Google Search Console

Un meilleur crawling aura toujours pour but d’indexer plus rapidement.

Parmi les centaines de critères de pertinence que Google évaluent pour indexer un site web, le crawling est un facteur de positionnement très faible.

Sn optimisation permet d’améliorer l’indexation et l’actualisation de chacune des pages de votre site internet.

A l’inverse, un mauvais crawling peut être dévastateur pour votre référencement. Si le robot d’exploration reste bloqué sur une page trop longtemps, il peut reporter son exploration à plus tard.

Pourquoi vous devriez optimiser votre crawling ?

• Pour indexer de nouvelles pages plus rapidement sur Google
• Pour permettre un meilleur rafraichissement en cas de mise à jour de contenu

Si vous travaillez régulièrement votre maillage interne, alors vous devez savoir qu’en modifiant une page et en y ajoutant un lien, ce dernier n’est pas immédiatement comptabilisé sur Google. Il l’est à partir du moment où la page est entièrement explorée.

Optimiser le crawling

Le crawling est utilisé constamment par les moteurs de recherche, afin de connaitre les données de vos pages. Ainsi, les données sont envoyées aux différents algorithmes afin de positionner votre site internet sur les pages de résultats de recherche.

Si votre page est accessible et que Google y a bien accès, alors vous aimeriez sans doute améliorer votre  « budget crawl » afin d’indexer davantage de pages, et plus rapidement. Voici 5 conseils qui pourront vous aider à améliorer la vitesse de chargement de votre site :

Vous êtes prêt ?

Voici 5 conseils pour optimiser votre crawling :

Vérifiez l’accessibilité de votre page

Dans certains cas, il arrive que Google ne puisse pas accéder à une page, en raison d’erreurs techniques. Dans ce cas, il ne peut donc pas crawler votre page...

Pour éviter des pages inaccessibles par Google :

• Vérifier votre entête de réponse
• Consulter votre fichier robots.txt
• Analyser la balise meta-no index
• Faire un test en direct sur Google Search Console

Minifiez vos fichier CSS et JS

Il est conseillé de compresser vos fichiers afin qu’ils soient moins lourds et qu’ils soient plus rapides à télécharger pour le robot.

La compression est un processus qui a pour but de supprimer les espaces, les commentaires, ou tout autre composant de style ou de script inutile et redondant…
 
Cela améliore la vitesse d’exploration de vos fichiers.

Optimisez vos images

Optimiser le poids des images est important en SEO car une image trop lourde impactera votre « budget crawl ».  Pour optimiser vos images, vous pouvez :

1. Convertir au format WebP qui suffira amplement.
2. Utiliser le format SVG pour des créations vectorielles ( illustration, logo )
3. Réduire la qualité de l’image sur Photoshop (réglages à l’export)
4. Installer un système de cache sur vos images

Bien sûr, il est primordial d’afficher le contenu du site le plus rapidement possible.
Pour ne pas bloquer le rendu de la page, vous pouvez installer un système de Lazyload sur vos images.

Choisissez un thème optimisé

Choisir un thème est une étape cruciale pour optimiser son site et son référencement naturel.

Si vous êtes sur un CMS comme WordPress, alors vous avez peut-être investi dans un thème Premium et qui ressemble trait pour trait à votre activité. Cependant, certains thèmes ne sont pas forcément optimisés sur la vitesse de chargement, et notamment sur l’exploration par le robot de Google.

Il est important de ne pas choisir un thème uniquement basé sur le graphisme et la beauté de celui-ci.

Invitez Google à consulter vos nouveaux contenus

Lorsque vous publiez une page sur votre site, Google ne prendra pas tout de suite en considération son contenu. Avant, il faut qu’il puisse connaître ce dernier depuis une autre source :

• Le sitemap : Google consulte plutôt régulièrement un sitemap
• L’indexation immédiate : Une extension provenant de RankMath qui vous permet d’accélérer l’exploration (et non l’indexation)

 
Alternativement, vous pouvez demander l’exploration d’une page directement sur Google Search Console si vous n’avez pas installé l’indexation instantanée sur votre site web. Cette méthode est classique et limitée à 10 URLs par jour.