Ouvrir Google, taper quelques mots dans la barre de recherche, valider, puis consulter les résultats qui s’affichent avant de cliquer sur le lien désiré… Ces gestes, vous les connaissez bien. Comme la plupart des internautes, vous les répétez chaque jour, et certainement plusieurs fois dans la même journée (selon HubSpot, une personne lambda lance 3 à 4 recherches quotidiennes sur un moteur). Mais savez-vous ce qui se cache derrière ce mécanisme ?
Comment les pages web sont indexées ? Quels critères président au choix des contenus mis en avant dans la SERP (la page des résultats) ? Il est d’autant plus important de comprendre le fonctionnement d’un moteur de recherche que vous avez tout intérêt à positionner les pages de votre site professionnel le plus haut possible dans les résultats. On vous explique tout.
Fonctionnement d’un moteur de recherche : pourquoi c’est important ?
Tout le monde veut être premier sur Google. Et pour cause : c’est là, au sommet de la page des résultats, que se trouvent les liens les plus fréquemment cliqués par les internautes. Comme le montre ce graphique élaboré par Backlinko pour indiquer le taux de clics moyen par position, les 3 liens installés sur le podium raflent plus de la moitié des clics, soit 54,4 %. Plus largement, les 10 premiers résultats réunissent 86,3 % des clics.
En sachant que 80 % du trafic web provient des moteurs de recherche (Smartinsights), l’on ne s’étonnera donc pas de l’importance de ces outils au sein des stratégies de marketing digital. Sur le web, la visibilité – et, par extension, le trafic, la notoriété, la conversion – passe essentiellement par ces outils. Et notamment par Google, le plus utilisé d’entre eux, avec une moyenne de 90 % de parts de marché en France… et 96 % sur mobile (Webrankinfo).
Comprendre le fonctionnement d’un moteur de recherche, c’est le prérequis pour élaborer une stratégie de référencement naturel efficace et parvenir à positionner les pages de son site web au sommet de la SERP. Pourquoi ? Parce que les leviers du SEO sont liés aux processus employés par les moteurs pour explorer, indexer, puis classer les contenus trouvés sur le web. Cette connaissance est donc indispensable en vue d’optimiser vos pages, et de faire en sorte qu’elles séduisent les algorithmes autant que les internautes.
C’est d’ailleurs ce que font les référenceurs : ils étudient en continu les mécanismes de ces outils afin de développer des méthodologies adaptées. Sans aller jusque-là, nous vous proposons néanmoins de découvrir (à une moindre échelle) le fonctionnement basique d’un moteur de recherche.
À quoi servent les moteurs de recherche ?
Un moteur de recherche est une application conçue pour afficher aux internautes des contenus issus du web, en réponse aux requêtes qu’ils ont formulées, et ce, de manière instantanée. Mais pas n’importe quels contenus : l’algorithme se charge de sélectionner les pages les plus pertinentes aux yeux des utilisateurs, celles qui ont le plus de chances de répondre à leurs attentes.
Pour remplir cette mission avec toujours plus d’acuité, les algorithmes sont régulièrement mis à jour avec de nouveaux programmes qui tendent à améliorer la pertinence des résultats. À titre d’exemple, depuis une dizaine d’années, Google s’appuie sur des outils d’intelligence artificielle pour tâcher de mieux comprendre l’intention dissimulée derrière chaque requête, en particulier lorsque celle-ci est complexe : ce sont les mises à jour RankBrain, Bert puis MUM. Dans un avenir proche, la Search Generative Experience permettra de proposer aux internautes des résultats toujours plus détaillés et proches de leurs besoins, grâce à un programme d’IA générative.
Avec ceci en tête, plongeons maintenant dans le fonctionnement d’un moteur de recherche.
Comment fonctionnent les moteurs de recherche ?
Tous les moteurs de recherche – Google, Bing, Yahoo, Qwant… – fonctionnent grosso modo sur les mêmes principes, en 3 temps : le crawl, l’indexation, puis le positionnement et l’affichage dans la SERP. Voyons ce qu’il en est.
Le crawl
La première étape du fonctionnement d’un moteur de recherche est celle de l’exploration : une sorte d’inspection systématique de ce qu’Internet propose comme contenus divers et variés. Concrètement, l’algorithme lance ses robots crawlers, des programmes informatiques que l’on peut se représenter comme une armée de drones lâchée sur l’écosystème web, pour rassembler un maximum d’informations quant aux pages nouvellement publiées et aux modifications des pages existantes dans l’index.
En arrivant sur un site web, les robots en parcourent les différentes pages afin de récupérer les contenus. Sur chaque page, ils vérifient la structure et la pertinence des informations grâce aux balises HTML. Ils utilisent ensuite les liens internes pour accéder à d’autres pages, et ainsi se faire une idée de l’arborescence complète du site. À ce stade, il est possible de guider les crawlers afin de faciliter leur exploration, notamment en remplissant correctement le fichier robots.txt et en intégrant une sitemap.
Pour autant, cette exploration n’est pas continue. Les crawlers ne passent qu’un certain temps sur un site donné et ne reviennent que de manière récurrente : une certaine quantité de ressources est allouée à un même site web. C’est ce que l’on appelle le « budget de crawl ».
L’indexation
Une fois les pages explorées, elles sont stockées sur les serveurs du moteur : c’est l’indexation. L’algorithme constitue ainsi une bibliothèque numérique géante qui réunit un volume astronomique de contenus, qui pourront, par la suite, être servis aux utilisateurs. À titre d’exemple, l’index de Google comprend « des centaines de milliards de pages » dont la taille excède « 100 millions de gigaoctets » (Google).
Les liens affichés dans la SERP ne sont toutefois pas des contenus « en live », mais des versions figées des pages existantes. En réalité, l’algorithme met les contenus en cache pour les présenter aux internautes, entre deux sessions de crawl. Ce mécanisme explique pourquoi une modification effectuée sur une page peut prendre plusieurs jours à s’afficher dans les résultats. Ainsi, si vous changez par exemple la balise title d’une page de votre site, vous remarquerez que la mise à jour dans la SERP n’est pas immédiate : il faut patienter jusqu’au prochain passage des crawlers.
Le positionnement et l’affichage dans la SERP
La troisième étape du fonctionnement d’un moteur de recherche n’est autre que le positionnement des pages indexées. Cette opération se déroule en deux temps :
- L’algorithme fixe un positionnement initial pour chaque page lors de l’indexation, sur la base d’une multitude de critères de performance on-page et off-page. Pour la plupart, ces critères sont jalousement tenus secrets par les moteurs ; mais une partie d’entre eux sont présentés aux webmasters dans les bonnes pratiques (guidelines) officielles accessibles en ligne.
- Ce positionnement est ensuite affiné au fur et à mesure, en intégrant les changements apportés sur les pages, par exemple à l’occasion d’une stratégie d’optimisation.
L’ordre d’affichage des résultats dans la SERP reflète ce positionnement. Lorsqu’un internaute formule une requête, les contenus préalablement indexés lui sont servis en tenant compte des arbitrages faits par l’algorithme en amont, donc dans un ordre bien particulier.
Comment le moteur de recherche choisit-il les résultats affichés ?
C’est LA grande question à laquelle les experts en référencement naturel cherchent à répondre. S’intéresser au fonctionnement d’un moteur de recherche, c’est aussi tâcher de saisir les règles qui président au choix des pages qui sont affichées dans la SERP en réponse à une requête donnée. Pourquoi ces sites plutôt que d’autres ? Comment ces contenus ont-ils été sélectionnés ?
La clé du mystère réside dans la notion de pertinence. Comme indiqué plus haut, l’algorithme cherche avant tout à fournir aux utilisateurs des résultats susceptibles de répondre à leurs problématiques et de les satisfaire. En ce sens, la pertinence est évaluée à l’aide de 4 composantes :
- La correspondance entre le contenu et la requête (intégration des mots-clés dans la page, utilisation d’un champ sémantique spécifique, remplissage correct des balises…).
- La qualité du contenu (qualités rédactionnelles, structuration à l’aide des balises Hn, valeur apportée aux internautes…).
- Les performances techniques de la page (rapidité d’affichage, optimisation technique, compatibilité mobile…).
- L’autorité dont jouit le site qui héberge le contenu (ancienneté, popularité sur le web, nombre et qualité des liens qui pointent vers ses pages, etc.).
Comment faire en sorte qu’un site soit visible sur les moteurs de recherche ?
Dès lors que vous comprenez le fonctionnement d’un moteur de recherche, vous savez dans quelles circonstances vos pages sont censées s’afficher dans la SERP en réponse à des requêtes formulées par les internautes. Que se passe-t-il lorsque ce n’est pas le cas ? Comment faire en sorte que votre site internet soit bien visible sur Google et consorts ?
- La première chose à faire, c’est de vérifier que votre site a bien été indexé. Pour cela, il ne suffit pas de taper votre nom de domaine dans la barre de recherche, car votre site peut avoir été positionné très loin dans les pages. Voici la manipulation à effectuer : tapez la requête « site:(URL de votre site) », par exemple « site:href.fr ». Si votre site a bien été indexé, toutes les pages importantes vont apparaître dans la SERP. Si c’est un message d’erreur qui vous accueille, assurez-vous que rien ne bloque l’indexation des pages (via une directive du fichier robots.txt, notamment). Puis, forcez l’indexation en soumettant votre URL (ou mieux : votre sitemap) à l’outil de crawl du moteur, par exemple la Google Search Console.
- La seconde chose à faire, c’est d’optimiser le référencement de votre site. Améliorez ses performances techniques, intégrez du contenu optimisé et cherchez à obtenir des liens entrants qualitatifs (pour augmenter la popularité de vos pages). Tels sont les principaux piliers d’une stratégie SEO !
Un algorithme infaillible
Le fonctionnement d’un moteur de recherche est relativement simple : il faut voir l’algorithme de classement comme une sorte de bibliothécaire infatigable qui parcourt le monde numérique à la recherche des contenus pertinents pour les internautes. Le plus difficile n’est donc pas de s’adapter à cette procédure (crawl, indexation, positionnement), mais de faire en sorte que les pages de votre site web s’affichent le plus haut possible dans la SERP. Et, pour cela, vous avez besoin d’une bonne stratégie de référencement naturel, avec des contenus qualitatifs et un travail sur la popularité.
