{"id":1938,"date":"2022-06-30T19:52:34","date_gmt":"2022-06-30T17:52:34","guid":{"rendered":"https:\/\/www.arkee.fr\/?post_type=lexique&p=1938"},"modified":"2022-06-30T19:52:35","modified_gmt":"2022-06-30T17:52:35","slug":"crawler","status":"publish","type":"lexique","link":"https:\/\/www.arkee.fr\/en\/lexique\/crawler\/","title":{"rendered":"Crawler"},"content":{"rendered":"

Comment fonctionne un Crawler ?<\/h2>\n

Par d\u00e9finition, un crawler est un programme qui parcoure le web et explore les sites pour \u00e9toffer l\u2019index des moteurs de recherche. Bien connu sous le nom de \u00ab\u00a0robot d\u2019indexation\u00a0\u00bb, \u00ab\u00a0robot d\u2019exploration\u00a0\u00bb, \u00ab\u00a0spider\u00a0\u00bb, \u00ab\u00a0web crawler\u00a0\u00bb ou encore \u00ab\u00a0bot\u00a0\u00bb dans le monde du r\u00e9f\u00e9rencement SEO, chaque moteur de recherche dispose de son propre crawler, les plus c\u00e9l\u00e8bres \u00e9tant Googlebot pour le moteur de recherche Google, et Bingbot pour le moteur de recherche Bing.<\/p>\n

\"toile<\/p>\n

Afin d\u2019alimenter l’index d’un moteur de recherche et de proposer des r\u00e9sultats de recherche toujours plus pertinents et actualis\u00e9s, les crawlers parcourent le web en autonomie et passent au peigne fin toutes les pages et les contenus qu\u2019elles proposent aux internautes. A la recherche perp\u00e9tuelle de nouvelles pages ou de pages d\u00e9j\u00e0 index\u00e9es mais depuis mises \u00e0 jour afin de l’actualiser, les crawlers sont essentiels en r\u00e9f\u00e9rencement SEO.<\/p>\n

On repr\u00e9sente souvent la navigation des bots \u00e0 travers le web \u00e0 l\u2019image d\u2019une araign\u00e9e qui se d\u00e9placerait sur sa toile, passant de liens en liens, ce qui permet de renforcer la structure (aussi bien du site que de la toile d\u2019araign\u00e9e\u00a0!).<\/p>\n

Chacune des missions et commandes du crawler sont d\u00e9finies en avance, ainsi le robot n\u2019a plus qu\u2019\u00e0 suivre les instructions qui lui ont \u00e9t\u00e9 donn\u00e9es. Son fonctionnement est simple\u00a0: il se d\u00e9place sur Internet \u00e0 l\u2019aide des liens hypertextes, automatiquement, 24h sur 24h. Son exploration<\/a> d\u00e9marre toujours par une URL connue. En arrivant sur une page, il l\u2019explore, la crawle, enregistre les donn\u00e9es (le contenu, les vid\u00e9os, les images, les titres, les balises, et tout autre \u00e9l\u00e9ment pr\u00e9sent sur votre site web), suit les liens pr\u00e9sents sur la page pour d\u00e9couvrir de nouvelles pages, les sauvegarde, et recommence ce m\u00eame proc\u00e9d\u00e9 \u00e0 l\u2019infini.<\/p>\n

Pourquoi un Crawler est important pour le r\u00e9f\u00e9rencement ?<\/h2>\n

Am\u00e9liorer le r\u00e9f\u00e9rencement d’un site internet est l’objectif principal de tout propri\u00e9taire de site. On parle sans cesse d\u2019optimiser ses pages, ses balises, ses contenus, ses images, en bref, son site web en g\u00e9n\u00e9ral. Mais dans quel but ?<\/p>\n

Chaque jour de nouvelles pages sont cr\u00e9\u00e9es, et le nombre de contenus sur diff\u00e9rentes th\u00e9matiques fleurissent \u00e0 toute vitesse. Soucieux de fournir la r\u00e9ponse la plus pr\u00e9cise et pertinente aux requ\u00eates effectu\u00e9es par les internautes, Google envoie son crawler pour explorer les pages et les analyser. Le robot va donc scruter tous les \u00e9l\u00e9ments d\u2019une page afin d\u2019en comprendre le sujet, pour ensuite l’indexer et la trier parmi les autres. Les pages jug\u00e9es les plus pertinentes seront affich\u00e9es dans les premiers r\u00e9sultats dans les SERPs, ce qui leur donnera une grande visibilit\u00e9 et une augmentation du trafic organique.<\/p>\n

Cependant, il est n\u00e9cessaire de proposer un site optimis\u00e9 au crawler pour que cela impacte positivement votre r\u00e9f\u00e9rencement. En effet, Google n\u2019a pas le temps de parcourir l\u2019ensemble des pages du web. Ainsi, il d\u00e9termine un nombre d\u2019URLs maximum \u00e0 explorer, qui varie selon les sites, en fonction de plusieurs crit\u00e8res. On appelle \u00e7a le Crawl Budget<\/a>.<\/p>\n

Quels sont les diff\u00e9rents Crawlers des moteurs de recherche ?<\/h2>\n

On compte aujourd\u2019hui bon nombre de moteurs de recherche diff\u00e9rents, et chacun d\u2019entre eux dispose de son propre crawler. Voici la liste des robots d\u2019exploration des plus connus\u00a0:<\/p>\n