{"id":1545,"date":"2022-06-27T15:42:51","date_gmt":"2022-06-27T13:42:51","guid":{"rendered":"https:\/\/www.arkee.fr\/?post_type=lexique&p=1545"},"modified":"2022-06-30T15:30:23","modified_gmt":"2022-06-30T13:30:23","slug":"robots-txt","status":"publish","type":"lexique","link":"https:\/\/www.arkee.fr\/en\/lexique\/robots-txt\/","title":{"rendered":"Robots.txt"},"content":{"rendered":"\n

Robot.txt, qu’est-ce que c’est ?<\/h2>\n\n\n\n

Le robot.txt <\/em>est un fichier qui permet aux moteurs de recherche de savoir quelles pages de votre site ils peuvent indexer et lesquelles ils ne doivent pas. Il est important de comprendre comment fonctionne le Robot.txt, car il peut vous aider \u00e0 contr\u00f4ler l’indexation de votre site par les moteurs de recherche et \u00e0 am\u00e9liorer votre r\u00e9f\u00e9rencement. <\/p>\n\n\n\n

C\u2019est un fichier texte simple qui est plac\u00e9 \u00e0 la racine de votre site web. Il contient des instructions pour les robots des moteurs de recherche qui indiquent quelles pages doivent \u00eatre index\u00e9es et lesquelles doivent \u00eatre ignor\u00e9es. <\/p>\n\n\n\n

Ces instructions sont appel\u00e9es “directives de robots”. Il est important de noter que les robots des moteurs de recherche ne sont pas tenus de suivre les directives de robots, mais la plupart du temps, ils le font. <\/p>\n\n\n\n

Les directives de robots sont g\u00e9n\u00e9ralement \u00e9crites en termes de fichiers et d’extensions de fichiers, mais elles peuvent aussi \u00eatre \u00e9crites en termes d’URL. <\/p>\n\n\n\n

Les directives de robots les plus courantes sont les suivantes : <\/p>\n\n\n\n

User-agent: * <\/p>

Allow: \/*<\/p>

Disallow: \/feed<\/p><\/blockquote>\n\n\n\n

Ces directives \/* indiquent aux robots des moteurs de recherche qu’ils doit indexer toutes les pages du site sauf le \/feed.<\/p>\n\n\n\n

\"Main
Main de IA Robot sur un fond bleu pour le lexique de Ark\u00e9e.<\/figcaption><\/figure>\n\n\n\n

Le fichier robots.txt, comment \u00e7a marche ?<\/h2>\n\n\n\n

Lorsque que des pages web sont cr\u00e9es et publi\u00e9es, les robots d’exploration<\/a> vont venir les explorer afin de recenser leur contenu et donner ses informations au moteur pour compl\u00e9ter l’index. Ensuite, selon les recherches des internautes, la page pourra ressortir dans les r\u00e9sultats. Tout cela se fait de mani\u00e8re automatis\u00e9e et vous n’avez aucun contr\u00f4le sur les agissements des robots.<\/p>\n\n\n\n

Le fichier robots.txt permet d’indiquer aux robots de ne pas explorer<\/a> les pages que vous souhaitez et donc emp\u00eacher leur indexation. Ces pages fonctionneront normalement, seront accessibles pour les visiteurs par des liens mais ne seront pas trait\u00e9es par les robots.<\/p>\n\n\n\n

Pourquoi utiliser un fichier robots.txt ?<\/h2>\n\n\n\n

Produire des pages web et interdire aux robots de les indexer peut paraitre \u00e9trange au premier abord mais il y a certains avantages \u00e0 utiliser le fichier robots.txt. Si vous poss\u00e9der une page qui poss\u00e8de du contenu dupliqu\u00e9 il est pr\u00e9f\u00e9rable de ne pas l’indexer pour ne pas p\u00e9naliser le site. <\/p>\n\n\n\n

Ne pas indexer certaines permet d’\u00e9conomiser du budget de crawl<\/a> et en quelque sorte optimiser les pages principales. Le fichier robots.txt permet \u00e9galement de fournir un sitemap, une indication pour les robots sur les URL \u00e0 indexer.<\/p>\n","protected":false},"featured_media":0,"template":"","meta":{"_acf_changed":false,"_yoast_wpseo_title":"%%title%% - Les D\u00e9finitions SEO - Ark\u00e9e","_yoast_wpseo_metadesc":"Le robot.txt est un fichier qui permet aux moteurs de recherche de savoir quelles pages de votre site ils peuvent indexer et lesquelles ils ne doivent pas."},"acf":[],"yoast_head":"\nRobots.txt - Les D\u00e9finitions SEO - Ark\u00e9e<\/title>\n<meta name=\"description\" content=\"Le robot.txt est un fichier qui permet aux moteurs de recherche de savoir quelles pages de votre site ils peuvent indexer et lesquelles ils ne doivent pas.\" \/>\n<meta name=\"robots\" content=\"index, follow, max-snippet:-1, max-image-preview:large, max-video-preview:-1\" \/>\n<link rel=\"canonical\" href=\"https:\/\/www.arkee.fr\/en\/lexique\/robots-txt\/\" \/>\n<meta property=\"og:locale\" content=\"en_US\" \/>\n<meta property=\"og:type\" content=\"article\" \/>\n<meta property=\"og:title\" content=\"Robots.txt - Les D\u00e9finitions SEO - Ark\u00e9e\" \/>\n<meta property=\"og:description\" content=\"Le robot.txt est un fichier qui permet aux moteurs de recherche de savoir quelles pages de votre site ils peuvent indexer et lesquelles ils ne doivent pas.\" \/>\n<meta property=\"og:url\" content=\"https:\/\/www.arkee.fr\/en\/lexique\/robots-txt\/\" \/>\n<meta property=\"og:site_name\" content=\"Ark\u00e9e\" \/>\n<meta property=\"article:publisher\" content=\"https:\/\/www.facebook.com\/arkee.agency\" \/>\n<meta property=\"article:modified_time\" content=\"2022-06-30T13:30:23+00:00\" \/>\n<meta property=\"og:image\" content=\"https:\/\/www.arkee.fr\/wp-content\/uploads\/2022\/06\/1-main-de-robot.jpg\" \/>\n<meta name=\"twitter:card\" content=\"summary_large_image\" \/>\n<meta name=\"twitter:label1\" content=\"Est. reading time\" \/>\n\t<meta name=\"twitter:data1\" content=\"3 minutes\" \/>\n<script type=\"application\/ld+json\" class=\"yoast-schema-graph\">{\"@context\":\"https:\/\/schema.org\",\"@graph\":[{\"@type\":\"WebPage\",\"@id\":\"https:\/\/www.arkee.fr\/en\/lexique\/robots-txt\/\",\"url\":\"https:\/\/www.arkee.fr\/en\/lexique\/robots-txt\/\",\"name\":\"Robots.txt - Les D\u00e9finitions SEO - Ark\u00e9e\",\"isPartOf\":{\"@id\":\"https:\/\/www.arkee.fr\/en\/#website\"},\"primaryImageOfPage\":{\"@id\":\"https:\/\/www.arkee.fr\/en\/lexique\/robots-txt\/#primaryimage\"},\"image\":{\"@id\":\"https:\/\/www.arkee.fr\/en\/lexique\/robots-txt\/#primaryimage\"},\"thumbnailUrl\":\"https:\/\/www.arkee.fr\/wp-content\/uploads\/2022\/06\/1-main-de-robot.jpg\",\"datePublished\":\"2022-06-27T13:42:51+00:00\",\"dateModified\":\"2022-06-30T13:30:23+00:00\",\"description\":\"Le robot.txt est un fichier qui permet aux moteurs de recherche de savoir quelles pages de votre site ils peuvent indexer et lesquelles ils ne doivent pas.\",\"breadcrumb\":{\"@id\":\"https:\/\/www.arkee.fr\/en\/lexique\/robots-txt\/#breadcrumb\"},\"inLanguage\":\"en-US\",\"potentialAction\":[{\"@type\":\"ReadAction\",\"target\":[\"https:\/\/www.arkee.fr\/en\/lexique\/robots-txt\/\"]}]},{\"@type\":\"ImageObject\",\"inLanguage\":\"en-US\",\"@id\":\"https:\/\/www.arkee.fr\/en\/lexique\/robots-txt\/#primaryimage\",\"url\":\"https:\/\/www.arkee.fr\/wp-content\/uploads\/2022\/06\/1-main-de-robot.jpg\",\"contentUrl\":\"https:\/\/www.arkee.fr\/wp-content\/uploads\/2022\/06\/1-main-de-robot.jpg\",\"width\":900,\"height\":600,\"caption\":\"Main de IA Robot sur un fond bleu pour le lexique de Ark\u00e9e.\"},{\"@type\":\"BreadcrumbList\",\"@id\":\"https:\/\/www.arkee.fr\/en\/lexique\/robots-txt\/#breadcrumb\",\"itemListElement\":[{\"@type\":\"ListItem\",\"position\":1,\"name\":\"Accueil\",\"item\":\"https:\/\/www.arkee.fr\/en\/home\/\"},{\"@type\":\"ListItem\",\"position\":2,\"name\":\"Robots.txt\"}]},{\"@type\":\"WebSite\",\"@id\":\"https:\/\/www.arkee.fr\/en\/#website\",\"url\":\"https:\/\/www.arkee.fr\/en\/\",\"name\":\"Ark\u00e9e\",\"description\":\"Activez vraiment le SEO\",\"potentialAction\":[{\"@type\":\"SearchAction\",\"target\":{\"@type\":\"EntryPoint\",\"urlTemplate\":\"https:\/\/www.arkee.fr\/en\/?s={search_term_string}\"},\"query-input\":\"required name=search_term_string\"}],\"inLanguage\":\"en-US\"}]}<\/script>\n<!-- \/ Yoast SEO plugin. -->","yoast_head_json":{"title":"Robots.txt - Les D\u00e9finitions SEO - Ark\u00e9e","description":"Le robot.txt est un fichier qui permet aux moteurs de recherche de savoir quelles pages de votre site ils peuvent indexer et lesquelles ils ne doivent pas.","robots":{"index":"index","follow":"follow","max-snippet":"max-snippet:-1","max-image-preview":"max-image-preview:large","max-video-preview":"max-video-preview:-1"},"canonical":"https:\/\/www.arkee.fr\/en\/lexique\/robots-txt\/","og_locale":"en_US","og_type":"article","og_title":"Robots.txt - Les D\u00e9finitions SEO - Ark\u00e9e","og_description":"Le robot.txt est un fichier qui permet aux moteurs de recherche de savoir quelles pages de votre site ils peuvent indexer et lesquelles ils ne doivent pas.","og_url":"https:\/\/www.arkee.fr\/en\/lexique\/robots-txt\/","og_site_name":"Ark\u00e9e","article_publisher":"https:\/\/www.facebook.com\/arkee.agency","article_modified_time":"2022-06-30T13:30:23+00:00","og_image":[{"url":"https:\/\/www.arkee.fr\/wp-content\/uploads\/2022\/06\/1-main-de-robot.jpg"}],"twitter_card":"summary_large_image","twitter_misc":{"Est. reading time":"3 minutes"},"schema":{"@context":"https:\/\/schema.org","@graph":[{"@type":"WebPage","@id":"https:\/\/www.arkee.fr\/en\/lexique\/robots-txt\/","url":"https:\/\/www.arkee.fr\/en\/lexique\/robots-txt\/","name":"Robots.txt - Les D\u00e9finitions SEO - Ark\u00e9e","isPartOf":{"@id":"https:\/\/www.arkee.fr\/en\/#website"},"primaryImageOfPage":{"@id":"https:\/\/www.arkee.fr\/en\/lexique\/robots-txt\/#primaryimage"},"image":{"@id":"https:\/\/www.arkee.fr\/en\/lexique\/robots-txt\/#primaryimage"},"thumbnailUrl":"https:\/\/www.arkee.fr\/wp-content\/uploads\/2022\/06\/1-main-de-robot.jpg","datePublished":"2022-06-27T13:42:51+00:00","dateModified":"2022-06-30T13:30:23+00:00","description":"Le robot.txt est un fichier qui permet aux moteurs de recherche de savoir quelles pages de votre site ils peuvent indexer et lesquelles ils ne doivent pas.","breadcrumb":{"@id":"https:\/\/www.arkee.fr\/en\/lexique\/robots-txt\/#breadcrumb"},"inLanguage":"en-US","potentialAction":[{"@type":"ReadAction","target":["https:\/\/www.arkee.fr\/en\/lexique\/robots-txt\/"]}]},{"@type":"ImageObject","inLanguage":"en-US","@id":"https:\/\/www.arkee.fr\/en\/lexique\/robots-txt\/#primaryimage","url":"https:\/\/www.arkee.fr\/wp-content\/uploads\/2022\/06\/1-main-de-robot.jpg","contentUrl":"https:\/\/www.arkee.fr\/wp-content\/uploads\/2022\/06\/1-main-de-robot.jpg","width":900,"height":600,"caption":"Main de IA Robot sur un fond bleu pour le lexique de Ark\u00e9e."},{"@type":"BreadcrumbList","@id":"https:\/\/www.arkee.fr\/en\/lexique\/robots-txt\/#breadcrumb","itemListElement":[{"@type":"ListItem","position":1,"name":"Accueil","item":"https:\/\/www.arkee.fr\/en\/home\/"},{"@type":"ListItem","position":2,"name":"Robots.txt"}]},{"@type":"WebSite","@id":"https:\/\/www.arkee.fr\/en\/#website","url":"https:\/\/www.arkee.fr\/en\/","name":"Ark\u00e9e","description":"Activez vraiment le SEO","potentialAction":[{"@type":"SearchAction","target":{"@type":"EntryPoint","urlTemplate":"https:\/\/www.arkee.fr\/en\/?s={search_term_string}"},"query-input":"required name=search_term_string"}],"inLanguage":"en-US"}]}},"_links":{"self":[{"href":"https:\/\/www.arkee.fr\/en\/wp-json\/wp\/v2\/lexique\/1545"}],"collection":[{"href":"https:\/\/www.arkee.fr\/en\/wp-json\/wp\/v2\/lexique"}],"about":[{"href":"https:\/\/www.arkee.fr\/en\/wp-json\/wp\/v2\/types\/lexique"}],"version-history":[{"count":13,"href":"https:\/\/www.arkee.fr\/en\/wp-json\/wp\/v2\/lexique\/1545\/revisions"}],"predecessor-version":[{"id":2175,"href":"https:\/\/www.arkee.fr\/en\/wp-json\/wp\/v2\/lexique\/1545\/revisions\/2175"}],"wp:attachment":[{"href":"https:\/\/www.arkee.fr\/en\/wp-json\/wp\/v2\/media?parent=1545"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}