Aller au texte
caught in my web

Sitemap XML et robots.txt : les deux fichiers que Google lit d'abord

Paru le Web & Digital3 min de lecture

Le sitemap liste les pages que vous voulez voir dans Google ; le robots.txt dit aux robots où ils peuvent aller. Deux petits fichiers texte, à la racine du site, souvent créés automatiquement. Ils se règlent en dix minutes, mais une seule ligne de travers peut cacher un site entier.

Boussole posée sur une carte ancienne
Image : voir les crédits

Ouvrez un nouvel onglet et tapez l’adresse de votre site suivie de /robots.txt. Puis faites de même avec /sitemap.xml. Sur la plupart des sites faits avec WordPress, Wix, Shopify ou un générateur moderne, les deux existent déjà, créés sans que personne n’y ait touché. Encore faut-il qu’ils disent ce que vous voulez.

Le sitemap : une liste, pas un ordre

Le sitemap est un fichier qui liste les adresses des pages que vous souhaitez voir dans les résultats. Il aide Google à les découvrir, en particulier sur un site neuf qui reçoit peu de liens.

La documentation de Google fixe quelques règles. Un sitemap est limité à 50 000 adresses ou 50 Mo non compressé ; au-delà, on le découpe en plusieurs fichiers réunis par un index. Le fichier doit être encodé en UTF-8 et contenir des adresses complètes, commençant par https. Il ne doit lister que les adresses canoniques, celles que vous voulez voir dans Google, et pas les pages redirigées, en double ou marquées noindex.

Deux balises qu’on voit encore souvent sont inutiles pour Google : priority et changefreq. Sa documentation le dit sans détour, il les ignore. La date de dernière modification, lastmod, peut servir, à condition d’être exacte.

Enfin, Google rappelle qu’un sitemap est une indication : il ne garantit ni l’exploration ni l’indexation des pages listées.

Envoyer le sitemap

Deux méthodes, cumulables. Dans la Search Console, le menu « Sitemaps » accepte l’adresse du fichier et affiche ensuite s’il a été lu sans erreur. Dans le robots.txt, une ligne Sitemap: suivie de l’adresse complète du fichier le signale à tous les robots qui lisent ce fichier.

Le robots.txt : un panneau à l’entrée

Le robots.txt est un fichier texte qui indique aux robots d’exploration quelles parties du site ils peuvent parcourir. Il ressemble à ceci :

User-agent: *
Disallow: /panier/
Disallow: /recherche/

Sitemap: https://exemple.fr/sitemap.xml

User-agent: * désigne tous les robots. Chaque ligne Disallow interdit un chemin. Un Disallow: vide n’interdit rien.

Ce que le robots.txt ne fait pas

C’est le malentendu le plus coûteux. Bloquer une page dans le robots.txt empêche Google de l’explorer, pas de l’indexer. La documentation de Google le précise : si d’autres pages font des liens vers elle, l’adresse peut quand même apparaître dans les résultats, sans description, parce que Google ne l’a pas lue.

Pour qu’une page ne sorte pas dans Google, il faut une règle noindex, dans une balise meta ou un en-tête HTTP, et la page doit rester explorable pour que Google voie cette règle. Bloquer et marquer noindex à la fois revient à cacher la consigne à celui qui doit la lire.

Le robots.txt n’est pas non plus une protection : il est public, n’importe qui peut le lire, et les robots malveillants l’ignorent. Une page confidentielle se protège par un mot de passe.

Les erreurs qui cachent un site entier

La plus spectaculaire tient en une ligne : Disallow: /. Elle interdit tout le site à tous les robots. On la trouve sur des sites de développement passés en production sans relecture, ou après une case cochée par erreur dans les réglages de visibilité du CMS.

Les autres sont plus discrètes : un dossier d’images ou de feuilles de style bloqué, qui empêche Google d’afficher la page correctement ; un sitemap qui liste encore les adresses de l’ancien site après une refonte ; un sitemap à une adresse que le robots.txt bloque lui-même.

Le contrôle

Affichez vos deux fichiers dans le navigateur. Dans le robots.txt, cherchez une ligne Disallow: / seule, et vérifiez que la ligne Sitemap pointe vers la bonne adresse. Dans le sitemap, ouvrez trois adresses au hasard : elles doivent répondre normalement, sans redirection. Puis passez le code de votre page d’accueil dans notre lecteur de balises, qui signale une éventuelle règle noindex dans la page. Si les trois vérifications sont bonnes, ces deux fichiers ne sont pas votre problème.

Sources consultées

  1. Créer et envoyer un sitemap, Google Search Central, consulté le 5 novembre 2026.
  2. Présentation du fichier robots.txt, Google Search Central, consulté le 5 novembre 2026.
  3. Influencer les liens de titre dans les résultats de recherche, Google Search Central, consulté le 5 novembre 2026.

La rédaction de Caught in my webArticle écrit à partir des sources ci-dessus. Une erreur ? [email protected]