Configurer et optimiser votre fichier robots.txt pour un meilleur référencement

CE QUE JE FAIS POUR VOUS

J'audite, je corrige et j'optimise votre fichier robots.txt pour que Google accède à tout ce qui doit être indexé et ignore tout ce qui ne sert à rien — le tout en quelques lignes de code propres.

CE QUI EST INCLUS DANS L'OFFRE DE BASE (15€)

✅ Audit du fichier robots.txt actuel (ou constat d'absence)

✅ Vérification des blocages accidentels (pages importantes bloquées ?)

✅ Rédaction d'un robots.txt optimisé :

— Autorisation des pages stratégiques (accueil, services, produits, articles, contact)

— Blocage des ressources inutiles (admin, panier vide, pages de connexion, résultats de recherche interne, fichiers système)

— Blocage des crawlers indésirables (bots IA non souhaités, scrapers)

— Référence au sitemap XML intégrée

✅ Implémentation sur votre site (WordPress ou Shopify)

✅ Test avec l'outil d'inspection d'URL de Google Search Console

✅ Vérification qu'aucune page importante n'est bloquée

✅ Capture d'écran du fichier final + rapport de test

POURQUOI C'EST IMPORTANT

→ Débloquer vos pages — Un robots.txt mal configuré peut empêcher Google d'accéder à vos pages produits, vos articles ou même votre accueil. Vous êtes invisible sans le savoir.

→ Protéger votre budget de crawl — Google a un nombre limité de passages sur votre site. Si ses bots perdent du temps sur /wp-admin, /cart, /search?q= ou /tag/truc-inutile, vos vraies pages sont crawlées moins souvent.

→ Bloquer les bots indésirables — Des dizaines de bots IA et de scrapers parcourent votre site en permanence. Le robots.txt permet de bloquer ceux que vous ne souhaitez pas.

→ Signaler votre sitemap — La référence au sitemap dans le robots.txt est une bonne pratique qui accélère la découverte de vos pages.

CE QUI EST BLOQUÉ / AUTORISÉ

✅ Autorisé (crawl encouragé) :

— Pages d'accueil, services, produits, articles

— Collections et catégories

— Pages à propos, contact

— Images et fichiers médias

— CSS et JavaScript (nécessaires pour le rendu mobile)

❌ Bloqué (crawl interdit) :

— /wp-admin/ (zone d'administration WordPress)

— /cart/ et /checkout/ (panier et tunnel d'achat vide)

— /search/ (résultats de recherche interne)

— /wp-login.php (page de connexion)

— Pages de tag et archives inutiles (selon configuration)

— /xmlrpc.php (faille de sécurité fréquente)

— Bots IA non souhaités (GPTBot, CCBot, selon vos préférences)

AVANT / APRÈS

❌ Avant (robots.txt par défaut WordPress) :

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

→ Minimaliste. Ne bloque rien d'utile, n'optimise rien.

✅ Après (robots.txt optimisé) :

User-agent: *
Allow: /
Disallow: /wp-admin/
Disallow: /wp-login.php
Disallow: /cart/
Disallow: /checkout/
Disallow: /search/
Disallow: /tag/
Disallow: /*?s=
Disallow: /xmlrpc.php
Allow: /wp-admin/admin-ajax.php

User-agent: GPTBot
Disallow: /

User-agent: CCBot
Disallow: /

Sitemap: https://votresite.com/sitemap_index.xml

→ Propre, sécurisé, optimisé. Google voit ce qui compte. Les bots indésirables sont bloqués. Le sitemap est référencé.

COMMENT ÇA SE PASSE ?

Étape 1 — Vous me transmettez vos accès

Étape 2 — J'audite le robots.txt actuel et identifie les problèmes

Étape 3 — Je rédige et implémente le nouveau fichier

Étape 4 — Test dans Search Console + vérification aucune page utile bloquée + livraison

⏱️ Livraison sous 1 jour après réception de vos accès.

PRÉREQUIS

🔑 Accès administrateur à votre site (WordPress ou Shopify)

🔑 Accès FTP ou gestionnaire de fichiers de votre hébergeur (pour WordPress — nécessaire si le plugin SEO ne gère pas le robots.txt)

🔑 Accès Google Search Console (pour le test d'inspection d'URL)

⚠️ Sur Shopify, le robots.txt est partiellement géré par Shopify et les modifications sont limitées au fichier robots.txt.liquid dans le thème. Je m'adapte aux possibilités de chaque plateforme.

QUI SUIS-JE ?

Je m'appelle Josué Diagathe, fondateur de 001marketing. Depuis 2017, j'optimise le SEO technique de sites WordPress et Shopify. Le robots.txt est un fichier minuscule mais critique — une erreur dedans peut rendre un site entier invisible sur Google. C'est pour ça que je le vérifie systématiquement sur chaque projet.

FAQ

Mon site marche bien sans avoir touché au robots.txt, pourquoi le changer ?

Il peut fonctionner "correctement" mais pas de manière optimale. Google perd du temps sur des pages inutiles, votre budget de crawl est gaspillé, et certains bots indésirables parcourent votre site librement. L'optimisation est invisible mais impactante.

Est-ce que je risque de casser mon site ?

Non. Le robots.txt n'affecte que les bots, pas vos visiteurs humains. Et je teste systématiquement avec Search Console pour vérifier qu'aucune page importante n'est bloquée avant de livrer.

C'est quoi les bots IA et pourquoi les bloquer ?

GPTBot (OpenAI), CCBot (Common Crawl), et d'autres bots parcourent votre site pour alimenter leurs modèles IA. Si vous ne souhaitez pas que votre contenu soit utilisé pour entraîner des IA, le robots.txt permet de les bloquer. C'est votre choix — je vous pose la question.

J'ai un site Shopify, c'est possible de modifier le robots.txt ?

Oui, depuis 2021 Shopify permet de personnaliser le robots.txt via le fichier robots.txt.liquid dans le thème. Les possibilités sont plus limitées que sur WordPress, mais on peut faire les optimisations essentielles.

3. OPTIONS SUPPLÉMENTAIRES

Option — Prix — Délai supplémentaire

Génération et soumission du sitemap XML en parallèle — 10€ — +0 jour

Audit complet de l'indexation (pages indexées vs non indexées) avec rapport — 15€ — +1 jour

Configuration du fichier .htaccess (redirections, sécurité) en complément — 15€ — +1 jour

Blocage/autorisation personnalisé de bots spécifiques (liste sur mesure) — 10€ — +0 jour

Vérification mensuelle du robots.txt pendant 3 mois — 15€ — +0 jour