Empêcher l'exploration de certaines URLs par Google

mceclip0.png

 

Il peut arriver que certaines URLs de votre boutique ne nécessitent pas d'exploration de Google, car leur contenu n'est pas forcément pertinent pour votre référencement. Pour empêcher Google d'explorer certaines pages, vous pourrez modifier votre fichier robots.txt depuis la rubrique Configuration (roue crantée) > SEO > Robots.txt.

Qu'est-ce que le fichier robots.txt ?

Le fichier robots.txt indique aux robots d'exploration d'un moteur de recherche les URL auxquelles il peut accéder sur votre boutique. Il est situé à la racine de votre site. 👉 Retrouvez l'aide Google détaillée à ce sujet.

Comment empêcher l'exploration de vos URLs ?

Pour modifier votre fichier robots.txt depuis la rubrique Configuration (roue crantée) > SEO > Robots.txt, sélectionnez le mode manuel de création :

 

 

Voici ce qu'il faudra ajouter dans votre fichier : 

User-agent: *
Disallow: */d/
Disallow: */f/
Disallow: /URL

La dernière ligne "Disallow: /URL" correspond à l'URL dont vous souhaitez empêcher l'exploration. Il faudra donc remplacer "/URL" par l'URL de la page concernée, sans sa racine (nom de domaine). Exemple ci-dessous avec une fiche produit :

 


L'URL complète du produit est la suivante :
https://www.lovely-ears.fr/les-vintages/boucles-d-oreilles-a-pompons-et-franges.html

La partie de l'URL à renseigner dans Disallow sera: /les-vintages/boucles-d-oreilles-a-pompons-et-franges. Pour empêcher l'exploration cette URL, il faudra donc ajouter dans le fichier robots.txt : 

User-agent: *
Disallow: */d/
Disallow: */f/
Disallow: /les-vintages/boucles-d-oreilles-a-pompons-et-franges


💡 Si vous souhaitez empêcher l'exploration de plusieurs pages, il faudra simplement ajouter vos URLs à la suite dans votre fichier Robots.txt.

User-agent: *
Disallow: */d/
Disallow: */f/
Disallow: /URL
Disallow: /URL
Disallow: /URL
Disallow: /URL

 

La particularité des pages de tri et filtres

Les robots d'indexation de la Google Search Console peuvent parfois avoir du mal à déterminer si les pages de tri et filtres doivent être explorées. Les pages de tri et filtres sont les pages de résultats générées lorsque vos visiteurs affichent par exemple votre catalogue par prix croissant, ou bien lorsqu'ils sélectionnent uniquement vos produits en dessous de 25€ :

 

mceclip0.png

 

WiziShop empêchait jusqu'à maintenant l'exploration de ces URLs par les moteurs de recherche, en les ajoutant par défaut à votre fichier Robots.txt. Mais la Search Console ne sachant pas toujours si ce blocage était voulu (erreur fréquente remontée : « Indexée malgré le blocage par le fichier robots.txt »), notre configuration a été modifiée. Désormais, votre fichier Robots.txt ne contient plus vos URLs de filtres et de tri :

Disallow: */price-low-to-high
Disallow: */price-high-to-low
Disallow: */alphabetical-a-z
Disallow: */alphabetical-z-a
Disallow: */oldest-products
Disallow: */newest-products
Disallow: */d/
Disallow: */f/

Aujourd’hui, nous gérons l’ensemble des liens internes vers les filtres avec des balises <button onclick> au lieu de la balise standard <a href>. Cette configuration permet d’éviter aux moteurs de recherche de détecter les liens internes, tout en permettant aux visiteurs de cliquer dessus. La balise « noindex » reste également présente sur chaque page générée pour éviter l’indexation.

 

💬 N’hésitez pas à contacter vos Business Coachs si vous avez des questions !