- Un peu de documentation sur les meta robots et le fichier robots.txt
- How to Configure Robots.txt and Meta Robots for Magento 2. Un tutoriel complet et détaillé. Version PDF pour la postérité.
- La devdoc officielle de Magento 2: Add site map and search engine robots. Voir notamment la partie sur l’erreur 404 en cas de tentative d’accès au fichier robots.txt en prod. C’est important car ce fichier doit pouvoir être lu depuis le navigateur!
Empêcher des pages d’être vues par les moteurs de recherche:
Cette fonctionnalité va nous être utile pour toutes les pages de notre site que nous ne souhaitons PAS voir référencées par les moteurs de recherche (exemple: landing pages).
Intervenir sur le fichier robots.txt (qui contient des directives destinées aux moteurs de recherche pour l’indexation des pages de votre site) pour empêcher le référencement de certaines pages:
- CONTENU > Design > Configuration
- Cliquer sur « Modifier » pour la ligne « Global – Main website » (seule ligne disponible normalement)
- Scroller un peu vers le bas, ouvrir le volet « Moteurs de recherche »
- Dans le champ « Modifier les instructions personnalisées du fichier robots.txt », ajouter le code suivant:
|
1 2 3 4 5 6 |
User-agent: * # Empêcher le référencement des landing pages en les listant ci-dessous: Disallow: /abonnements-landing.html Disallow: /landing-test-1.html |
Ce code empêche le référencement des pages /abonnements-landing.html et /landing-test-1.html de votre site.
Trouver les URLS des pages:
- CATALOGUE > Catégories
- Choisir une landing page dans l’arborescence en colonne de gauche (par exemple Abonnements landing > Landing test #1)
- Ouvrir le volet « Optimisations pour les moteurs de recherche »
- Le champ « Clé d’URL » contient la valeur « landing-test-1 ». C’est une partie de l’URL à déclarer.
- Il suffit de rajouter une ligne {{Disallow: /}} + la valeur du champ « Clé d’URL » + {{.html}} dans le champ « Modifier les instructions personnalisées du fichier robots.txt » vu plus haut pour rajouter une page à exclure du référencement de votre site.
Ne pas oublier de vider les caches après chaque modification du champ « Modifier les instructions personnalisées du fichier robots.txt »:
- SYSTEME > Outils > Gestion du cache
- Cocher la ligne « Configuration » (la 1ère ligne normalement)
- Sélectionner « Rafraîchir » dans la liste des actions et cliquer sur le bouton « Envoyer »