1. Utiliser les outils de webmaster
Google Search Console
Bien que Google ne montre plus le nombre de résultats de recherche, Google Search Console offre toujours des données sur le nombre de pages indexées d'un site. Cet outil nécessite un accès au compte Google Search Console du site en question.
Bing Webmaster Tools
Une alternative à Google, Bing Webmaster Tools, peut fournir des informations sur l'indexation d'un site, ce qui est particulièrement utile pour les sites ayant une meilleure présence sur Bing.
Analyse des logs serveur
L'analyse des logs serveur est une méthode directe pour obtenir des informations sur les pages actives d'un site. Elle implique l'examen des enregistrements détaillés de chaque requête traitée par le serveur, offrant une vue précise de l'activité du site.
Ca marche surtout si c'est votre site internet.
2. Utilisation d'outils d'exploration de sites
Des outils comme Screaming Frog SEO Spider peuvent être utilisés pour parcourir un site web et identifier toutes ses pages. Cette méthode peut être plus laborieuse mais offre une vue complète et actuelle de la structure du site.
Faut avoir l'outil. C'est un truc de SEO. Ca fait beaucoup "juste pour ça."
3. Analyse manuelle via les sitemaps
Ouais la meilleure méthode pour la fin hein. Quand on va à un concert, la première partie est pas la meilleure.
Méthode la plus simple : les sitemaps.
Les sitemaps XML sont une ressource utile pour comprendre la structure d'un site. Ils donnent généralement une liste complète des URL que le propriétaire du site souhaite indexer, offrant ainsi une vue globale du nombre de pages.
Trouver le sitemap XML d'un site web est une étape cruciale pour comprendre sa structure et le nombre de pages qu'il contient.
Voici comment trouver la sitemap d'un site et comment en déduire le nombre d'URL
1. Vérifier l'URL standard
La plupart des sitemaps XML se trouvent à une URL standard. Vous pouvez commencer par vérifier les adresses suivantes :
- http://[domaine.com]/sitemap.xml
- http://[domaine.com]/sitemap_index.xml
Remplacez [domaine.com] par l'adresse réelle du site. Si le site utilise SSL (https), remplacez http par https.
2. Examiner le fichier robots.txt
Le fichier robots.txt d'un site, généralement accessible à l'adresse http://[domaine.com]/robots.txt, peut contenir des indications sur l'emplacement du sitemap. Recherchez une ligne commençant par Sitemap: suivie de l'URL du sitemap.
3. Utiliser les outils de développeur du navigateur
Si les méthodes ci-dessus ne donnent rien, vous pouvez inspecter le code source de la page d'accueil du site :
- Faites un clic droit sur la page d'accueil et sélectionnez "Inspecter" ou "Afficher le code source de la page".
- Utilisez la fonction de recherche (Ctrl+F ou Cmd+F) et tapez "sitemap.xml" pour voir si l'URL du sitemap est mentionnée dans le code.
4. Essayer des variations d'URL de sitemap
Certains sites peuvent avoir des sitemaps personnalisés ou multiples. Essayez des variations comme :
- http://[domaine.com]/sitemap_index.xml
- http://[domaine.com]/sitemap1.xml
- http://[domaine.com]/sitemap-pages.xml
Là, vous aurez accès à la liste des URL du site web ou e-commerce que vous souhaitez analyser.
Mais comment compter les URL ?
Une URL c'est facile, s'il y en a des centaines ?
Pour compter les URL, le plus simple est de faire ctrl+F "/URL"
Oui, si vous cherchez juste "URL" vous aurez les "URL" et les "/URL"...
En détail voyons la méthodologie pour compter les URL :
1. Ouvrir le sitemap XML
Accédez au sitemap XML du site. L'URL du sitemap ressemble généralement à http://[domaine.com]/sitemap.xml.
2. Examiner le fichier XML
Ouvrez le sitemap dans votre navigateur ou téléchargez-le et ouvrez-le avec un éditeur de texte ou un logiciel qui peut lire les fichiers XML. Les navigateurs modernes peuvent afficher les fichiers XML de manière lisible.
3. Compter les URLs
Dans un sitemap XML, chaque URL est encadrée par les balises <url> et </url>. Comptez le nombre de ces balises pour obtenir le total d'URLs.
Utilisez la fonction de recherche (Ctrl+F ou Cmd+F) et cherchez la balise <url> pour voir le nombre d'occurrences, correspondant au nombre d'URLs.
Pour un sitemap très volumineux, considérez l'utilisation d'un script en langage comme Python pour compter automatiquement le nombre de balises <url>.
4. Sitemaps index
Si le sitemap est un "sitemap index" (indiqué par <sitemapindex>), cela signifie qu'il contient des références à d'autres fichiers sitemap. Dans ce cas, chaque fichier sitemap référencé devra être examiné individuellement pour compter les URLs.
En espérant que ce conseil vous aura été utile !
Cet article a été inspiré par ma découverte du jour sur la disparition des résultats de recherche dans Google, pourtant bien utile.
Vous n'arrivez pas à trouver le sitemap ou robots de votre site web ou e-commerce ? Vous pensez qu'il n'y en a même pas ?
Il est temps de vous faire accompagner par des Vikings professionnels de l'e-commerce !