CrawlControlBot

Crawl Control est un outil gratuit qui indique au responsable d'un site quels robots peuvent actuellement l'atteindre, et ce qui change pour eux le 15 septembre 2026. Lorsque quelqu'un analyse un domaine, nous récupérons un petit nombre de ses pages.

Nos requêtes se présentent ainsi :

CrawlControlBot/0.1 (+https://cc.routecraft.link/bot)

Ce que nous récupérons, par analyse :

• robots.txt, et sitemap.xml s'il est petit
• la page d'accueil, et au plus 14 autres pages qui y sont liées
• la page d'accueil une fois de plus par identité de robot testée

Nous respectons les limites auxquelles vous vous attendez : un délai maximal et une taille maximale par requête, une limite de redirections, et un plafond ferme sur le nombre de pages qu'une analyse touche. Nous n'explorons pas selon un calendrier — nous ne récupérons des pages que lorsque quelqu'un lance une analyse. Les résultats sont mis en cache 24 heures, si bien que deux analyses du même domaine ne répètent pas les requêtes.

Pour nous exclure totalement, interdisez CrawlControlBot dans votre robots.txt :

User-agent: CrawlControlBot
Disallow: /