Mettre les IA sous pression (et ramener les clics à la maison)

L’action récente de Cloudflare qui bloque par défaut le crawl des user-agents d’OpenAI, Anthropic ou encore xAI est un encouragement, non pas à refuser toute interaction (quel gâchis), mais à se faire respecter. Voici pourquoi c’est crucial et comment appuyer la démarche :

Ça sent les droits voisins

Comme un air de déjà vu. Cloudflare, en première ligne des interactions entre les nouveaux explorateurs IA et les serveurs de certains de nos sites, engage un bras de fer qui pourrait bien calmer les ardeurs des nouveaux géants.

Il les bloque tous par défaut, et propose aux éditeurs une formule « pay-per-crawl » qui permettra aux entreprises derrière les LLMs de payer pour crawler un site. Bien évidemment : pas d’accès veut également dire pas de visibilité pour les pages web sur ces mêmes LLMs.

La raison est simple : vous utilisez les données à outrance en ne renvoyant quasiment aucun clic vers les sites visés, tout en impactant leurs performances. C’est injuste.

Ayant participé il y a quelques années à plusieurs conversations entre les représentants de Google en France et les organes de presse, à l’époque mécontents que le moteur de recherche utilise leurs contenus gratuitement, je commence à y voir des similitudes.

Pour mémoire, cela avait débouché sur plusieurs programmes de rémunération ainsi que la fonctionnalité Google Showcase, favorisant la visibilité et la monétisation des médias dans Discover. Cet accord a d’ailleurs été renouvelé en janvier 2025.

Vers une situation similaire pour les IA ?

Voici quoi faire

Comment faire valoir ses droits tout en travaillant la visibilité de ses sites ? Friction en perspective ? Pas vraiment.

Le tout est de parvenir à laisser les LLMs venir se servir de manière contrôlée pour :

1. Être inclus dans les réponses, en laissant l’IA s’entraîner avec vos données malgré tout, même en l’absence de recherche web active, augmentant ainsi ses chances d’être mentionné
   
2. Continuer de tester ce qui fonctionne ou pas en matière d’optimisation
   
3. Bénéficier de taux de conversion avantageux

Pour cela, il est possible de faire les choses suivantes :

1. Rotation de crawl : n’autoriser le crawl en provenance de user-agents qu’à certains moments, à l’aide d’outils comme Cloudflare, en sélectionner les adresses IP que vous acceptez ou non.
   
2. Bloquer complètement les robots qui ne vous apportent rien : Si par exemple Bytespider, le crawler de Bytedance (TikTok), continue de venir sur vos serveurs pour leurs services d’IA sans que vous ne constatiez ni trafic, ni revenu de leur part, bloquez-les complètement via robots.txt (pas toujours fiable), Cloudflare ou .htaccess.
   
3. Récompenser les bots pour lesquels vous constatez une augmentation de trafic : Si vous constatez des progrès significatifs en provenance d’un LLM en particulier, via de nouveaux points d’entrée ou ceux préexistants que vous autorisez de manière limitée, alors ouvrez les vannes. Les efforts doivent venir des deux côtés.

D’ailleurs, le blocage des bots IA est en forte augmentation, et les sites les plus visités au monde mènent le bal :

Plus ce comportement se renforcera, plus cela forcera les principaux acteurs de l’IA à négocier pour donner aux éditeurs leur juste part du gâteau. Il est temps de rappeler que nos pages web ne sont pas juste un puits d’informations sans fond à extraire sans états d’âme.

Pour bloquer les bots, vous trouverez plus d’informations dans la newsletter d’il y a deux semaines.