Facebook et le crawling : un bot qui peut mettre votre site par terre
Si votre site web devient anormalement lent, voire inaccessible sans raison apparente, il se pourrait bien que Facebook soit le coupable. Oui, oui… le géant des réseaux sociaux pourrait carrément détruire la performance de votre site sans même que vous ne le sachiez.
Dans cet article, nous allons voir comment le bot de Facebook (facebookexternalhit) fonctionne, pourquoi il peut causer des problèmes, et surtout, comment protéger votre site contre un crawl excessif.
Facebook, un crawling trop agressif ?
Les webmasters du monde entier ont récemment signalé une activité inhabituelle de la part des bots de Facebook. Plusieurs témoignages indiquent que ce crawler génère d’énormes pics de trafic qui mettent en péril la stabilité des sites.
Un propriétaire de site web a décrit la situation ainsi :
👉 « Notre site est bombardé toutes les 45 à 60 minutes par des pics de 400 requêtes par seconde, provenant de 20 à 30 adresses IP différentes appartenant à Facebook. »
Ce comportement pose plusieurs problèmes :
- Charge excessive sur le serveur, entraînant des ralentissements voire des crashs.
- Consommation excessive de ressources, augmentant les coûts d’hébergement.
- Perturbation de l’expérience utilisateur, avec des pages qui mettent une éternité à se charger.
Pourquoi Facebook crawl-t-il votre site autant ?
Le bot de Facebook, facebookexternalhit, est un outil conçu pour récupérer des aperçus de liens lorsque vous partagez une page sur la plateforme. Jusque-là, rien d’anormal.
MAIS…le problème, c’est la façon dont il le fait.
- Contrairement à Googlebot, Facebook ne répartit pas ses requêtes de manière progressive.
- Il envoie un volume massif de requêtes sur de courtes périodes.
- Il ne suit pas toujours les règles du fichier robots.txt.
En d’autres termes, vous pouvez essayer de lui dire de ralentir, il s’en fiche.
Comment savoir si Facebook tue la performance de votre site ?
Si vous observez un ralentissement soudain et inexpliqué, voici comment vérifier si Facebook en est la cause :
1️⃣ Analysez vos logs serveur
Regardez si vous voyez des centaines, voire des milliers de requêtes venant d’IP Facebook (généralement sous le user-agent facebookexternalhit/1.1).
2️⃣ Surveillez votre bande passante
Un pic soudain de consommation peut être le signe que Facebook télécharge une quantité excessive de données sur votre site.
3️⃣ Utilisez un outil de monitoring
Des solutions comme Cloudflare, UptimeRobot ou Google Analytics permettent d’identifier les périodes où votre site est saturé de requêtes.
Comment Stopper le Crawling Excessif de Facebook (Sans Bloquer Complètement le Bot) ?
L’objectif n’est pas de bloquer totalement Facebook – après tout, vous voulez que vos liens s’affichent correctement lorsqu’ils sont partagés. Mais il faut trouver un juste équilibre pour éviter que votre site ne soit mis à genoux.
Mettre en place une règle de limitation avec Cloudflare
Cloudflare permet d’ajouter une règle de Rate Limiting, qui limite le nombre de requêtes provenant d’une même source sur une période donnée.
👉 Exemple : vous pouvez configurer Cloudflare pour bloquer ou ralentir toute IP Facebook envoyant plus de 100 requêtes en moins d’une minute.
Utiliser un pare-feu applicatif (WAF)
Si vous êtes sur un hébergement géré avec des options de sécurité avancées, vous pouvez filtrer et restreindre le trafic en fonction du user-agent facebookexternalhit.
Si votre site sert toujours le même contenu aux visiteurs, pensez à mettre en place un système de cache (via un plugin comme WP Rocket sur WordPress) pour éviter que chaque requête ne surcharge votre serveur.
Et si votre site a déjà subi des dommages ?
Si vous avez remarqué une chute brutale de performances, que votre site a été hors ligne plusieurs fois, ou que votre hébergeur vous facture des dépassements de ressources, il est temps d’agir.
🚀 Chez Beriox, nous pouvons vous aider à :
✔️ Identifier et bloquer les excès de trafic inutiles (Facebook ou autres bots agressifs).
✔️ Optimiser votre serveur pour encaisser les pics de charge.
✔️ Mettre en place des règles intelligentes pour éviter que ça ne se reproduise.
Un site web, c’est un outil de travail qui doit être rapide, sécurisé et performant. Ne laissez pas un bot mal calibré ruiner vos efforts.
Un problème qui peut concerner tout le monde
De plus en plus de webmasters expriment leur frustration face au comportement de facebookexternalhit. Ce problème ne touche pas seulement les grandes entreprises mais tous les sites, même les plus petits.
Dans les mois à venir, la question de l’impact des bots sur la stabilité des sites web pourrait devenir un sujet majeur. Espérons que Facebook revoie sa copie et adapte son crawler à des pratiques plus raisonnables, comme celles de Googlebot.
En attendant ? Protégez votre site.
Autres articles
Comment choisir un bon nom de domaine sans compromettre son SEO ?
Choisir un bon nom de domaine est crucial pour votre SEO et votre branding. Découvrez comment éviter les erreurs, maximiser votre visibilité sur Google et sélectionner l’extension idéale (.com, .ca…). Avec des études de cas concrets et des outils pratiques, optimisez votre domaine dès aujourd’hui !
Facebook et le crawling : un bot qui peut mettre votre site par terre
Facebook crawl peut devenir un vrai cauchemar pour votre site. Son bot surcharge les serveurs avec des requêtes excessives, ralentissant les performances et impactant l’expérience utilisateur.
Comprendre Google Analytics 4 : les 5 métriques essentielles à surveiller pour votre site
Comprenez facilement Google Analytics 4 en surveillant ces 5 métriques essentielles. Augmentez vos performances web grâce à ces conseils pratiques et faciles à appliquer!
L’importance des avis Google pour votre entreprise : Pourquoi et comment les optimiser ?
Les avis Google jouent un rôle clé dans la visibilité et la réputation d’une entreprise. Une gestion efficace de ces avis peut améliorer votre classement dans les recherches locales et renforcer la confiance des clients.
