Comment bloquer les mauvais robots sur votre site avec Fail2ban
Si vous avez un serveur pour héberger vos sites internet et que vous consultez de temps en temps vos fichiers logs vous avez certainement constater que vous avez un nombre inconsidérable de visites de robots. Ces derniers ne sont pas tous mauvais et permettent notamment aux moteurs de recherche de comprendre et découvrir votre contenu pour pouvoir l’indexer, mais certains ne vous seront d’aucune utilité pour le développement de votre site et ils vont même consommer de la ressource (CPU, mémoire) inutilement.
Voici ce que j’applique actuellement et franchement c’est très très efficace puisque la majorité des « bad bots » sont maintenant bloqués et que j’ai donc pu récupérer de la disponibilité en processeur et en RAM ce qui est appréciable finalement!
La logique pour bloquer un « bad bots » est de lui indiquer que vous ne souhaitez pas que votre contenu soit consulté mais malheureusement les bad bots n’ont pas pour habitude de respecter votre fameux fichier « robots.txt » il faut donc une méthode plus expéditive que l’on peut mettre en place avec un superbe outil comme Fail2ban si vous serveur fonctionne avec apache!
Pour installer Fail2ban je vous recommande de consulter les tutoriels sur le sujet il y en a plein et même en français, cet article va donc simplement vous expliquer comment écrire la règle pour lutter contre les bad bots!
Premièrement, il faut créer le filtre que l’on va appeler simplement « badbots.conf » qui se situe dans le répertoire « filter.d » de fail2ban et ajouter la règle « badbots » dans votre fichier de règle (defaults-debian.conf normalement si vous êtes sous debian) comme ceci :
Une fois fait il vous suffit de recharger fail2ban avec cette commande :
service fail2ban reload
Et voilà vous êtes protégé contre ces saloperies de robots!