Refus de mauvais programmes dans le fichier robots.txt ne doit pas empêcher tous les site Web de téléchargement, car de nombreux programmes mal tout simplement ignorer le contenu du fichier robots.txt et de faire ce qu'ils veulent faire.
Une autre méthode consiste à exclure le téléchargement de programmes de l'agent utilisateur dans httpd.conf.
Ajouter tous les agents que vous souhaitez exclure de httpd.conf:
SetEnvIfNoCase User-Agent ^ keep_away httrack
SetEnvIfNoCase User-Agent ^ Offline Explorer keep_away
SetEnvIfNoCase User-Agent ^ psbot keep_away
SetEnvIfNoCase User-Agent ^ Teleport keep_away
SetEnvIfNoCase User-Agent ^ WebCopier keep_away
SetEnvIfNoCase User-Agent ^ WebReaper keep_away
SetEnvIfNoCase User-Agent ^ Webstripper keep_away
Ordre Autoriser, Refuser
Allow from all
Deny from env = keep_away
User agent de blocage ne prévient pas non plus tous les site Web de téléchargement, car l'utilisateur peut supprimer des utilisateurs de son agent ou frauduleux qu'il apparaisse à Internet Explorer ou un autre navigateur.
Si le contenu que vous tentez de protéger est en PHP, mai-vous être intéressés par l'agent utilisateur de blocage technique décrite dans
Bookmark Comment puis-je prévenir de téléchargement de la totalité de mon site Web?
Latest Blog Posts