Qu'est-ce que le fichier robots.txt?
robots.txt est un fichier texte qui peut être utilisée pour restreindre les robots Web pour accéder à votre site Web que dans les moyens que vous approuver.
Ce fichier robots.txt bloque Google Imagebot du site web:
User-agent: Googlebot-Image Disallow: /
Pour plus d'informations sur le fichier robots.txt, consultez la norme A de Robot Exclusion.
Vérifiez la syntaxe de votre fichier robots.txt
Plusieurs outils Web sont disponibles qui permet de récupérer le fichier robots.txt de votre site web et de vérifier pour des erreurs de syntaxe.
Bad Robots
Certains robots web utilisent des quantités considérables de bande passante et les ressources du système, alors qu'il revenait peu ou pas d'intérêt pratique pour le propriétaire du site web.
Pour votre commodité, nous maintenons une liste de certains de ces robots mauvais format dans le fichier robots.txt.
 |
Bookmark Qu'est-ce que le fichier robots.txt?
