Fichier robots.txt : à quoi sert-il vraiment ?

En résumé : Le fichier robots.txt compile l’ensemble des requêtes d’autorisation et d’exclusion d’accès aux robots indexeurs des moteurs de recherche. Situé à la racine de votre site, il vous permet de sélectionner les contenus que vous souhaitez voir indexés en priorité, ou ceux que vous souhaitez voir exclus pour des raisons de sécurité ou […]