Robot

Un robot, également appelé "crawler" ou "bot", est un programme informatique utilisé pour parcourir automatiquement les pages d'un site web. Les moteurs de recherche utilisent des robots pour explorer le contenu des sites web et l'ajouter à leur index de recherche, de sorte que les utilisateurs puissent effectuer des recherches en utilisant ces pages. Les robots suivent également les liens entre les pages pour explorer d'autres sites web et ajouter leur contenu à l'index. Il existe également des robots spécifiques conçus pour effectuer des tâches spécifiques, comme vérifier les prix des produits sur les sites de commerce électronique, collecter des données pour les études de marché, ou même pour réaliser des actions malveillantes comme la collecte de données sensibles ou l'envoi de spam.

Principalement, un robot sur Internet est un programme informatique automatisé utilisé pour explorer les pages d'un site web et collecter des informations pour les moteurs de recherche, ou pour des tâches spécifiques. Pour donner des directives aux bots, il y a aussi le fichier robots.txt indique aux moteurs de recherche les URL ou rubrique auxquelles il peut accéder ou ne pas aller sur le site Internet. L'objectif principal de ce fichier est d'éviter de surcharger le site de demandes et de gérer ce que l'on appelle le budget crawl au quotidien. Attention, il ne faut pas confondre le fichier .htaccess et le fichier robots.txt, car il ne sert pas à empêcher qu'une page Web figure dans les résultats de recherche Google. Pour empêcher qu'une page figure sur Google, il faut en bloquer l'indexation avec une directive "noindex" dans la balise "meta robots" ou la protéger avec un mot de passe.