15 novembre 2023

Google ajoute une nouvelle documentation pour un robot d'exploration mystère

Google a mis à jour la liste de ses robots officiels en ajoutant des informations sur un robot inconnu.

Agent utilisateur de sécurité Google

Google a mis à jour sa liste de robots d'exploration officiels en ajoutant le nom et les informations d'un robot d'exploration relativement inconnu que les éditeurs ont vu de temps en temps, mais pour lequel aucune documentation n'existait à ce jour.

Bien que Google ait ajouté une documentation officielle pour ce robot, les informations fournies semblent encourager des éclaircissements supplémentaires.

Robots d'exploration spéciaux Google dispose de plusieurs types de robots d'exploration (également appelés robots et araignées).

Les différentes formes de robots d'exploration comprennent :

  1. Robots d'exploration courants Ces robots sont principalement utilisés pour indexer différents types de contenus. Cependant, certains robots d'exploration courants sont également utilisés pour les outils de test de recherche, pour un usage interne par l'équipe produit de Google et pour l'exploration liée à l'IA.
  2. Récupérateurs déclenchés par les utilisateurs Ce sont des robots activés par les utilisateurs. Cela inclut des utilisations telles que la récupération de flux ou la vérification de sites.
  3. Crawlers spéciaux Il s'agit de cas particuliers tels que la vérification de la qualité des pages d'annonces mobiles ou des messages de notification push via les API Google. Ces robots ne respectent pas les directives globales d'utilisation dans le fichier robots.txt qui sont marquées d'un astérisque (*).

La nouvelle documentation concerne le User Agent Sécurité Google. Le robot d'exploration n'est pas nouveau, mais la documentation l'est.

Google-Safety Crawler La documentation du robot d'exploration Google-Safety dans la catégorie Special Crawler est utilisée par les processus Google pour détecter les logiciels malveillants.

Unique parmi les robots d'exploration spécialisés, le Google-Safety Crawler ignore complètement toutes les directives du fichier robots.txt.

Voici ce que dit la nouvelle documentation de Google-Safety Crawler :

L'agent utilisateur Google-Safety gère l'exploration spécifiquement pour signaler les abus, tels que la découverte de logiciels malveillants pour les liens accessibles au public sur les propriétés Google.
Cet agent utilisateur ignore les règles du fichier robots.txt.

 

Vous avez des doutes ? Vous ne savez pas par où commencer ? Contactez-nous !

Nous avons toutes les réponses à vos questions pour vous aider à faire le bon choix.

Discute avec nous

Discutez directement avec notre support avant-vente.

0256569681

Contactez-nous par téléphone pendant les heures de bureau 9h30 - 19h30

Contactez-nous en ligne

Ouvrez une demande directement dans l'espace contact.

INFORMATIONS

Managed Server Srl est un acteur italien leader dans la fourniture de solutions système GNU/Linux avancées orientées vers la haute performance. Avec un modèle d'abonnement peu coûteux et prévisible, nous garantissons que nos clients ont accès à des technologies avancées en matière d'hébergement, de serveurs dédiés et de services cloud. En plus de cela, nous proposons des conseils système sur les systèmes Linux et une maintenance spécialisée en SGBD, sécurité informatique, Cloud et bien plus encore. Nous nous distinguons par notre expertise dans l'hébergement de CMS Open Source de premier plan tels que WordPress, WooCommerce, Drupal, Prestashop, Joomla, OpenCart et Magento, soutenus par un service d'assistance et de conseil de haut niveau adapté aux administrations publiques, aux PME et à toutes tailles.

Red Hat, Inc. détient les droits de Red Hat®, RHEL®, RedHat Linux® et CentOS® ; AlmaLinux™ est une marque commerciale d'AlmaLinux OS Foundation ; Rocky Linux® est une marque déposée de la Rocky Linux Foundation ; SUSE® est une marque déposée de SUSE LLC ; Canonical Ltd. détient les droits sur Ubuntu® ; Software in the Public Interest, Inc. détient les droits sur Debian® ; Linus Torvalds détient les droits sur Linux® ; FreeBSD® est une marque déposée de la FreeBSD Foundation ; NetBSD® est une marque déposée de la Fondation NetBSD ; OpenBSD® est une marque déposée de Theo de Raadt. Oracle Corporation détient les droits sur Oracle®, MySQL® et MyRocks® ; Percona® est une marque déposée de Percona LLC ; MariaDB® est une marque déposée de MariaDB Corporation Ab ; REDIS® est une marque déposée de Redis Labs Ltd. F5 Networks, Inc. détient les droits sur NGINX® et NGINX Plus® ; Varnish® est une marque déposée de Varnish Software AB. Adobe Inc. détient les droits sur Magento® ; PrestaShop® est une marque déposée de PrestaShop SA ; OpenCart® est une marque déposée d'OpenCart Limited. Automattic Inc. détient les droits sur WordPress®, WooCommerce® et JetPack® ; Open Source Matters, Inc. détient les droits sur Joomla® ; Dries Buytaert détient les droits sur Drupal®. Amazon Web Services, Inc. détient les droits sur AWS® ; Google LLC détient les droits sur Google Cloud™ et Chrome™ ; Facebook, Inc. détient les droits sur Facebook® ; Microsoft Corporation détient les droits sur Microsoft®, Azure® et Internet Explorer® ; La Fondation Mozilla détient les droits sur Firefox®. Apache® est une marque déposée de The Apache Software Foundation ; PHP® est une marque déposée du groupe PHP. CloudFlare® est une marque déposée de Cloudflare, Inc. ; NETSCOUT® est une marque déposée de NETSCOUT Systems Inc. ; ElasticSearch®, LogStash® et Kibana® sont des marques déposées d'Elastic NV. Ce site n'est affilié, sponsorisé ou autrement associé à aucune des entités mentionnées ci-dessus et ne représente aucune de ces entités de quelque manière que ce soit. Tous les droits sur les marques et noms de produits mentionnés sont la propriété de leurs titulaires respectifs des droits d'auteur. Toutes les autres marques mentionnées appartiennent à leurs titulaires. MANAGED SERVER® est une marque déposée au niveau européen par MANAGED SERVER SRL Via Enzo Ferrari, 9 62012 Civitanova Marche (MC) Italie.

Retour en haut de page