Tu as raison de vérifier avant de toucher à la configuration. Le fichier robots.txt peut contenir des règles différentes selon les robots, et une modification mal réfléchie peut avoir des conséquences inattendues. Pour commencer, je regarderais les règles existantes, puis je vérifierais quels robots sont concernés et quelles parties du site sont visées. J’ai trouvé cet outil qui peut être utile pour cette première vérification : https://aivisibility.pro/fr/tools/ai-crawler-checker/. Il est consacré au contrôle des robots d’exploration liés à l’intelligence artificielle. Cela peut constituer un point de départ pour examiner la configuration de son site, plutôt que de se fier à des suppositions. Il faut toutefois distinguer l’autorisation d’explorer une page de sa présence effective dans les réponses d’une IA : ce sont deux questions différentes. Avant toute modification, je conserverais une copie de la configuration actuelle et je vérifierais les besoins réels du site.