Come non far leggere i contenuti del sito ai crawler di IA

[pstrada]

Ciao, riporto da un articolo estero le configurazioni, molto semplici, da inserire nel file robots.txt per evitare che i crawler IA leggano e acquisiscano i contenuti del vs. sito.

Non ho idea di quanto sia efficace il metodo, e se ci sia un tool per verificarne l'effettivo funzionamento. Se conoscete altri crawler IA li aggiungiamo alla lista

chatgpt
User-agent: GPTBot
Disallow: /

gemini
User-agent: Google-Extended
Disallow: /

common crawl
User-agent: CCBot
Disallow: /

User-agent: ClaudeBot
Disallow: /