Jah. OpenAI võimaldab GPTBoti ja OAI-SearchBoti reegleid eraldi määrata. GPTBoti blokeerimine väljendab, et selle roomaja kogutud sisu ei tohi kasutada alusmudelite treenimiseks. OAI-SearchBot teenindab ChatGPT otsingut. 1
Näide robots.txt failist
User-agent: GPTBot
Disallow: /
User-agent: OAI-SearchBot
Allow: /
Lisa vajalikud reeglid olemasolevasse faili. Ära asenda kogu robots.txt sisu selle näitega: muidu võivad kaduda sinu saidikaart ja teiste robotite jaoks vajalikud piirangud.
Kontrolli ka tulemüüri ja CDN-i. Tekstifailis antud luba ei aita, kui päring jääb mujal blokeerituks. Vastupidi, robotinime järgi lubamine üksi ei kinnita päringu tegelikku päritolu; OpenAI avaldab kontrollimiseks IP-vahemikud. 1
Mida see ei taga?
Roomamisõigus ei taga, et leht valitakse vastusesse või saab rohkem külastajaid. Samuti pole robots.txt juurdepääsukaitse: tundliku sisu jaoks on vaja autentimist ja õigusi. 2
OpenAI eristab ka kasutaja algatatud külastusi, mille puhul kasutatakse ChatGPT-User agenti. Neile ei pruugi automaatse roomamise reeglid samal viisil rakenduda. 1
Pärast muudatust kontrolli faili avalikku versiooni ja serverilogisid. Ära tõlgenda üht lubatud roomamist tõendina, et otsingunähtavus on juba paranenud.
Seotud lugemine
Mida llms.txt tegelikult teeb?