robots.txt 示例
之一
User-agent: *
Disallow: /private/
Allow: /public/
Sitemap: https://www.example.com/sitemap.xml这个文件告诉所有搜索引擎爬虫（User-agent: *）不要访问 /private/ 目录，但允许访问 /public/ 目录。同时，它还指定了网站地图的路径。
之一
User-agent: ClaudeBot
Disallow: /
User-agent: ChatGPT-User
Disallow: /
User-agent: GPTbot
Disallow: /
User-agent: *
Disallow: /css/
Disallow: /js/
Disallow: /so/