14 lines
221 B
Plaintext
14 lines
221 B
Plaintext
User-agent: *
|
|
Allow: /
|
|
|
|
# 允许搜索引擎抓取所有页面
|
|
Disallow: /api/
|
|
Disallow: /admin/
|
|
Disallow: /private/
|
|
|
|
# 站点地图
|
|
Sitemap: https://www.tianyuancha.cn/sitemap.xml
|
|
|
|
# 爬取延迟（秒）
|
|
Crawl-delay: 1
|