Files
tyc-webview/public/robots.txt
2025-12-25 14:49:46 +08:00

14 lines
221 B
Plaintext

User-agent: *
Allow: /
# 允许搜索引擎抓取所有页面
Disallow: /api/
Disallow: /admin/
Disallow: /private/
# 站点地图
Sitemap: https://www.tianyuancha.cn/sitemap.xml
# 爬取延迟(秒)
Crawl-delay: 1