# 允许所有合规爬虫抓取
User-agent: *
Allow: /

# 禁止抓取后台、隐私政策等敏感路径（如果存在）
Disallow: /admin/
Disallow: /cgi-bin/
Disallow: /api/
Disallow: /private/

# 禁止抓取重复或动态参数页面（如果存在）
Disallow: /*?sessionid=
Disallow: /*?utm_source=

# 明确允许搜索引擎抓取所有静态资源和页面
Allow: /*.html$
Allow: /*.css$
Allow: /*.js$
Allow: /*.png$
Allow: /*.jpg$
Allow: /*.jpeg$
Allow: /*.webp$
Allow: /*.svg$
Allow: /*.pdf$

# 指定 sitemap 位置
Sitemap: https://www.yifangjiachen.com/sitemap.xml

# 爬取延迟（建议 5 秒，避免服务器压力）
Crawl-delay: 5