# ============================================================================= # 黑料吃瓜网 — 站群 robots.txt(相对路径,多域名通用) # # 规则说明: # - 全站允许抓取(Allow: /) # - Sitemap 使用相对路径 /sitemap.xml(随当前访问域名自动解析) # - 不含 http(s):// 绝对链接,适配随机域名站群部署 # # 维护方式: # - PHP 部署:/sitemap.xml 由 index.php 动态扫描,新增页面自动收录 # - 纯静态部署:新增文章/栏目后运行 python update-sitemap.py # ============================================================================= User-agent: * Allow: / User-agent: Baiduspider Allow: / Crawl-delay: 1 User-agent: Sogou web spider Allow: / Crawl-delay: 1 User-agent: 360Spider Allow: / User-agent: Bytespider Allow: / User-agent: Googlebot Allow: / User-agent: Bingbot Allow: / User-agent: Yandex Allow: / Sitemap: /sitemap.xml