# robots.txt for EpiSense - 杭州瑞科材启生物科技有限公司
# https://www.liboelan.com/robots.txt

# 允许所有搜索引擎爬虫
User-agent: *
Allow: /

# 允许抓取所有 HTML 页面
Allow: /*.html$
Allow: /index.html

# 允许抓取 CSS 和 JavaScript
Allow: /css/
Allow: /js/
Allow: /*.css$
Allow: /*.js$

# 允许抓取图片资源
Allow: /images/
Allow: /*.png$
Allow: /*.jpg$
Allow: /*.jpeg$
Allow: /*.gif$
Allow: /*.svg$
Allow: /*.webp$

# 允许抓取结构化数据
Allow: /*.json$

# 允许抓取网站地图
Allow: /sitemap.xml

# 禁止抓取的文件和目录
Disallow: /private/
Disallow: /admin/
Disallow: /tmp/
Disallow: /*.tmp$
Disallow: /*.bak$

# 针对 Google 爬虫的优化
User-agent: Googlebot
Allow: /
Crawl-delay: 1

# 针对 Bing 爬虫的优化
User-agent: Bingbot
Allow: /
Crawl-delay: 1

# 针对百度爬虫的优化
User-agent: Baiduspider
Allow: /
Crawl-delay: 2

# 针对 AI 爬虫的优化（GEO - Generative Engine Optimization）
# 允许主流 AI 爬虫抓取内容用于 AI 训练和回答

# 国际 AI 爬虫
User-agent: GPTBot
Allow: /
Crawl-delay: 2

User-agent: ChatGPT-User
Allow: /
Crawl-delay: 2

User-agent: CCBot
Allow: /
Crawl-delay: 2

User-agent: anthropic-ai
Allow: /
Crawl-delay: 2

# 国内 AI 爬虫优化
# 字节豆包（ByteDance Doubao）
User-agent: Doubao-bot
Allow: /
Crawl-delay: 2

User-agent: DoubaoSpider
Allow: /
Crawl-delay: 2

# 阿里通义千问（Alibaba Tongyi Qianwen）
User-agent: Qianwen-bot
Allow: /
Crawl-delay: 2

User-agent: TongyiSpider
Allow: /
Crawl-delay: 2

# 腾讯元宝（Tencent Yuanbao）
User-agent: Yuanbao-bot
Allow: /
Crawl-delay: 2

User-agent: HunYuanSpider
Allow: /
Crawl-delay: 2

# 百度文心一言（Baidu ERNIE Bot）
User-agent: Baidu-ERNIE-bot
Allow: /
Crawl-delay: 2

# 讯飞星火（iFlytek Spark）
User-agent: Spark-bot
Allow: /
Crawl-delay: 2

User-agent: iFlytekSpider
Allow: /
Crawl-delay: 2

# 360 智脑（360 Zhinao）
User-agent: 360-Zhinao-bot
Allow: /
Crawl-delay: 2

# 快手可灵（Kuaishou Kelin）
User-agent: Kelin-bot
Allow: /
Crawl-delay: 2

# 月之暗面 Kimi（Moonshot AI）
User-agent: Kimi-bot
Allow: /
Crawl-delay: 2

User-agent: Moonshot-Spider
Allow: /
Crawl-delay: 2

# 智谱 AI（Zhipu AI）
User-agent: Zhipu-bot
Allow: /
Crawl-delay: 2

# MiniMax（海螺 AI）
User-agent: Hailuo-bot
Allow: /
Crawl-delay: 2

# 阶跃星辰（StepFun）
User-agent: Step-chat-bot
Allow: /
Crawl-delay: 2

# 通用 AI 爬虫标识
User-agent: AI-Bot
Allow: /
Crawl-delay: 2

User-agent: Chatbot
Allow: /
Crawl-delay: 2

# 指定网站地图位置
Sitemap: https://www.liboelan.com/sitemap.xml

# 指定主机地址
Host: https://www.liboelan.com