User-agent: *
Allow: /

# 允许所有搜索引擎访问所有页面
# Allow all search engines to access all pages

# 网站地图位置
Sitemap: https://oneclip.cloud/sitemap.xml

# 可选：如果有特定的爬虫延迟要求
# Crawl-delay: 1

# 如果需要禁止访问特定目录，可以添加 Disallow 规则
# 例如：禁止访问管理后台
# Disallow: /admin/
# Disallow: /private/

# 禁止访问一些不希望被索引的技术文件
Disallow: /api/
Disallow: /*.log$
Disallow: /config/
Disallow: /database/
Disallow: /.env

# 针对特定搜索引擎的规则（可选）
User-agent: Googlebot
Allow: /

User-agent: Bingbot
Allow: /

User-agent: Baiduspider
Allow: /

# 禁止恶意爬虫
User-agent: AhrefsBot
Disallow: /

User-agent: SemrushBot
Disallow: /

User-agent: MJ12bot
Disallow: /