智能网页抓取

智能网页内容获取功能，完全替代 web_fetch，自动通过清理服务获取干净的 Markdown 格式内容。

核心功能

• 完全替代 web_fetch: 获取的已经是清理后的 Markdown 内容，而非原始 HTML
• 四级降级策略: Jina → markdown.new → defuddle.md → 原始内容
• Token 优化: 清理后的内容比原始 HTML 节省 50-80% 的 Token 用量

使用方式

命令行获取网页内容

# 获取清洗后的 Markdown（文本输出）
python3 {baseDir}/scripts/fetch.py "https://example.com/article"

# 获取 JSON 格式（包含元信息）
python3 {baseDir}/scripts/fetch.py "https://example.com/article" --json

在 Agent 中使用

当用户需要获取网页内容时：

用户: "帮我查一下 https://example.com/article 的内容"

Agent 应该:
1. 运行: python3 ~/.openclaw/skills/smart-web-fetch/scripts/fetch.py "https://example.com/article"
2. 直接获得清洗后的 Markdown 内容

JSON 输出格式

{
  "success": true,
  "url": "https://r.jina.ai/http://example.com/article",
  "content": "# Article Title\n\nClean markdown content here...",
  "source": "jina",
  "error": null
}

降级策略

1. Jina Reader(首选)

   • URL:https://r.jina.ai/http://{target}
   • 免费，无需 API Key，中文支持好

2. markdown.new(降级)

   • URL:https://markdown.new/{target}

3. defuddle.md(降级)

   • 网址:https://defuddle.md/{target}

4. 原始内容(最终兜底)

   • 直接获取原始 HTML

Agent 配置建议

为了强制使用本技能替代 web_fetch，在openclaw.json中配置：

{
  "agents": {
    "list": [
      {
        "id": "your-agent",
        "tools": {
          "deny": ["web_fetch"]
        }
      }
    ]
  }
}

这样 Agent 就无法调用内置 web_fetch，只能通过本技能获取网页内容。

优势

• 🚀Token 节省 50-80%: 去除广告、导航栏等噪音
• 🔄自动容错: 四级服务降级，确保可用性
• 🆓零成本: 全部使用免费服务
• 🔌即插即用: 不需要 API Key
• 📝干净输出: 纯 Markdown，无需额外解析