Crawl4AI
AI工具开源 LLM 友好型网页爬虫，专为 AI Agent 打造的高效数据获取工具
💰 开源📱 cli, api, mac, linux, windows👁 15 次浏览🔗 0 次点击📅 2026/5/4 收录
📊 CoolAI 编辑评分
4.2
满分 5.0
🔥 热度 7400
"Agent 数据获取的事实标准，LLM 友好型输出设计让后续处理事半功倍。"
📖 详细介绍
Crawl4AI 是一款开源的 LLM 友好型异步网页爬虫，专为 AI Agent 和大模型应用设计。它能将任何网页转换为干净的 Markdown 或结构化数据，自动处理 JavaScript 渲染、动态加载和反爬机制。支持批量并发爬取、自定义提取策略和会话管理。输出格式专门针对 LLM 消费优化——去除导航栏、广告等噪声内容，保留核心信息。GitHub 40K+ Stars，是 Agent 数据获取环节的事实标准工具。
✅ 核心功能
- ✓LLM 友好型输出
- ✓JavaScript 渲染支持
- ✓异步批量并发爬取
- ✓自动噪声过滤
- ✓GitHub 40K+ Stars
