大规模搜索、抓取并交互网页的 API。🔥 提供网络上下文 API,可查找来源、提取内容,并将其转换为干净的 Markdown 或结构化数据,供您的智能体(Agent)直接使用。开源,并提供托管服务。
嘘。嘿,你,加入我们的收藏者行列吧 :)
为什么选择 Firecrawl?
- 业界领先的可靠性:覆盖 96% 的网页,包括重度依赖 JavaScript 的页面——无需担心代理问题,只需获取干净的数据(查看基准测试)
- 极速响应:在数百万页面上实现 3.4 秒的 P95 延迟,专为实时智能体和动态应用打造
- 大语言模型(LLM)就绪输出:干净的 Markdown、结构化 JSON、截图等——消耗更少的 Token,构建更好的 AI 应用
- 我们处理棘手难题:轮换代理、编排调度、速率限制、JavaScript 拦截内容等——零配置
- 智能体就绪:通过一条命令即可将 Firecrawl 连接到任何 AI 智能体或 MCP 客户端
- 媒体解析:解析并提取网页托管 PDF、DOCX 等文件中的内容
- 操作交互:在提取内容前,可执行点击、滚动、键入、等待和按压等操作
- 开源:透明、协作式开发——加入我们的社区
功能概览
核心端点
| 功能 |
描述 |
| 搜索 |
搜索网络,并从结果中获取完整页面内容 |
| 抓取 |
将任意 URL 转换为 Markdown、HTML、截图或结构化 JSON |
| 交互 |
抓取页面,然后使用 AI 提示或代码与之交互 |
更多功能
| 功能 |
描述 |
| 智能体 |
自动化数据收集,只需描述您需要什么 |
| 爬取 |
通过单个请求抓取网站的所有 URL |
| 映射 |
即时发现网站上的所有 URL |
| 批量抓取 |
异步抓取数千个 URL |
快速开始
在 firecrawl.dev 注册以获取您的 API 密钥。试用游乐场进行测试。
搜索
搜索网络并从结果中获取完整内容。
from firecrawl import Firecrawl
app = Firecrawl(api_key="fc-YOUR_API_KEY")
search_result = app.search("firecrawl", limit=5)
Node.js / cURL / CLI
Node.js
import { Firecrawl } from 'firecrawl';
const app = new Firecrawl({apiKey: "fc-YOUR_API_KEY"});
app.search("firecrawl", { limit: 5 })
cURL
curl -X POST 'https://api.firecrawl.dev/v2/search' \
-H 'Authorization: Bearer fc-YOUR_API_KEY' \
-H 'Content-Type: application/json' \
-d '{
"query": "firecrawl",
"limit": 5
}'
CLI
firecrawl search "firecrawl" --limit 5
输出:
[
{
"url": "https://firecrawl.dev",
"title": "Firecrawl",
"markdown": "将网站转化为..."
},
{
"url": "https://docs.firecrawl.dev",
"title": "Firecrawl 文档",
"markdown": "# 快速开始..."
}
]
抓取
从任何网站获取 LLM 就绪数据——Markdown、JSON、截图等。
from firecrawl import Firecrawl
app = Firecrawl(api_key="fc-YOUR_API_KEY")
result = app.scrape('firecrawl.dev')
Node.js / cURL / CLI
Node.js
import { Firecrawl } from 'firecrawl';
const app = new Firecrawl({ apiKey: "fc-YOUR_API_KEY" });
app.scrape('firecrawl.dev')
cURL
curl -X POST 'https://api.firecrawl.dev/v2/scrape' \
-H 'Authorization: Bearer fc-YOUR_API_KEY' \
-H 'Content-Type: application/json' \
-d '{
"url": "firecrawl.dev"
}'
CLI
firecrawl scrape https://firecrawl.dev
firecrawl https://firecrawl.dev --only-main-content
输出:
# Firecrawl
Firecrawl 帮助 AI 系统搜索、抓取并交互网络。
## 功能
- 搜索:跨网络查找信息
- 抓取:从任意页面获取干净数据
- 交互:点击、导航并操作页面
- 智能体:自主数据收集
交互
抓取页面,然后使用 AI 提示或代码与之交互。
from firecrawl import Firecrawl
app = Firecrawl(api_key="fc-YOUR_API_KEY")
result = app.scrape("https://amazon.com")
scrape_id = result.metadata.scrape_id
app.interact(scrape_id, prompt="搜索 '机械键盘'")
app.interact(scrape_id, prompt="点击第一个结果")
Node.js / cURL / CLI
Node.js
import { Firecrawl } from 'firecrawl';
const app = new Firecrawl({apiKey: "fc-YOUR_API_KEY"});
const result = await app.scrape("https://amazon.com");
await app.interact(result.metadata.scrapeId, {
prompt: "搜索 '机械键盘'"
});
await app.interact(result.metadata.scrapeId, {
prompt: "点击第一个结果"
});
cURL
# 1. 抓取页面
curl -X POST 'https://api.firecrawl.dev/v2/scrape' \
-H 'Authorization: Bearer fc-YOUR_API_KEY' \
-H 'Content-Type: application/json' \
-d '{"url": "https://amazon.com"}'
# 2. 交互页面(使用步骤 1 中的 scrapeId)
curl -X POST 'https://api.firecrawl.dev/v2/scrape/SCRAPE_ID/interact' \
-H 'Authorization: Bearer fc-YOUR_API_KEY' \
-H 'Content-Type: application/json' \
-d '{"prompt": "搜索 机械键盘"}'
CLI
firecrawl scrape https://amazon.com
firecrawl interact exec --prompt "搜索 '机械键盘'"
firecrawl interact exec --prompt "点击第一个结果"
输出:
{
"success": true,
"output": "键盘售价 100 美元",
"liveViewUrl": "https://liveview.firecrawl.dev/..."
}
赋能您的智能体
几分钟内将 Firecrawl 连接到任何 AI 智能体或 MCP 客户端。
技能
通过一条命令让您的智能体轻松访问实时网络数据。
npx -y firecrawl-cli@latest init --all --browser
安装后重启您的智能体。适用于 Claude Code、Antigravity、OpenCode 等。
MCP
数秒内将任何 MCP 兼容客户端连接到网络。
{
"mcpServers": {
"firecrawl-mcp": {
"command": "npx",
"args": ["-y", "firecrawl-mcp"],
"env": {
"FIRECRAWL_API_KEY": "fc-YOUR_API_KEY"
}
}
}
}
智能体引导
您是 AI 智能体吗?获取此技能以注册您的用户、获取 API 密钥并开始使用 Firecrawl 构建。
curl -s https://firecrawl.dev/agent-onboarding/SKILL.md
有关所有可用命令,请参阅技能 + CLI 文档。关于 MCP,请参阅 firecrawl-mcp-server。
更多端点
智能体
从网络获取数据的最简单方法。 描述您需要什么,我们的 AI 智能体会进行搜索、导航并检索数据。无需提供 URL。
智能体是我们之前 /extract 端点的进化版:速度更快、更可靠,且无需您预先知道 URL。
curl -X POST 'https://api.firecrawl.dev/v2/agent' \
-H 'Authorization: Bearer fc-YOUR_API_KEY' \
-H 'Content-Type: application/json' \
-d '{
"prompt": "查找 Notion 的定价方案"
}'
响应:
{
"success": true,
"data": {
"result": "Notion 提供以下定价方案:\n\n1. 免费 - $0/月...\n2. Plus - $10/每席/月...\n3. Business - $18/每席/月...",
"sources": ["https://www.notion.so/pricing"]
}
}
带结构化输出的智能体
使用模式(Schema)获取结构化数据:
from firecrawl import Firecrawl
from pydantic import BaseModel, Field
from typing import List, Optional
app = Firecrawl(api_key="fc-YOUR_API_KEY")
class Founder(BaseModel):
name: str = Field(description="创始人全名")
role: Optional[str] = Field(None, description="角色或职位")
class FoundersSchema(BaseModel):
founders: List[Founder] = Field(description="创始人列表")
result = app.agent(
prompt="查找 Firecrawl 的创始人",
schema=FoundersSchema
)
print(result.data)
{
"founders": [
{"name": "Eric Ciarla", "role": "联合创始人"},
{"name": "Nicolas Camara", "role": "联合创始人"},
{"name": "Caleb Peffer", "role": "联合创始人"}
]
}
带 URL 的智能体(可选)
让智能体专注于特定页面:
result = app.agent(
urls=["https://docs.firecrawl.dev", "https://firecrawl.dev/pricing"],
prompt="对比功能和定价信息"
)
模型选择
根据您的需求在两种模型之间选择:
| 模型 |
成本 |
最适合 |
spark-1-mini(默认) |
便宜 60% |
大多数任务 |
spark-1-pro |
标准 |
复杂研究、关键数据收集 |
result = app.agent(
prompt="对比 Firecrawl、Apify 和 ScrapingBee 的企业功能",
model="spark-1-pro"
)
何时使用 Pro:
- 跨多个网站对比数据
- 从具有复杂导航或身份验证的网站提取数据
- 智能体需要探索多条路径的研究任务
- 准确性至关重要的关键数据
在我们的智能体文档中了解有关 Spark 模型的更多信息。
爬取
爬取整个网站,并获取所有页面的内容。
curl -X POST 'https://api.firecrawl.dev/v2/crawl' \
-H 'Authorization: Bearer fc-YOUR_API_KEY' \
-H 'Content-Type: application/json' \
-d '{
"url": "https://docs.firecrawl.dev",
"limit": 100,
"scrapeOptions": {
"formats": ["markdown"]
}
}'
返回作业 ID:
{
"success": true,
"id": "123-456-789",
"url": "https://api.firecrawl.dev/v2/crawl/123-456-789"
}