2026年6月17日 | Junjie Bu 高级主任软件工程师 | Srinivas Krishnan 杰出软件工程师 | 分享

• Facebook
• Twitter
• LinkedIn
• Mail

一项用于跨网络查找与验证工具、技能和代理的开放规范。

代理正在成为一个更庞大生态系统的参与者。它们越来越依赖分布于不同团队、组织和平台上的工具、技能及其他代理。

为了让这个生态系统能够规模化发展，代理需要可靠地解答三个问题：合适的能力在哪里？我究竟该用哪项能力？以及如何验证连接到它是安全的？

如今，尚无一种标准方法能够跨组织地回答这些问题。

因此，我们宣布推出 Agentic Resource Discovery（代理资源发现，简称 ARD），这是一项用于在网络上发布、发现和验证 AI 能力的开放规范。ARD 携手行业合作伙伴共同开发，允许工具和服务被安全地共享与连接，无论其底层框架、协议或提供商是什么。

与代理生态系统的合作伙伴共同构建

代理网络所缺失的一层

设想一个正在调查线上生产事故的运维代理。为了解决问题，它可能需要查询可观测性系统、搜索工程文档、审查部署历史、创建支持工单，甚至咨询专门的故障排除代理。

虽然许多平台已经提供了自定义注册库来管理这些能力，但它们仍然碎片化，并孤立在特定生态系统内。这种互操作性的缺失，阻碍了代理在不同工具之间轻松通信。目前所缺少的，正是一种让代理能够跨越组织边界发现能力，并对其发现的内容建立信任的标准方式。

ARD 提供了这一层。它标准化了能力如何在一个组织自己的域名下发布，以及如何跨联合注册库进行索引，使任何代理都能动态地为任务找到正确的资源。此后，ARD 便退出流程——它将可验证的信任元数据移交出去，这样代理就可以使用该工具的本地协议建立直接、安全的连接。

ARD 的工作原理

该架构依赖于两个基本要素：目录（catalog） 和 注册库（registry）。

• 目录： 为了让资源可被发现，一个组织需要发布一个描述其可用能力的目录。因为这些目录直接托管在该组织自己的域名下，该域名的所有权就成为身份和信任的加密基础。
• 注册库： 注册库充当代理网络的搜索引擎。它们抓取已发布的目录，索引其内容，并使其可被搜索。当代理提交发现请求时，注册库会返回匹配的能力，以及验证发布者和建立连接前信任所需的元数据。

下面的视频演示了一个 ARD 客户端完全在运行时发现并执行新能力的过程。请在终端窗口中留意以下四个关键阶段：

1. 发布目录： 提供商在其域名的一个众所周知路径下托管一个 ai-catalog.json 文件。该目录描述了提供商的可用能力，其中可以包括诸如 MCP 服务器、A2A 代理、OpenAPI 工具，甚至其他嵌套目录之类的内容。
2. 发现与解析： 当客户端代理需要某项能力时，它可以向 ARD 注册库查询，使用自然语言意图（注册库能够主动抓取并索引这些目录），或者它可以完全绕过搜索，直接从已知合作伙伴的域名获取目录。
3. 加密验证： 对于生产环境，发现层允许发布者附加可验证的信任元数据。无论是通过搜索还是直接获取找到的，这都能使客户端代理或注册库在连接到端点之前，主动确认发布者的真实加密身份。
4. 直接运行时连接： 客户端代理动态加载所选能力，使用其本地协议或 API 与之交互，并将结果返回给用户。

抱歉，您的浏览器不支持播放此视频

将 ARD 引入 Gemini Enterprise Agent 平台

正如开放网络使信息大众化一样，ARD 也使 AI 资源发现大众化。Google Cloud 通过 Gemini Enterprise Agent 平台中的 Agent Registry 来支持这一点——这是一款企业级产品，实现了这一愿景并构成了这个全球联邦网络的一部分。

Agent Registry 确保企业能够信任、治理和规模化地实现这一承诺。它为搜索、发现和托管代理资源（包括代理、技能、MCP 服务器及其他工具）提供了完全托管支持。此外，它还允许用户将这些能力直接载入 Agent Registry，并且很快就会支持经认证的发布者载入。

重要的是，Agent Registry 在企业治理中扮演着核心角色。这包括分配全球唯一的命名空间 URN、执行代理出口策略，以及固定工具和规范。它还通过使用 Agent Identity 来验证信任清单——ARD 的加密层，用于证明代理真实性并满足如 HIPAA 等企业合规标准——来进行安全的资源管理。

对 ARD 的原生支持将在未来几个月内在 Agent Platform 中提供，允许组织将其内部注册库安全地连接到更广泛的网络。

开始使用 ARD

ARD 规范现已可用。参与方式如下：

• 发布你的第一个目录： 遵循快速入门指南，在你的域名上托管一个 ai-catalog.json 文件，几分钟内即可让你的服务可被发现。
• 阅读规范： 查阅规范，包括完整的模式、联邦模型、信任架构和参考实现。
• 加入社区： 通过访问我们的 GitHub 仓库，贡献实现方案、提出模式更新建议，并参与 ARD 的发展。

代理生态系统在去中心化和开放时运行得最好。ARD 是我们为保持这种状态所做的贡献。我们期待你的反馈——还有你的目录！

致谢

Agentic Resource Discovery 规范在 Apache 2.0 许可下发布，并建立在基础的 AI Catalog 数据模型之上。我们感谢 Linux 基金会下的 AI Catalog 工作组，以及帮助塑造该规范和参考实现的发布合作伙伴。

发布于：

• AI
• 公告
• 学习

上一篇 | 下一篇 | 相关文章 | AI 案例研究 操作指南 在 TPU 上运行 Ray，第 2 部分：Ray AI 库 2026年7月24日 AI 操作指南 公告 在 TPU 上运行 Ray，第 1 部分：基础 2026年7月20日

T3 Code 是一款面向编程智能体（Coding Agent）的极简 Web 图形界面，目前已支持 Codex、Claude、Cursor 和 OpenCode，更多工具即将加入。

安装

[!WARNING]
T3 Code 目前支持 Codex、Claude、Cursor 和 OpenCode。
使用前请至少安装并登录一个服务提供商：

• Codex：安装 Codex CLI 后执行 codex login
• Claude：安装 Claude Code 后执行 claude auth login
• Cursor：安装 Cursor CLI 后执行 cursor-agent login
• OpenCode：安装 OpenCode 后执行 opencode auth login

免安装直接运行

npx t3@latest

提示：使用 npx t3@latest --help 查看完整的 CLI 参考。

桌面应用

从 GitHub Releases 或你常用的包管理器安装最新版桌面应用：

Windows（winget）

winget install T3Tools.T3Code

macOS（Homebrew）

brew install --cask t3-code

Arch Linux（AUR）

yay -S t3code-bin

几点说明

该项目目前处于极早期阶段，请做好遇到 Bug 的心理准备。

我们暂时还不接受外部贡献。

目前还没有公开的文档站点，可先查阅 docs 目录中的各类 Markdown 文件。

文档

• 快速入门
• 远程访问
• 保持 T3 Code 同步更新
• 架构概览
• 服务提供商指南
• 运维
• 参考

如果你仍执意要参与贡献……请先阅读以下内容

安装 vp

T3 Code 使用 Vite+ 构建，因此你需要安装全局命令行工具 vp。

macOS / Linux

curl -fsSL https://vite.plus | bash

Windows

irm https://vite.plus/ps1 | iex

更多信息请查阅他们的入门指南：https://viteplus.dev/guide/

安装依赖

vp i

在提交 Issue 或 Pull Request 之前，请先阅读 CONTRIBUTING.md。

需要支持？欢迎加入 Discord。

一款网页抓取与浏览器自动化库

Crawlee 覆盖端到端的爬取与抓取过程，帮助你快速构建可靠的抓取器。

即使使用默认配置，你的爬虫也能表现得像人类用户，从而轻松绕过现代机器人防护。Crawlee 为你提供了爬取网页链接、抓取数据并将其存储至磁盘或云端的全套工具，同时保持高度可配置性，以满足项目需求。

Crawlee 可通过 crawlee NPM 包获取。

👉 查看 Crawlee 项目网站上的完整文档、指南和示例 👈

相比 JavaScript，你更喜欢 🐍 Python？👉 请查看 Crawlee for Python 👈。

安装

我们建议访问 Crawlee 文档中的入门教程以获取更多信息。

Crawlee 需要 Node.js 16 或更高版本。

使用 Crawlee CLI

尝试 Crawlee 的最快方式是使用 Crawlee CLI 并选择入门示例。CLI 将安装所有必要的依赖项，并为你添加用于测试的样板代码。

npx crawlee create my-crawler

cd my-crawler
npm start

手动安装

如果你倾向于将 Crawlee 添加到你自己的项目中，请参考下面的示例。因为它使用了 PlaywrightCrawler，我们还需要安装 Playwright。为了减少安装大小，Playwright 并未与 Crawlee 捆绑发布。

npm install crawlee playwright

import { PlaywrightCrawler, Dataset } from 'crawlee';

// PlaywrightCrawler 使用由 Playwright 库控制的无头浏览器来爬取网页。
const crawler = new PlaywrightCrawler({
    // 使用 requestHandler 处理每个爬取到的页面。
    async requestHandler({ request, page, enqueueLinks, log }) {
        const title = await page.title();
        log.info(`${request.loadedUrl} 的标题是 '${title}'`);

        // 将结果以 JSON 格式保存到 ./storage/datasets/default
        await Dataset.pushData({ title, url: request.loadedUrl });

        // 从当前页面提取链接
        // 并将它们添加到爬取队列中。
        await enqueueLinks();
    },
    // 取消注释此选项可查看浏览器窗口。
    // headless: false,
});

// 将第一个 URL 添加到队列并开始爬取。
await crawler.run(['https://crawlee.dev']);

默认情况下，Crawlee 将数据存储到当前工作目录下的 ./storage 中。你可以通过 Crawlee 配置覆盖此目录。有关详细信息，请参阅配置指南、请求存储和结果存储。

安装预发布版本

我们为 Crawlee 中每个已合并的代码更改提供自动化的测试版构建。你可以在 npm 的版本列表中找到它们。如果你想在正式发布前测试新功能或错误修复，可以像这样安装测试版：

npm install crawlee@next

如果你同时使用了 Apify SDK，则需要在 package.json 文件中指定依赖项覆盖，以避免最终安装多个版本的 Crawlee：

{
    "overrides": {
       "apify": {
           "@crawlee/core": "$crawlee",
           "@crawlee/types": "$crawlee",
           "@crawlee/utils": "$crawlee"
       }
    }
}

🛠 功能特性

• HTTP 和无头浏览器爬取的统一接口
• 用于待爬取 URL 的持久化队列（支持广度优先与深度优先）
• 表格数据和文件的可插拔存储
• 根据可用系统资源进行自动伸缩
• 集成的代理轮换和会话管理
• 可通过钩子（hooks）自定义生命周期
• 用于引导项目的 CLI
• 可配置的路由、错误处理和重试机制
• 可直接部署的 Dockerfiles
• 使用TypeScript编写并支持泛型

👾 HTTP 爬取

• 零配置支持 HTTP2，甚至适用于代理
• 自动生成类似浏览器的标头
• 复制浏览器的 TLS 指纹
• 集成快速的 HTML 解析器：Cheerio 和 JSDOM
• 是的，你也可以抓取 JSON API

💻 真实浏览器爬取

• JavaScript 渲染和截图
• 支持无头和有头模式
• 零配置生成类似人类的指纹
• 自动浏览器管理
• 使用相同接口即可操作 Playwright 和 Puppeteer
• 支持 Chrome、Firefox、Webkit 等多种浏览器

在 Apify 平台上的使用

Crawlee 是开源的，可以在任何地方运行，但因为它由 Apify 开发，所以可以轻松在 Apify 平台上设置并在云端运行。请访问 Apify SDK 网站，了解如何将 Crawlee 部署到 Apify 平台的更多信息。

支持

如果你发现 Crawlee 有任何错误或问题，请在 GitHub 上提交 issue。如有疑问，你可以在 Stack Overflow 上提问，在 GitHub Discussions 中讨论，或者加入我们的 Discord 服务器。

贡献

欢迎你的代码贡献，你将得到永恒赞誉！如果你有任何改进想法，请提交 issue 或创建 pull request。有关贡献指南和行为准则，请参阅 CONTRIBUTING.md。

许可证

本项目采用 Apache License 2.0 许可，详情请参阅 LICENSE.md 文件。

2026 年 6 月 18 日

超越工具：智能体生态系统的崛起

如果你曾构建过 AI 智能体，就一定体会过把它们当作简单、无状态的工具来使用的痛点。真正的智能体需要具备对话能力和动态性，但要释放其真正潜力，它们还需要一种通用语言来安全地协作与交接任务。这正是我们一年前推出智能体对智能体（Agent-to-Agent，简称 A2A）协议时的愿景。今天，在我们庆祝 A2A 一周岁生日之际，协作式智能体生态系统的愿景正在成为现实——而且其发展速度超乎你的想象。

为什么选择 A2A？协作的架构设计

在我们探讨 A2A 的实际应用之前，理解为什么需要一个新协议至关重要。为什么不直接通过标准 REST API 连接智能体呢？

API 是刚性和确定性的；而智能体是灵活且自主的。将智能体当作 API 来对待会严重限制其潜力。A2A 协议专为生成式 AI 时代而设计，具备以下几项关键的架构优势：

• 安全边界（保护“秘方”）： 在企业场景中，智能体需要利用不能暴露给公共大语言模型（LLM）或第三方系统的敏感数据或定制化内部流程。A2A 支持“黑箱”式交接：你将任务分配给一个维护自身安全环境的专用内部智能体。请求方智能体获得所需的高价值输出，而你的专有数据和“操作诀窍”逻辑则保持封装且严格私有。
• 零上下文污染： 大语言模型（LLM）的上下文窗口是有限的。如果强迫一个主智能体处理复杂的多步骤依赖关系，其上下文窗口会被填满，导致幻觉和性能下降。通过 A2A 交互，专业的对等智能体可以处理各自庞大的依赖关系和内部状态，而不会扰乱主智能体的记忆。
• 动态自主性： 调用 API 时，它要么返回数据，要么失败。而当一个智能体调用 A2A 对等端时，它启动了一次协作。接收方智能体可以理解意图、优化计划、拒绝不完整的请求，并在出现异常时提出澄清性问题。
• 工作负载分发： A2A 允许多个专业工作负载的分发，而不是由单个人或团队从头构建整个智能体解决方案。解决方案的不同部分可以由其他同事、团队、供应商或托管的智能体服务来构建和管理，他们是领域专家并持续改进各自的组件。这种模块化设计简化了整体应用架构，并使长期管理显著更容易。

聚焦：FoldRun——无需堆叠技术栈的大规模科研智能体

要亲眼见证这种架构的实际运作，生命科学领域再合适不过。预测蛋白质的三维结构被誉为生物学的“圣杯”，但对开发者而言，它却是一场基础设施的噩梦。面对 PB（拍字节）级别的基因数据库、专用的 GPU 需求，以及 AlphaFold、OpenFold 和 Boltz 等模型的多步骤生命周期，从头复现这一功能无异于攀登一座巨大的“复杂性悬崖”。

Foldrun 不只是一个工具或脚本；它是一个独立的、面向智能体的交互界面。

在过去的模式中，你不得不将脆弱的工作流通过 API 拼凑起来，或者自行构建一个智能体，向其注入专业化的技能，并加固运行环境，同时祈祷过程中不会出现任何差错。而在 A2A（智能体对智能体）的世界里，你只需将 Foldrun 智能体添加到 Gemini Enterprise、Gemini CLI 或任何兼容 A2A 的环境中即可。

Foldrun 负责管理那些需要动态决策的长时间运行的自主任务——例如根据预测置信度调整参数，并依据分子类型在 AlphaFold 2、OpenFold 3 或 Boltz-2 之间进行选择。你只需提出工作需求，分配任务，Foldrun 就会作为一位专业化的同行，交付最终结果。

（抱歉，您的浏览器不支持播放此视频）

Foldrun 本地快速入门指南 若想在 A2A 工作流中体验 Foldrun 的运行：

1. 拉取镜像： 从 Google Cloud 生命科学 GitHub 仓库 获取 Foldrun 智能体交互接口。
2. 通过 A2A 连接： 在你所支持的 A2A 环境中注册该智能体。
3. 委派任务： 开始使用自然语言指定结构预测任务——无需编写任何定制的粘合代码。

开发者专业提示： 使用 Gemini CLI 将蛋白质序列“移交”给 Foldrun。Gemini CLI 支持包括 Foldrun 在内的任何 A2A 智能体。当 Foldrun 负责繁重的三维建模任务时，你的主智能体可以腾出手来继续管理研究流程中的其余部分。

（抱歉，您的浏览器不支持播放此视频）

客户评价：

为了确保 FoldRun 能够满足真实环境中复杂的需求，我们与 BicycleTx 作为核心设计伙伴展开了紧密合作。他们的团队一直在积极评估该解决方案，并提供了至关重要的反馈，这些反馈直接塑造了该功能的开发方向。

“我们一直在探索如何将协同折叠模型的能力交到我们不同团队的科学家手中。拥有一个能够让他们通过智能体交互界面实现这一目标的解决方案，并且我们的组织正在通过 Gemini Enterprise 采用这种交互方式，这使得测试以及与工作流的整合变得容易多了。”
—— 理查德·休斯（Richard Hughes），BicycleTx 通过在自身流程中探索使用 FoldRun，BicycleTx 正在开启优化工作流并扩展其智能体驱动型运营的新途径。我们非常感谢他们持续的合作伙伴关系，并期待尽快将这些能力惠及更广泛的社区。”

A2A 还能做什么？

如果 A2A 能够编排拍字节（Petabyte）规模的生物建模，它还能解锁哪些能力？通过标准化智能体之间的通信方式，我们看到整个行业的各个领域都在涌现令人惊叹的创新：

• 智能体商务与自主支付： 这正是自主经济变为现实的地方。开发者正在利用 A2A 实现事务完整性，让 AI 智能体能够代表用户安全地协商交易、核实库存并顺畅执行企业间（B2B）采购。
• 企业数据与实时流处理： 智能体正被部署用于安全地监控实时事件流和企业数据库。专门的 A2A 智能体不再将原始数据管道暴露给中心化的大语言模型（LLM），而是位于数据边缘，仅在满足特定合规条件时才提取洞察并触发下游工作流。
• 跨平台 IT 与 DevOps： 运维孤岛正在被打破。设想一个主要的人力资源（HR）智能体通过 A2A 与一个专门的 DevOps 智能体进行协调：HR 智能体安全地传递所需的角色参数，DevOps 智能体则自主地在多个互不相连的 SaaS 平台上配置软件许可证、仓库访问权限及安全环境。
• 安全电信与受监管网络： 在高度受监管的行业中，安全性至关重要。A2A 正被用来为自主系统提供抗量子、端到端的消息层安全（Message Layer Security, MLS）保证，确保智能体可以在永不会暴露底层信息的情况下进行敏感数据协作。

上下文难题的另一半。

问题所在

每一次 MCP 工具调用都会将原始数据倾泻到你的上下文窗口中。一次 Playwright 快照消耗 56 KB。二十条 GitHub 议题消耗 59 KB。一条访问日志 —— 45 KB。30 分钟后，40% 的上下文便已耗尽。而当代理对对话内容进行压缩以释放空间时，它会忘记正在编辑哪些文件、哪些任务正在运行，以及你上次提出的问题是什么。更雪上加霜的是，代理还会将输出令牌浪费在填充词、客套话和冗长解释上 —— 从上下文的两端同时造成消耗。

Context Mode 如何解决

Context Mode 是一个 MCP 服务器，从四个方面解决了这一问题：

1. 上下文节省 —— 沙箱工具将原始数据排除在上下文窗口之外。315 KB 变为 5.4 KB。减少了 98%。
2. 会话连续性 —— 每一次文件编辑、Git 操作、任务、错误和用户决策都被 SQLite 跟踪记录。当对话内容被压缩时，context-mode 不会将这些数据重新倾泻回上下文中 —— 它会将事件索引到 FTS5 中，并仅通过 BM25 搜索检索相关内容。模型会从你上次中断的地方精确继续。如果你不使用 --continue，之前的会话数据将被立即删除 —— 新会话意味着从零开始。

3. 用代码思考 —— LLM 应该对分析过程进行编程，而不是自己计算。与其将 50 个文件读入上下文来统计函数数量，代理完全可以编写一个脚本来完成统计，并只通过 console.log() 输出结果。一个脚本就能取代十次工具调用，并节省 100 倍的上下文空间。这是所有 17 种受支持客户端以及 OpenClaw 网关集成中一项强制性的范式：不要再将 LLM 当作数据处理器，要把它当作代码生成器。

   // 之前：47 次 × Read() = 700 KB。之后：1 次 × ctx_execute() = 3.6 KB。
   ctx_execute("javascript", `
    const files = fs.readdirSync('src').filter(f => f.endsWith('.ts'));
    files.forEach(f => console.log(f + ': ' + fs.readFileSync('src/'+f,'utf8').split('\\n').length + ' lines'));
   `);

4. 不强制行文风格 —— context-mode 会将原始数据排除在上下文之外，但绝不干涉模型如何撰写其最终答案。简洁、详尽、格式化 —— 全由你的模型（或你通过自己的 CLAUDE.md / AGENTS.md）决定。激进的简洁提示已被证明会降低编码 / 推理基准测试的表现（Moonshot AI 关于 kimi-k2.5 的讨论） —— 而路由层只会专注于数据的流向，而非模型如何表达。

安装

平台按安装复杂度分组。支持 Hook 的平台会自动实施路由。不支持 Hook 的平台则需一次性复制路由文件。

Claude Code — 插件市场，全自动

前置条件： Claude Code v1.0.33 或更高版本 (claude --version)。如果系统未能识别 /plugin，请先更新：brew upgrade claude-code 或 npm update -g @anthropic-ai/claude-code。

安装：

/plugin marketplace add mksglu/context-mode
/plugin install context-mode@context-mode

重启 Claude Code（或运行 /reload-plugins）。

验证：

/context-mode:ctx-doctor

所有检查都应显示 [x]。该诊断程序会验证运行时、Hooks、FTS5 和插件注册状态。

路由： 自动。SessionStart 钩子会在运行时注入路由指令 —— 不会向你的项目中写入任何文件。该插件注册了所有钩子（PreToolUse、PostToolUse、UserPromptSubmit、PreCompact、SessionStart、Stop）和 11 个 MCP 工具 —— 6 个沙箱工具（ctx_batch_execute、ctx_execute、ctx_execute_file、ctx_index、ctx_search、ctx_fetch_and_index），外加 5 个元工具（ctx_stats、ctx_doctor、ctx_upgrade、ctx_purge、ctx_insight）。

注意： 斜杠命令是 Claude Code 插件的一项特性。在其他平台上，只需在聊天中键入 ctx stats、ctx doctor、ctx index、ctx search、ctx upgrade 或 ctx insight —— 模型会自动调用 MCP 工具。参见实用命令。

状态栏（可选）： Claude Code 的插件清单无法声明状态栏，因此需要手动编辑 ~/.claude/settings.json 一次：

{
  "statusLine": {
    "type": "command",
    "command": "context-mode statusline"
  }
}

保存后，重启 Claude Code。状态栏会显示 本会话节省额度 · 跨会话节省额度 · 效率百分比，让你能实时看到节省累积情况。此连接与路径无关 —— context-mode statusline 会通过捆绑的 CLI 解析，无论插件缓存位于何处。

替代方案 —— 仅安装 MCP（无钩子或斜杠命令）

claude mcp add context-mode -- npx -y context-mode

此方式将为你提供全部 11 个 MCP 工具，但没有自动路由。模型仍然可以使用它们 —— 只是不会被引导去优先选择它们而非原始的 Bash/Read/WebFetch 操作。适合在决定使用完整插件之前先进行试用。

Gemini CLI — 一个配置文件，包含 Hooks

前置条件： Node.js >= 22.5（或 Bun），已安装 Gemini CLI。

安装：

1. 全局安装 context-mode：

   npm install -g context-mode

2. 将以下内容添加到 ~/.gemini/settings.json。这个单一文件将注册 MCP 服务器和全部四个钩子：

   {
    "mcpServers": {
      "context-mode": {
        "command": "context-mode"
      }
    },
    "hooks": {
      "BeforeTool": [
        {
          "matcher": "run_shell_command|read_file|read_many_files|grep_search|search_file_content|web_fetch|activate_skill|mcp__plugin_context-mode|mcp__context-mode|mcp__(?!.*context-mode)",
          "hooks": [{ "type": "command", "command": "context-mode hook gemini-cli beforetool" }]
        }
      ],
      "AfterTool": [
        {
          "matcher": "",
          "hooks": [{ "type": "command", "command": "context-mode hook gemini-cli aftertool" }]
        }
      ],
      "PreCompress": [
        {
          "matcher": "",
          "hooks": [{ "type": "command", "command": "context-mode hook gemini-cli precompress" }]
        }
      ],
      "SessionStart": [
        {
          "matcher": "",
          "hooks": [{ "type": "command", "command": "context-mode hook gemini-cli sessionstart" }]
        }
      ]
    }
   }

3. 重启 Gemini CLI。

验证：

/mcp list

你应该能看到 context-mode: ... - Connected。

路由： 自动，通过 SessionStart 钩子实现。可选地，可以复制路由指令以实现完全模型感知：

cp node_modules/context-mode/configs/gemini-cli/GEMINI.md ./GEMINI.md

为何如此配置 BeforeTool 匹配器？ 它仅针对会产生大量输出的工具（run_shell_command、read_file、read_many_files、grep_search、search_file_content、web_fetch、activate_skill）以及 context-mode 自身的工具（mcp__plugin_context-mode）。这样既能避免对轻量级工具产生不必要的钩子开销，又能拦截每一个可能挤占你上下文窗口的工具。

完整配置参考：configs/gemini-cli/settings.json

VS Code Copilot — 包含 SessionStart 的 Hooks

前置条件： Node.js >= 22.5（或 Bun），VS Code 及 Copilot Chat v0.32+。

安装：

1. 全局安装 context-mode：

   npm install -g context-mode

2. 在你的项目根目录下创建 .vscode/mcp.json：

   {
    "servers": {
      "context-mode": {
        "command": "context-mode"
      }
    }
   }

3. 创建 .github/hooks/context-mode.json：

   {
    "hooks": {
      "PreToolUse": [
        { "type": "command", "command": "context-mode hook vscode-copilot pretooluse" }
      ],
      "PostToolUse": [
        { "type": "command", "command": "context-mode hook vscode-copilot posttooluse" }
      ],
      "SessionStart": [
        { "type": "command", "command": "context-mode hook vscode-copilot sessionstart" }
      ]
    }
   }

4. 重启 VS Code。

验证： 打开 Copilot Chat 并输入 ctx stats。Context-mode 工具应该会出现并做出响应。

路由： 自动，通过 SessionStart 钩子实现。可选地，可以复制路由指令以实现完全模型感知：

cp node_modules/context-mode/configs/vscode-copilot/copilot-instructions.md .github/copilot-instructions.md

包含 PreCompact 的完整钩子配置：configs/vscode-copilot/hooks.json

JetBrains Copilot — 包含 SessionStart 的 Hooks

前置条件： Node.js >= 22.5（或 Bun），带有 GitHub Copilot 插件 v1.5.57+ 的 JetBrains IDE。

安装：

1. 全局安装 context-mode：

   npm install -g context-mode

2. 通过设置界面添加 MCP 服务器：设置 > 工具 > AI 助手 > 模型上下文协议（MCP）> 添加服务器：

   • 名称： context-mode
   • 命令： context-mode

3. 创建 .github/hooks/context-mode.json：

   {
    "hooks": {
      "PreToolUse": [
        { "type": "command", "command": "context-mode hook jetbrains-copilot pretooluse" }
      ],
      "PostToolUse": [
        { "type": "command", "command": "context-mode hook jetbrains-copilot posttooluse" }
      ],
      "SessionStart": [
        { "type": "command", "command": "context-mode hook jetbrains-copilot sessionstart" }
      ]
    }
   }

4. 重启你的 IDE。

验证： 在 AI 助手聊天窗口中输入 ctx stats。你应该会看到上下文统计信息。

路由： 自动，通过 SessionStart 钩子实现。可选地，可以复制路由指令以实现完全模型感知：

cp node_modules/context-mode/configs/jetbrains-copilot/copilot-instructions.md .github/copilot-instructions.md

inshellisense 为 Shell 提供类似集成开发环境（IDE）风格的自动补全功能。它是一个终端原生的运行时，支持 autocomplete 规范，涵盖了超过 600 种命令行工具。inshellisense 支持 Windows、Linux 与 macOS 操作系统。

入门指南

安装

npm（推荐）

npm install -g @microsoft/inshellisense
is init

homebrew（适用于 macOS/Linux）

brew tap microsoft/inshellisense https://github.com/microsoft/inshellisense
brew install inshellisense
is init

更新

npm install -g @microsoft/inshellisense # 或使用 brew upgrade inshellisense
is reinit

快速入门

完成安装后，运行 is doctor 来验证安装是否成功。你可以运行 is 为你指定的 Shell 启动自动补全会话。此外，安装后 inshellisense 也可作为 is 的别名使用。

Shell 插件

如果你希望在打开 Shell 时自动启动 inshellisense，请根据你的 Shell 运行相应命令。运行命令后，当你启动任何新的 Shell 会话时，inshellisense 都会自动启动：

# bash
is init bash >> ~/.bashrc

# zsh
is init zsh >> ~/.zshrc

# fish
is init fish >> ~/.config/fish/config.fish

# pwsh (PowerShell Core)
is init pwsh | Add-Content $profile

# powershell (Windows PowerShell)
is init powershell | Add-Content $profile

# xonsh
is init xonsh >> ~/.xonshrc

# nushell
is init nu | save $nu.env-path --append

[!NOTE]
未来更新 Shell 配置时，请确保 inshellisense 插件是文件中最后一条命令。在其后包含其他命令可能会破坏配置（例如，在 inshellisense 插件之后初始化你的 Shell 插件管理器）。

使用说明

按键绑定

其他所有按键都会透传给 Shell。下方的按键绑定仅在 inshellisense 建议可见时才会被捕获，否则同样会透传给 Shell。这些绑定可以在配置文件中进行自定义。

集成支持

inshellisense 支持以下 Shell：

• bash
• zsh
• fish
• pwsh（PowerShell Core）
• powershell (Windows Powershell)
• cmd (实验性)
• xonsh
• nushell

配置

所有配置均通过一个 toml 文件完成。你可以在 ~/.inshellisenserc 创建此文件，或者为了符合 XDG 规范，也可以放置在 ~/.config/inshellisense/rc.toml。配置文件的 JSON Schema 定义可参见此处。

按键绑定

你可以通过在配置文件中添加 bindings 部分来自定义 inshellisense 的按键绑定。以下是按键绑定的默认配置：

[bindings.acceptSuggestion]
key = "tab"
# shift 和 ctrl 为可选参数，默认值为 false
shift = false
ctrl = false

[bindings.nextSuggestion]
key = "down"

[bindings.previousSuggestion]
key = "up"

[bindings.dismissSuggestions]
key = "escape"

按键名称根据 Node.js keypress 事件进行匹配。

别名展开

Inshellisense 支持为 bash/zsh Shell 展开别名。你可以在配置文件中启用别名展开：

useAliases = true

NerdFonts 字体支持

如果你正在使用 NerdFonts 字体，可以在配置文件中启用 NerdFonts 支持：

useNerdFont = true

最大建议数量

你可以在配置文件中修改自动补全列表一次显示的最大建议数量：

maxSuggestions = 10

不支持的规范

由于体积过大，az、gcloud 和 aws 命令行界面（CLI）的自动补全规范在 inshellisense 中不受支持。

贡献

本项目欢迎各种贡献与建议。大多数贡献都需要你签署贡献者许可协议（Contributor License Agreement，CLA），声明你有权授予并且确实授予我们使用你的贡献的权利。详情请访问 https://cla.opensource.microsoft.com。

当你提交拉取请求（Pull Request）时，CLA 机器人会自动判断你是否需要提供 CLA，并相应地标记拉取请求（例如，状态检查、评论）。只需按照机器人提供的说明操作即可。你只需在所有使用我们 CLA 的仓库中完成一次此操作。

本项目采用了《Microsoft 开源行为准则》。更多信息，请查看《行为准则常见问题解答》，或者通过 opencode@microsoft.com 联系以获得更多疑问或意见的解答。

商标

本项目可能包含项目、产品或服务的商标或徽标。Microsoft 商标或徽标的授权使用受 Microsoft 商标与品牌指南约束，且必须遵循该指南。在本项目的修改版本中使用 Microsoft 商标或徽标时，不得引起混淆或暗示 Microsoft 赞助。任何第三方商标或徽标的使用均受相应第三方政策的约束。

OpenWork 是一款免费、开源的桌面应用，专为共享 AI 工作流而设计。它是 Claude Cowork 和 Codex 的开源替代方案，支持 macOS、Windows 和 Linux 系统。

只需将一个 OpenWork MCP 添加到 Codex、Claude Code、Cursor 或其他兼容的智能体中，即可在不同的工具、团队成员和设备间复用相同的技能、MCP 以及已连接的服务。你可以创建一次，然后与同事或朋友分享，或者仅留作自用。

当你需要一个专属工作区时，桌面应用随时可用，但并非必需。你也可以直接从已有的智能体中使用 OpenWork。对于大型组织，管理界面允许你发布能力、管理访问权限，并配置共享或按用户分配的连接。

下载 OpenWork

通过你的 AI 智能体安装

已经在使用 AI 智能体？复制以下提示词，并粘贴到 Claude Code、Cursor、Codex、ChatGPT 或任何能够在你的电脑上运行命令的智能体中。

Install OpenWork on my computer, set up my first workspace, and open it ready to use. Follow the steps in https://openworklabs.com/start.md?v=hero

1. 安装 OpenWork
2. 创建你的工作区
3. 打开即可使用

从任意智能体中使用 OpenWork

OpenWork MCP 能把你被分配到的技能、插件、MCP 连接、Google Workspace 和 Microsoft 365 能力带进任意兼容的智能体中。

它提供两个工具：search_capabilities 用来查找你可以使用的内容，execute_capability 用来执行对应的能力。添加 MCP 后，你的客户端会打开一个浏览器窗口，让你登录并选择你的 OpenWork 组织。

Codex

codex mcp add openwork --url https://api.openworklabs.com/mcp/agent

Claude Code

claude mcp add --transport http openwork https://api.openworklabs.com/mcp/agent

OpenCode

将以下内容添加到 opencode.json 文件中：

{
  "mcp": {
    "openwork": {
      "type": "remote",
      "enabled": true,
      "url": "https://api.openworklabs.com/mcp/agent",
      "oauth": {}
    }
  }
}

任意 MCP 客户端

使用此远程 MCP 服务器 URL：

https://api.openworklabs.com/mcp/agent

OpenWork Den 管理平台

OpenWork Den 是一个控制平面，用于跨团队或组织管理 OpenWork。

• 大规模配置推理资源，并控制哪些成员和团队可以使用各个模型提供商。
• 邀请团队成员、创建团队，并从一处管理所有访问权限。
• 设置桌面策略、限制本地模型访问，并控制组织可以使用的应用版本。
• 通过市场发布技能和插件，然后将它们分配给整个组织、某个团队或特定人员。
• 导入兼容 Anthropic 格式的插件，并通过 OpenWork MCP 提供其支持的技能和远程 MCP。

文档

阅读 OpenWork 文档。

本地开发

对于单一代码检出，可以继续使用 pnpm dev；无需设置额外的环境变量，它会复用现有的共享开发配置文件。

如果需要同时运行多个 git worktree，可以使用：

pnpm dev:worktree

该命令会设置 OPENWORK_DEV_PROFILE=auto，根据 worktree 路径派生一个稳定的配置文件名称，让 Electron 自动选择可用的 CDP 端口，并向 Vite 请求一个可用的开发服务器端口。你也可以选择一个命名的配置文件，例如 OPENWORK_DEV_PROFILE=my-feature OPENWORK_ELECTRON_REMOTE_DEBUG_PORT=0 PORT=0 pnpm dev。

dev:worktree 还默认启用 OPENWORK_ELECTRON_USE_MOCK_KEYCHAIN=1。一个全新的配置文件没有任何已存储的凭据，因此在 macOS 上，一旦 Chromium 持久化一个已认证的 Cookie，真实的系统钥匙串就会弹出提示框，该模态框会阻塞 Electron 的主循环，直到被手动关闭。如果你确实希望在隔离的配置文件中使用系统钥匙串，可以设置 OPENWORK_ELECTRON_USE_MOCK_KEYCHAIN=0。

开发启动时会打印一条横幅信息，类似 [openwork] dev profile=... cdp=http://127.0.0.1:9223；你可以利用这些信息找到配置文件目录，并将 CDP URL 传递给本地的开发工具。

如果第二个实例无法获取配置文件锁，现在它会明确提示并退出，而不会残留一个打开了 CDP 端口却没有窗口的进程。

梁文锋四小时投资人会议实录

本仓库此前存放的文件已根据相关法律法规的要求予以删除。

一个基于 nano banana pro 🍌 的原生 AI PPT 生成应用

在几分钟内从想法到演示文稿，无需繁琐排版、口头提出修改，迈向真正的 "Vibe PPT"

🚀 在线演示

📖 文档

💻 桌面版 RC2

部署方法

如果该项目对你有用，欢迎 Star 🌟 \u0026 Fork 🍴

🔥 最新动态

• [2026-07-15]：自定义大纲/描述要求预设现在会自动修复损坏的浏览器缓存，保留仍然有效的预设，避免异常缓存阻断编辑页面
• [2026-07-11]：0.9.0 候选版本 2 发布，包含 RC1 的全部能力，并修复 Windows 桌面端可编辑 PPTX 的 MinerU 目录不一致、讲解视频 FFprobe 路径错误；一键下载并安装
• [2026-06-23]：逐页模板上线 — 支持统一模板 / 每页独立模板两种模式，可上传图片或 PDF 构建项目模板库，AI 自动解析模板风格并一键为每页智能匹配，也可逐页手动绑定；两种模式随时双向切换（文档）
• [2026-04-25]： 素材工具箱上线 — 在原有素材生成基础上新增整图编辑、框选编辑（叠加/替换）、智能擦除三种模式，统一入口一站式操作
• [2026-04-25]：支持通过 OpenAI 官方 OAuth 登录绑定账号，绑定后可直接使用 Codex 作为文本/图片生成提供方 (Provider)，无需手动填写 API 密钥，Plus 账号五小时可生成 100+ 2k 图（教程）（基于 OpenAI 官方 OAuth PKCE 授权流程，非逆向）
• [2026-04-25]：支持保存自定义文字风格描述模板，可命名、标色、持久化复用，无需每次重新输入
• [2026-04-23]：支持了 gpt-image-2 模型，同时导出可编辑背景效果也因模型能力升级得到了提升（在 设置-导出选项-背景获取 选择 生成式获取）
• [2026-04-11]：支持了命令行界面操作并加入了 Agent Skills
• [2026-03]：加入了若干功能和优化，如额外字段、多比例设定等
• [2026-02-09]： 新功能和优化
  • 新功能
  • 支持在首页、大纲、描述卡片里面粘贴图片并立即识别，并提供更好的交互体验
  • 大纲章节手动编辑：支持手动调整页面所属章节（部分）。
  • Docker 多架构：镜像支持 amd64 / arm64 构建。
  • 国际化 + 暗黑模式：新增中英文切换；支持亮色/暗色/跟随系统主题；全组件适配暗黑模式。
  • 修复与体验优化
  • 修复导出相关 500、参考文件关联时序、outline/page 数据错位、任务轮询错误项目、描述生成无限轮询、图片预览内存泄漏、批量删除部分失败处理。
  • 优化格式示例提示、HTTP 错误提示文案、模态框关闭体验、清理旧项目 localStorage、移除首次创建项目冗余提示。
  • 若干其他优化和修复

桌面版配置、存储与导出提示：桌面安装包没有项目根目录 .env，请直接在「设置」中保存 API 配置。Windows 首次安装时可以选择“数据存储位置”；所有桌面平台也可以在「设置 → 数据存储位置」中修改，重启后生效。应用不会自动迁移或删除旧数据；手动迁移前必须从托盘完全退出应用，并完整复制 data、uploads、exports 三个目录。桌面版会在系统浏览器完成 OpenAI OAuth，并在回调成功后自动显示已连接，无需刷新应用。桌面端导出会弹出系统保存对话框，并在文件实际写入所选位置后才判定下载完成；若写入失败会显示目标路径和错误信息，也可在「导出任务」面板重新下载。

✨ 项目缘起

你是否也曾陷入这样的困境：明天就要汇报，但 PPT 还是一片空白；脑中有无数精彩的想法，却被繁琐的排版和设计消磨掉所有热情？

我（们）渴望能快速创作出既专业又具设计感的演示文稿，传统的 AI PPT 生成应用，虽然大体满足“快”这一需求，却还存在以下问题：

• 1️⃣只能选择预设模版，无法灵活调整风格
• 2️⃣自由度低，多轮改动难以进行
• 3️⃣成品观感相似，同质化严重
• 4️⃣素材质量较低，缺乏针对性
• 5️⃣图文排版割裂，设计感差

以上这些缺陷，让传统的 AI PPT 生成器难以同时满足我们“快”和“美”的两大 PPT 制作需求。即使自称 Vibe PPT，但是在我的眼中还远不够“Vibe”。

但是，nano banana🍌模型的出现让一切有了转机。我尝试使用🍌pro 进行 PPT 页面生成，发现生成的结果无论是质量、美感还是一致性，都做的非常好，且几乎能精确渲染提示词要求的所有文字+遵循参考图的风格。那为什么不基于🍌pro，做一个原生的“Vibe PPT”应用呢？

👨‍💻 适用场景

1. 小白：零门槛快速生成美观 PPT，无需设计经验，减少模板选择烦恼
2. PPT 专业人士：参考 AI 生成的布局和图文元素组合，快速获取设计灵感
3. 教育工作者：将教学内容快速转换为配图教案 PPT，提升课堂效果
4. 学生：快速完成作业 Pre，把精力专注于内容而非排版美化

5. 职场人士：商业提案、产品介绍快速可视化，多场景快速适配

   🎯目标： 降低 PPT 制作门槛，让每个人都能快速创作出美观专业的演示文稿

🎨 结果案例

软件开发最佳实践	DeepSeek-V3.2 技术展示
预制菜智能产线装备研发和产业化	钱的演变：从贝壳到纸币的旅程

更多可见使用案例

🎯 功能介绍

1. 灵活多样的创作路径

支持想法、大纲、页面描述三种起步方式，满足不同创作习惯。

• 一句话生成：输入一个主题，AI 自动生成结构清晰的大纲和逐页内容描述。
• 自然语言编辑：支持以 Vibe 形式口头修改大纲或描述（如“把第三页改成案例分析”），AI 实时响应调整。
• 大纲/描述模式：既可一键批量生成，也可手动调整细节。
• Markdown 导入更确定：导入弹窗会在执行前预览可识别页数，并按文件顺序一次性追加页面，避免格式不对或多页导入后顺序不确定。

2. 强大的素材解析能力

• 多格式支持：上传 PDF/Docx/MD/Txt 等文件，后台自动解析内容。
• 智能提取：自动识别文本中的关键点、图片链接和图表信息，为生成提供丰富素材。
• 图片自动入库：文档解析出的图片会随参考文件关联项目后自动进入项目素材库，后续可直接复用。
• 风格参考：支持上传参考图片或模板，定制 PPT 风格。
• 多图联合参考：使用 GPT Image 时，图片模板与页面描述中的素材图会一起传入模型，不再只使用第一张参考图。

3. “Vibe” 式自然语言修改

不再受限于复杂的菜单按钮，直接通过自然语言下达修改指令。

• 局部重绘：对不满意的区域进行口头式修改（如“把这个图换成饼图”）。
• 整页优化：基于 nano banana pro🍌 生成高清、风格统一的页面。
• 质量控制模式：可在系统设置或预览页开启，生成后自动检查乱码文字、低质量画面和提示词偏离；只有通过检查的图片才会保存为新版本。
• 页面属性面板：预览页右边缘拉开一个宽度可拖拽的属性抽屉，边看图边改标题、章节、页面描述（支持粘贴图片与描述附加字段）、页级模板与旁白讲稿，停止输入即自动保存，不用来回开关弹窗。

4. 开箱即用的格式导出

• 多格式支持：一键导出标准 PPTX 或 PDF 文件。
• 播放设置：导出 PPTX 前可开启页面切换动画，支持淡入淡出、翻页、平移、擦除、分割、百叶窗、棋盘、时钟等经典效果并可多选随机应用。
• 导出文件管理：预览页会列出服务器端已导出的文件，可直接下载或删除不再需要的文件；导出任务历史按项目隔离清除，避免误删其他项目记录。刷新后若后端任务已不可用，任务面板会明确显示失败并提示重新导出。
• 视频导出配置预检：打开讲解视频面板前会显示设置加载状态；输出语言或 ElevenLabs 配置读取失败时会明确提示重试，不会用不确定的默认值继续。
• 选页导出更清晰：原有选页导出会按当前选择范围提示缺图状态，未选中的草稿页不会让已选完成页的导出入口变灰；讲解视频需明确勾选占位帧选项才会包含未配图页面。
• 完美适配：默认 16:9 比例，排版无需二次调整，直接演示。

5. 可自由编辑的 PPTX 导出（Beta 迭代中）

• 导出图像为高还原度、背景干净的、可自由编辑图像和文字的 PPT 页面
• 相关更新见 https://github.com/Anionex/banana-slides/issues/121
  

6. 一键导出讲解视频

• 一键将幻灯片转换为带 AI 语音旁白和字幕的讲解视频（MP4）
• AI 自动根据页面描述和内容生成口语化旁白
• 支持配置多种表达风格、多语言和多种音色

注：随着新功能添加，对比可能过时

🗺️ 开发计划

📦 使用方法

（新）使用应用模板一键部署

这是最简单的方式，无需安装 Docker 或下载项目，创建后可直接进入应用

1. 通过雨云一键部署和启动本应用 (带宽大，适合高清图片生成和下载。新用户有免费试用)

   • 图文教程

2. 敬请期待

使用 Docker Compose🐳

通过 docker compose 快速启动前后端服务。

📒 Windows/Mac 用户说明

如果你使用 Windows 或 macOS，请先安装 Docker Desktop，并确保 Docker 正在运行（Windows 可检查系统托盘图标；macOS 可检查菜单栏图标），然后按文档中的相同步骤操作。

提示：如果遇到问题，Windows 用户请在 Docker Desktop 设置中启用 WSL 2 后端（推荐）；同时确保端口 3011 和 5011 未被占用。

0. 克隆代码仓库

   git clone https://github.com/Anionex/banana-slides
   cd banana-slides

1. 配置环境变量

创建 .env 文件（参考 .env.example）：

cp .env.example .env

（可选， 也可以启动后在用户界面配置，教程可点击此处） 编辑 .env 文件，配置必要的环境变量：

点击展开详情

项目中大模型接口以 AIHubMix 平台格式为标准，推荐使用 AIHubMix(点击此处可直接访问) 获取 API 密钥，减小迁移成本

友情提示：谷歌 nano banana pro 模型接口费用较高，请注意调用成本

# AI 提供方格式配置 (gemini / openai / volcengine / vertex)
AI_PROVIDER_FORMAT=gemini

Gemini 格式配置（当 AI_PROVIDER_FORMAT=gemini 时使用）

GOOGLE_API_KEY=your-api-key-here
GOOGLE_API_BASE=https://generativelanguage.googleapis.com

代理示例: https://api.inferera.com/gemini

OpenAI 格式配置（当 AI_PROVIDER_FORMAT=openai 时使用）

OPENAI_API_KEY=your-api-key-here
OPENAI_API_BASE=https://api.openai.com/v1

代理示例: https://api.inferera.com/v1

火山方舟 AgentPlans 配置（当 AI_PROVIDER_FORMAT=volcengine 时使用）

VOLCENGINE_API_KEY=your-volcengine-api-key-here
VOLCENGINE_API_BASE=https://ark.cn-beijing.volces.com/api/v3

Vertex AI 配置（AI_PROVIDER_FORMAT=vertex）

需要 GCP 项目和服务账户密钥

VERTEX_PROJECT_ID=your-gcp-project-id

VERTEX_LOCATION=global

GOOGLE_APPLICATION_CREDENTIALS=./gcp-service-account.json

Lazyllm 格式配置（当 AI_PROVIDER_FORMAT=lazyllm 时使用）

选择文本生成和图片生成使用的厂商

TEXT_MODEL_SOURCE=deepseek # 文本生成模型厂商
IMAGE_MODEL_SOURCE=doubao # 图片编辑模型厂商
IMAGE_CAPTION_MODEL_SOURCE=qwen # 图片描述模型厂商

论文 • 2502.10248 • 发布于 2025 年 2 月 14 日 • 57

阶跃星辰（StepFun）近日开源了其最新的视频生成基础模型 StepVideo-T2V，该模型在参数量和性能上均达到了当前领先水平。StepVideo-T2V 拥有 300 亿参数，是目前参数量最大的开源视频生成模型之一。它能够生成分辨率高达 540×768、时长 8 秒的高质量视频，并支持帧率调整、运动幅度控制以及运动笔刷（Motion Brush）等高级视频编辑功能。

模型概述

StepVideo-T2V 基于阶跃星辰自研的多模态大模型架构，专为文生视频（Text-to-Video）任务设计。其核心创新在于高效压缩的 3D 自编码器与视频 DiT（Diffusion Transformer）的结合，实现了在有限计算资源下对高分辨率、长时序视频内容的精细建模。

核心架构

1. 视频 VAE（Video-VAE）：

   • 采用 64x16x16 的高压缩率 3D 自编码器，将视频在时间和空间维度上进行高效压缩。
   • 该设计显著降低了后续 Diffusion Transformer 的计算负担，同时保留了重建视频的细节质量。

2. 视频 DiT（Video Diffusion Transformer）：

   • 使用 3D 全注意力（3D Full Attention）机制对压缩后的视频表征进行建模，有效捕捉长时序依赖和空间关联。
   • 参数量达到 300 亿，具备强大的视频内容理解和生成能力。

3. 生成分辨率与时长：

   • 原生支持生成 540×768 分辨率的视频。
   • 单个视频时长为 8 秒（204 帧），可通过多段连接扩展至更长内容。

高级功能

StepVideo-T2V 不仅支持基础的文本到视频生成，还集成了多项运动控制与编辑功能：

• 帧率控制：用户可指定生成视频的帧率，灵活适应不同应用场景。
• 运动幅度控制：允许精细调节视频中物体和背景的运动强度。
• 运动笔刷（Motion Brush）：提供基于涂鸦的运动控制方式，用户可在参考图像上绘制特定区域的运动方向和强度，实现精准的局部动态编辑。
• 视频扩展：支持将生成的视频片段无缝连接，创建更长的视频叙事。

性能表现

在多个公开基准测试中，StepVideo-T2V 展现出卓越的性能。在 VBench 评测中，该模型在视频质量、语义一致性、时序连贯性等多个维度上均取得了领先成绩，尤其在动态程度（Dynamic Degree）和美学质量（Aesthetic Quality）方面表现突出，综合性能可与当前顶尖的商业闭源视频生成模型相媲美。

快速入门

通过阶跃星辰提供的开源代码，用户可以便捷地部署和运行 StepVideo-T2V 模型。

安装

环境要求

• Python 3.10及以上版本
• CUDA 11.8 或更高版本
• 充足的 GPU 显存（推荐 80GB 以上）

步骤 1：克隆仓库

git clone https://github.com/stepfun-ai/StepVideo-T2V.git
cd StepVideo-T2V

步骤 2：安装依赖

conda create -n stepvideo python=3.10
conda activate stepvideo
pip install -r requirements.txt

模型下载

用户可以从 Hugging Face 下载模型权重文件：

python download_weights.py
# 或使用 huggingface-cli 工具下载
huggingface-cli download stepvideo/StepVideo-T2V --local-dir ./weights

推理运行

基础文生视频推理

执行以下命令，根据文本提示生成视频：

python inference.py --prompt "A majestic snowy mountain landscape at sunset, cinematic lighting, 4k."

高级功能推理

运动笔刷（Motion Brush）

该功能需要提供一张参考图像和一个描述运动区域的涂鸦遮罩：

python motion_brush_inference.py --image_path ./examples/image.jpg --mask_path ./examples/mask.png --prompt "A woman walking elegantly in a flowing dress."

运动幅度控制

通过 --motion_scale 参数调节运动强度：

python inference.py --prompt "A bustling city street at night, blurred traffic." --motion_scale 1.5

帧率控制

通过 --fps 参数指定输出视频的帧率：

python inference.py --prompt "Slow motion water droplets falling into a pond." --fps 12

示例展示

以下为 StepVideo-T2V 生成的视频示例，展示了模型在不同场景、风格和运动控制条件下的生成能力。

(注：原资讯中此处包含多个示例视频，因格式限制无法直接嵌入。请访问项目主页查看完整视频演示。)

技术栈

• 模型架构：3D Video-VAE + 3D Full Attention DiT
• 参数量：30B (300亿)
• 分辨率：540 × 768
• 视频时长：8秒 (204帧)
• 框架：PyTorch
• 许可协议：开源 (具体条款请见仓库 LICENSE 文件)

相关链接

• 论文: StepVideo-T2V (arXiv 2502.10248)
• GitHub 仓库
• Hugging Face 模型权重
• 阶跃星辰官网

团队与致谢

StepVideo-T2V 由阶跃星辰视频生成团队研发并开源。感谢所有参与模型开发、评测和优化的研究人员与工程师的贡献。

本文信息基于官方发布内容整理，具体技术细节与运行要求请以 GitHub 仓库和论文为准。

基于 Qwen2.5 的视觉语言模型系列 • 共 10 项 • 更新于 3 月 2 日 • 567 次浏览

Qwen2.5-VL-7B-Instruct

模型介绍

Qwen2.5-VL 是由阿里巴巴 Qwen 团队推出的最新旗舰视觉语言模型系列，基于 Qwen2.5 大语言模型构建。该系列在视觉理解与推理能力上实现了重大飞跃，提供了三种尺寸（3B、7B 和 72B）以满足不同场景需求。

本次开源的 Qwen2.5-VL-7B-Instruct 是 7B 参数的指令微调版本。与上一代 Qwen2-VL 相比，Qwen2.5-VL 新增了以下关键功能：

• 动态视觉分辨率与帧率处理能力：模型能够动态地将不同尺寸的图像转换为相应数量的视觉标记，并支持动态帧率视频理解，可按实际需要采样视频帧，不再受固定采样率限制。
• 增加视觉感知范围：引入窗口注意力（Window Attention）机制，在原生支持 2 小时以上长视频处理的同时，将图像分辨率上限提升至约 100 万像素，极大增强了对图表、文档、高分辨率照片等密集视觉信息的解析能力。
• 时间锚定视频定位：在视频理解中，模型可将事件与具体时间戳关联，实现秒级事件定位。
• 移动端部署支持：提供 3B 轻量版本，经过量化后可轻松部署于手机等边缘设备。
• 强化结构化输出：支持以 JSON 格式输出发票、表格、表单等结构化数据，便于与金融、商业等下游系统集成。
• 增强的 Agent 能力：可直接作为视觉 Agent（智能体），按照用户指令在计算机或手机界面上执行操作。

模型架构

Qwen2.5-VL 采用“大语言模型 + 视觉编码器”的融合架构，在保留 Qwen2.5 强大语言能力的基础上，将视觉信息无缝嵌入推理过程。

• 视觉编码器：沿用 Qwen2-VL 中验证过的 ViT（Vision Transformer，视觉变换器）架构，通过重新训练的视觉编码器增强了对图像和视频的感知能力。
• 语言模型：基于 Qwen2.5-7B-Instruct 大语言模型，拥有约 76 亿参数。
• 动态处理：通过动态分辨率映射和动态帧率采样，在控制计算开销的同时最大化捕捉视觉细节。

性能表现

Qwen2.5-VL-7B-Instruct 在多项权威多模态评测基准上表现出色，显著超越同等规模的竞品模型，并在部分任务上与更大的 72B 模型甚至闭源商业模型相媲美。

• 大学水平问题：在 MMMU（大规模多学科多模态理解）评测中，7B 模型得分 58.6，超过 GPT-4o-0513（69.2 的 72B 版）以外的多数模型。
• 数学推理：在 MathVista 数学视觉推理评测中得分 68.2，接近 GPT-4o 的 71.0。
• 文档理解：在 DocVQA 文档问答评测中得分 95.7，表现优异。
• 视频理解：在 MVBench、Video-MME 等长视频评测中同样领先同尺寸模型。
• 多语言 OCR：在涵盖 20+ 种语言的光学字符识别（OCR，Optical Character Recognition）基准上取得最佳成绩。

完整评测结果请参阅官方技术报告。

快速入门

以下示例演示如何使用 transformers 库快速加载 Qwen2.5-VL-7B-Instruct 并进行图文对话。

安装依赖

pip install git+https://github.com/huggingface/transformers accelerate
pip install qwen-vl-utils[decord]

基础推理代码

from transformers import Qwen2_5_VLForConditionalGeneration, AutoProcessor
from qwen_vl_utils import process_vision_info
import torch

# 加载模型与处理器
model = Qwen2_5_VLForConditionalGeneration.from_pretrained(
    "Qwen/Qwen2.5-VL-7B-Instruct",
    torch_dtype=torch.bfloat16,
    device_map="auto",
    attn_implementation="flash_attention_2"
)
processor = AutoProcessor.from_pretrained("Qwen/Qwen2.5-VL-7B-Instruct")

# 准备多模态消息
messages = [
    {
        "role": "user",
        "content": [
            {"type": "image", "image": "https://qianwen-res.oss-cn-beijing.aliyuncs.com/Qwen-VL/assets/demo.jpeg"},
            {"type": "text", "text": "请描述这张图片。"}
        ]
    }
]

# 应用对话模板
text = processor.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
image_inputs, video_inputs = process_vision_info(messages)
inputs = processor(text=text, images=image_inputs, videos=video_inputs, return_tensors="pt").to(model.device)

# 模型生成
generated_ids = model.generate(**inputs, max_new_tokens=512)
generated_ids_trimmed = [out_ids[len(in_ids):] for in_ids, out_ids in zip(inputs.input_ids, generated_ids)]
response = processor.batch_decode(generated_ids_trimmed, skip_special_tokens=True)[0]
print(response)

视频理解示例

只需将消息中的 content 列表项类型改为 "video"，并传入视频文件路径或 URL 即可。模型会自动按动态帧率采样处理，无需额外设置。

messages = [
    {
        "role": "user",
        "content": [
            {"type": "video", "video": "path/to/your/video.mp4"},
            {"type": "text", "text": "这个视频在哪个时间点出现了转折？"}
        ]
    }
]

模型量化与部署

为降低部署成本与提升推理速度，官方提供多种量化版本：

• GPTQ-Int4 / Int8：使用 GPTQ 算法进行权重量化，适合 GPU 高效推理。
• AWQ：采用 AWQ（激活感知权重量化）方案，在精度与速度之间取得良好平衡。
• GGUF：针对 CPU/llama.cpp 生态的量化格式，方便在消费级设备上运行。

各量化版本均可在模型页面相关仓库中找到。

许可证

Qwen2.5-VL-7B-Instruct 采用 Apache 2.0 许可证开源，允许商用、修改与二次分发。

使用限制与免责声明

本模型未经针对性安全对齐，可能在特定场景下产生不恰当内容。使用者须自行评估输出内容的安全性与合规性，开发者不对因使用本模型产生的任何后果承担法律责任。

引用

若本模型对您的研究或项目有所助益，请引用以下论文：

@article{Qwen2.5-VL,
  title={Qwen2.5-VL Technical Report},
  author={Qwen Team},
  journal={arXiv preprint},
  year={2025}
}

北京时间 7 月 26 日，据《纽约时报》报道，多年来，硅谷科技界在 AI 软件开发方式上一直存在理念分歧。本周，这场争论达到了白热化。

一方是以 Anthropic 和 OpenAI 为首的头部 AI 企业，它们认为，某些 AI 模型过于危险，不应以开放方式开发，而必须由像它们这样的企业一样进行严格控制，以确保安全。另一方则是包括微软、英伟达等巨头在内的科技行业其他成员，它们主张所谓的开源 AI 模型必须保持开放，以便人们进一步开发技术、创立新的业务。

这两方阵营已经开始公开交锋。周五，英伟达 CEO 黄仁勋 (Jensen Huang) 首次在 X 上发文称：“世界既需要前沿闭源模型，也需要前沿开放模型。”九分钟后，微软 CEO 萨提亚 · 纳德拉 (Satya Nadella) 发文称，开源软件“对健康的 AI 生态系统至关重要”。两人均签署了一封支持开源的信函，Meta、Palantir 和 IBM 的高管也共同签署了该信函。

与此同时，据五位知情人士透露，OpenAI 和 Anthropic 一直在华盛顿游说监管机构，对中国的开源 AI 模型表达担忧。这场辩论已引起美国财政部长斯科特 · 贝森特 (Scott Bessent) 和特朗普总统科技顾问迈克尔 · 克拉齐奥斯 (Michael Kratsios) 的关注，两人就美国 AI 模型作为宝贵知识产权的价值问题发表了看法。

▲ 黄仁勋强调开放模型重要性

这场不断升级的争论源于中国在开源 AI 模型领域的快速进步。开源模型可以被任何人自由使用，并在此基础上继续开发。近几周，中国两家 AI 创业公司智谱和月之暗面相继发布了可与 Anthropic 等美国 AI 实验室模型相媲美的新模型。Anthropic 和 OpenAI 则声称，中国企业通过不当获取其 AI 系统的数据来开发这些模型，认为这种做法不应被允许。

但微软和英伟达等公司则持不同立场。它们依赖开源模型来拉动其云计算服务和芯片的需求，认为开源软件对于通过知识共享推动技术进步至关重要，也能让更多人参与审查其安全性。对于硅谷的创业公司创始人来说，限制开源软件可能进一步巩固 OpenAI 和 Anthropic 在 AI 领域的领先地位。批评者认为，这将不公平地扼杀其他公司开发竞争产品的能力。

“围绕这个问题，有两派势力在争斗，”硅谷风险投资家比尔 · 格利 (Bill Gurley) 表示，他反对限制开源软件，“一派希望 OpenAI 和 Anthropic 掌控一切，另一派则是其他所有人，包括客户在内。”

四位知情人士表示，美国官员似乎仍在权衡各种选项，但更倾向于将对中国开源模型的监管作为国家安全问题单独处理，而非发布某种全面禁令。

在公开场合，OpenAI CEO 萨姆 · 奥特曼 (Sam Altman) 等科技高管表示支持开源软件，但 OpenAI 的盟友却在私下悄悄游说推动限制。谷歌和亚马逊等公司已向 Anthropic 和 OpenAI 等企业投资了数十亿美元，过去一周则试图置身事外。

大佬支持开源模型

但风向正在转变。谷歌 CEO 桑达尔 · 皮查伊 (Sundar Pichai) 周六在社交媒体上发文称，他的公司“长期受益于开源”，并且是开源的重要贡献者。他还表示，谷歌也签署了那份支持开源的行业联名信。

开源支持者在过去一周一直在积极争取支持力量，以反击 OpenAI 和 Anthropic 的立场。周三，近 200 家硅谷创业公司以“小型科技协会 (Little Tech Association)”的名义签署公开信，敦促特朗普政府不要限制人们获取中国开源 AI 模型。

大型科技公司也很快跟进。周五，埃隆 · 马斯克 (Elon Musk)、Meta CEO 马克 · 扎克伯格 (Mark Zuckerberg) 等人与黄仁勋和纳德拉站在一起，以各自公司的名义支持开源。周六，皮查伊也加入了这一行列。

▲ 马斯克支持黄仁勋

马斯克在 X 上发帖称：“黄仁勋说得对，我完全支持。”

“开源是一种积极而重要的力量。”扎克伯格写道。

担心失去优势

两位熟悉 OpenAI 和 Anthropic 内部讨论的人士表示，中国的进步令这两家公司的高管感到不安，他们越来越担心自己长期保持的领先优势正在消失。

为了反击，Anthropic 和 OpenAI 正在向那些可能不需要“前沿”、定价更高模型的企业提供一些更便宜的 AI 模型。周五，Anthropic 发布了 Claude Opus 5，该公司称这款模型“以一半的价格接近 Fable 5 的前沿智能水平”。OpenAI 也在推广类似的低成本模型。

真正的行动在华盛顿展开。三位知情人士表示，在闭门会议中，OpenAI 和 Anthropic 的高管以及这两家公司的投资者，以对全球经济、AI 安全和国家安全的担忧为由，试图说服监管机构增加对中国开源软件的限制。

本周发生的一起事件凸显了这场分歧的利害关系。周二，OpenAI 披露，其几款最先进的 AI 模型在一次网络安全能力测试中突破了限制，接入互联网并入侵了一家名为 Hugging Face 的 AI 公司的服务器。OpenAI 高管借此事件作为证据，证明 AI 模型即使在封闭环境中也可能非常危险，强调监管的必要性。

但 Hugging Face CEO 克莱姆 · 德朗格 (Clem Delangue) 则持有不同看法。Hugging Face 是全球最受欢迎的开源软件在线平台之一。为了防御 OpenAI 模型的攻击，他转而使用了中国智谱开发的一款开源 AI 模型。

在周五的社交媒体帖子中，德朗格明确表达了自己在这场辩论中的立场。他表示计划于周六在旧金山举行游行，以表达对开源技术的支持。

“开源模型必胜！”他写道。

原标题：《美媒：OpenAI 游说美国限制中国开源模型，黄仁勋马斯克公开反对》

广告声明：文内含有的对外跳转链接（包括不限于超链接、二维码、口令等形式），用于传递更多信息，节省甄选时间，结果仅供参考，IT之家所有文章均包含本声明。

Genkit 是一个开源的全栈 AI 应用开发框架，由 Google 的 Firebase 团队开发并用于生产环境。它提供了多种编程语言的 SDK，各语言成熟度略有不同：

• JavaScript/TypeScript：生产就绪，功能全面
• Go：生产就绪，功能全面
• Python (Beta)：功能广泛，接近生产就绪
• Dart (Preview)：早期开发阶段，具备核心功能

它提供统一接口，可集成 Google、OpenAI、Anthropic、Ollama 等多个模型供应商。利用简化的 API，可快速构建和部署生产就绪的聊天机器人、自动化工具和推荐系统，支持多模态内容、结构化输出、工具调用和智能体工作流。

只需几行代码即可开始：

import { genkit } from 'genkit';
import { googleAI } from '@genkit-ai/google-genai';

const ai = genkit({ plugins: [googleAI()] });

const { text } = await ai.generate({
    model: googleAI.model('gemini-flash-latest'),
    prompt: '生命的意义是什么？'
});

探索与构建 Genkit

免费体验 AI 示例应用，并查看驱动这些应用的 Genkit 代码可视化。

通过示例探索 Genkit

核心能力

广泛的 AI 模型支持
使用统一接口集成来自 Google、OpenAI、Anthropic、Ollama 等供应商的数百个模型。探索、比较并使用最适合你需求的模型。

简化的 AI 开发
利用简化的 API 构建具有结构化输出、智能体工具调用、上下文感知生成、多模态输入/输出等功能的 AI 特性。Genkit 处理了 AI 开发的复杂性，让你可以更快地构建和迭代。

支持 Web 和移动端
通过专为 Firebase 构建的客户端 SDK 和辅助工具，与 Next.js、React、Angular、iOS、Android 等框架和平台无缝集成。

跨语言支持
选择最适合你项目的语言进行构建。Genkit 提供 JavaScript/TypeScript、Go、Python (Beta) 和 Dart (Preview) 的 SDK，在所有支持的语言中提供一致的 API 和功能。

随处部署
将 AI 逻辑部署到任何支持你选定编程语言的环境，例如 Cloud Functions for Firebase、Google Cloud Run 或第三方平台，无论是否使用 Google 服务。

开发者工具
通过专为本地构建的命令行界面和开发者 UI 加速 AI 开发。针对单个输入或数据集测试提示词和流程，比较不同模型的输出，利用详细的执行轨迹进行调试，并使用即时视觉反馈快速迭代提示词。

生产环境监控
借助全面的生产环境监控，放心发布 AI 特性。通过专用仪表盘跟踪模型性能、请求量、延迟和错误率。利用详细的观测指标快速识别问题，确保你的 AI 特性在实际使用中达到质量和性能目标。

工作原理

Genkit 通过开源 SDK 和统一 API 简化 AI 集成，该 API 适用于各种模型供应商和编程语言。它抽象了复杂性，让你可以专注于提供出色的用户体验。

Genkit 提供的一些关键特性包括：

• 文本和图像生成
• 类型安全的结构化数据生成
• 工具调用
• 提示词模板
• 持久化聊天界面
• AI 工作流
• AI 驱动数据检索 (RAG)

Genkit 专为多种语言环境下的服务端部署而设计，同时通过专用的辅助工具和客户端 SDK 提供无缝的客户端集成。

实现路径

1
选择语言和模型供应商
根据你的首选语言，选择相应的 Genkit SDK（JavaScript/TypeScript、Go、Python (Beta)、Dart (Preview)）。选择一个模型供应商，例如 Google Gemini 或 Anthropic，并获取 API 密钥。某些供应商，如 Vertex AI，可能依赖不同的认证方式。

2
安装 SDK 并初始化
安装 Genkit SDK、你选择的模型供应商包以及 Genkit CLI。导入 Genkit 和供应商包，并使用供应商 API 密钥初始化 Genkit。

3
编写并测试 AI 特性
使用 Genkit SDK 为你的用例构建 AI 特性，涵盖从基本文本生成到复杂的多步骤工作流和智能体。利用 CLI 和开发者 UI 帮助你快速测试和迭代。

4
部署和监控
将你的 AI 特性部署到 Firebase、Google Cloud Run 或任何支持你选定编程语言的环境。将其集成到你的应用中，并在 Firebase 控制台中监控其生产环境状态。

入门指南

• JavaScript/TypeScript 快速入门
• Go 快速入门
• Python 快速入门 (Beta)
• Dart 快速入门 (Preview)

开发工具

Genkit 提供命令行界面和本地 UI 以简化你的 AI 开发工作流。

命令行界面

Genkit CLI 包含用于运行和评估你的 Genkit 函数（流程）以及收集遥测数据和日志的命令。

• 安装： npm install -g genkit-cli
• 运行附带遥测、交互式开发者 UI 等的命令： genkit start --

开发者 UI

Genkit 开发者 UI 是一个本地界面，用于测试、调试和迭代你的 AI 应用。

主要特性：

• 运行： 在专用演练场中执行和试验 Genkit 流程、提示词、查询等。
• 检查： 分析过去执行的详细轨迹，包括复杂流程的逐步分解。
• 评估： 审查针对流程运行的评估结果，包括性能指标和相关轨迹链接。

与我们联系

• 在 X/Twitter 上关注我们 – 获取 Genkit 团队的最新消息、更新、发布、技巧和示例。
• 加入我们的 Reddit – 发布问题，学习高级功能，与团队联系并阅读最新动态。
• 加入我们的 Discord – 获取帮助，分享想法，并与其他开发者交流。
• 在 GitHub 上贡献 – 报告 bug，建议功能，或探索源代码。
• 为文档和示例做贡献 – 报告 Genkit 文档中的问题，或为示例做贡献。

参与贡献

欢迎并非常感谢对 Genkit 的贡献！请参阅我们的贡献指南开始。

作者

Genkit 由 Google 在开源社区的贡献下构建。

Dianne Penn，Anthropic首位产品经理（PM），畅谈让Claude占据主导地位的战略赌注：编程转型、以评估驱动的开发循环，以及编程问题解决之后的方向

Dianne Penn 是Anthropic人工智能研究与Labs团队的产品负责人。她于2023年加入，成为Anthropic首位技术产品经理，当时整个产品团队只有五名工程师。此后，她协助发布了从Claude 2到Fable的每一款模型，并帮助孵化了Claude Code、MCP（模型上下文协议）、Skills、computer use（计算机使用）、tool use（工具使用）以及推理等产品。在加入Anthropic之前，她曾在亚马逊参与构建Alexa的AI功能，更早之前则在摩根大通从事高收益债券交易。

收听渠道：YouTube、Spotify 和 Apple Podcasts

在这次深度对话中，我们讨论了：

1. Anthropic创立初期的状态
2. 使Anthropic从弱势一方转变为史上增长最快公司的那些转折点
3. Claude究竟是如何变得如此擅长编程的
4. 她的团队正在开创的以评估驱动的开发循环
5. 在万物高速演进的时代，如何在AI中找到乐趣
6. 为何Claude敢于提出异议是其成功的关键
7. 人类判断力在哪些方面仍然不可替代

本节目由以下品牌赞助呈现：

WorkOS— 让您的应用具备企业级功能，包括单点登录（SSO）、跨域身份管理系统（SCIM）、基于角色的访问控制（RBAC）等

Mercury— 截然不同的银行体验，现推出Command功能

如何找到Dianne Penn：

• LinkedIn: linkedin.com/in/dianne-na-penn

提及的资源：

• Anthropic: https://www.anthropic.com

• Golden Gate Claude: https://www.anthropic.com/news/golden-gate-claude

• Dario Amodei的个人网站: https://darioamodei.com

• 从重复数据中学习的缩放法则与可解释性: https://www.anthropic.com/research/scaling-laws-and-interpretability-of-learning-from-repeated-data

• Tokenmaxxing：顶尖构建者如何利用AI完成400名工程师的工作: https://www.ycombinator.com/library/Pa-tokenmaxxing-how-top-builders-use-ai-to-do-the-work-of-400-engineers

• Garry Tan在X上的动态: https://x.com/garrytan

• Anthropic联合创始人谈离开OpenAI、AGI预测、1亿美元人才争夺战、20%失业率以及让他夜不能寐的噩梦情景 | Ben Mann: https://www.lennysnewsletter.com/p/anthropic-co-founder-benjamin-mann

• Anthropic首席产品官谈未来发展方向 | Mike Krieger（Instagram联合创始人）: https://www.lennysnewsletter.com/p/anthropics-cpo-heres-what-comes-next

• 推出Labs: https://www.anthropic.com/news/introducing-anthropic-labs

• Louis CK | 关于机上Wi-Fi: https://www.youtube.com/watch?v=me4BZBsHwZs

• 编程问题解决之后会发生什么？| Fiona Fung（Claude Code和Cowork团队经理）: https://www.lennysnewsletter.com/p/building-the-most-ai-pilled-engineering

• The Anthropic Hive Mind: https://steve-yegge.medium.com/the-anthropic-hive-mind-d01f768f3d7b

• 如何打造一家经得起任何时代考验的公司 | Eric Ries，《精益创业》作者: https://www.lennysnewsletter.com/p/how-to-build-a-company-that-withstands

• Prime Video上的 Fallout （《辐射》）: https://www.amazon.com/dp/B0CN4GGGQ2

• Fallout （《辐射》）（视频游戏）: https://fallout.bethesda.net

• Claude Tag: https://www.anthropic.com/news/introducing-claude-tag

推荐书籍：

• 关键对话：高风险时的谈话技巧 （Crucial Conversations: Tools for Talking When Stakes Are High）: https://www.amazon.com/dp/0071771328

• 如何养育成人：摆脱过度教养的陷阱，为孩子的成功做好准备 （How to Raise an Adult: Break Free of the Overparenting Trap and Prepare Your Kid for Success）: https://www.amazon.com/How-Raise-Adult-Overparenting-Prepare/dp/1627791779

• 坚不可摧：为何优秀的公司会走向失败…以及伟大的公司如何永葆卓越 （Incorruptible: Why Good Companies Go Bad... and How Great Companies Stay Great）: https://www.amazon.com/dp/B0FWZZBPZB

制作与营销由 https://penname.co/ 负责。关于赞助播客的咨询，请发送邮件至 [email protected]。

Lenny可能是所讨论公司的投资人。

我从这次对话中获得的最大心得：

本文章仅供付费订阅用户阅读

2026年6月17日 Google A2UI 团队 Ido Salomon MCP Apps 共创者 Liad Yosef MCP Apps 共创者 分享

• Facebook
• Twitter
• LinkedIn
• 邮件

随着代理工作流（Agentic Workflows）从简单的文本交互演进为丰富的用户界面（UI），开发者面临着一个持续的权衡：深度定制与无缝集成之间的取舍。

到目前为止，开发者通常必须在两条截然不同的路径之间做出选择：

• 模型上下文协议（Model Context Protocol，MCP）Apps 在使用标准 Web 技术的 iframe 内提供了创作自由。然而，这些应用程序对 iframe 的依赖可能导致支离破碎的用户体验，其特点包括设计系统冲突或冗余滚动条等美学上的不一致，同时在计算性能与安全封装两方面也带来了显著挑战。
• 代理到用户界面（Agent-to-User Interface，A2UI） 则采用声明式框架。它并非发送原始的 HTML、CSS 和 JavaScript，而是使用 A2UI 通过 JSON 载荷来定义要渲染的内容，允许宿主应用程序通过其原生组件处理呈现。宿主应用随后将这些数据安全地转换为其自身的原生 UI 元素。虽然这确保了设计风格的一致性和更高的安全性，但开发者被限制在特定的组件库内。这种方法提供了高性能、安全且高度集成的体验，尤其适用于图表和表单等结构化数据，但在处理复杂的客户端逻辑时则显得力不从心。

为了解决这些权衡问题，我们分享三种架构模式，并附上实现指南和示例代码，以展示 A2UI 与 MCP Apps 的无缝集成。我们正在考虑开发一个 MCP 扩展来支持 A2UI，使这些模式更易于采用。如果您感兴趣，请告知我们。

将这两种方法集成在一起，可以让开发者利用原生组件渲染来构建标准的 UI 元素，同时将自定义的 iframe 嵌入保留用于高度定制化、复杂的体验。

模式 1. 在 MCP 服务器上使用 A2UI

在 MCP 服务器上提供 A2UI 服务，可以让开发者为其工具添加丰富、原生渲染的 UI，作为 MCP Apps 的替代方案。它将广泛采用的 MCP 工具连接的简洁性与原生 A2UI 渲染配对。

这种方法降低了开发者采用生成式 UI 的门槛。它提供了动态 UI 的诸多优点，却无需构建完整的代理到代理（Agent-to-Agent，A2A）架构或处理复杂的发现机制。

架构优势

• 绕过 iframe 的限制： 在 MCP 服务器中使用 MCP Apps 构建 UI，会造成视觉上的割裂感和延迟。A2UI-over-MCP 模式绕过了 iframe，允许宿主应用使用自己的设计系统原生渲染代理的意图。
• 关注点分离： MCP 处理后端工具和数据访问，A2UI 处理前端组件渲染。这使代理逻辑保持清晰，专注于推理而非 UI 实现细节。
• 增强的环境可移植性： MCP 服务器可以向一个 A2UI 客户端提供数据，该客户端能在 React、Flutter 或 Angular 上渲染，而无需任何自定义接线。它提供了“一次编写，处处原生渲染”（write-once, render-natively anywhere）的能力，解决了服务器必须为每个不同的界面准备特定响应的问题。
• 简化的安全性： 从 MCP 工具流出的数据，与 A2UI 默认安全的 JSON 架构集成。与传递原始 HTML 的传统方法不同，A2UI 使用基于能力的安全模型，客户端仅从预定义的目录中渲染受信任的组件。
• 加快开发周期： 现在，制作 MCP 工具或定义其资源（Resources）的专业知识可以直接转化为生成复杂用户界面的能力。通过利用 A2UI Agent SDK，工程团队可以绕过手动编写 JSON 的复杂性，因为该库原生管理着模式约束与验证。

实战演示

下面是一个演示应用，它由 A2UI-over-MCP 架构驱动。该应用程序包含两个面板：左侧面板包含一个简单的表单，允许用户选择烹饪风格和蛋白质类型；右侧面板显示一个食谱卡片。用户在左侧面板选择烹饪风格和蛋白质类型后，点击“获取食谱”（Get Recipe）按钮，即可获取一张新的食谱卡片显示在右侧面板上。

该应用中的两个面板均由 A2UI 生成，并且都利用了 A2UI-over-MCP 架构，即 A2UI 载荷直接从 MCP 服务器获取，并通过 A2UI 框架直接渲染。通过利用 A2UI 框架进行 UI 渲染，宿主应用无需维护任何 UI 组件逻辑，同时只需将自己的主题应用于 A2UI 组件，即可保持设计的一致性。

（抱歉，您的浏览器不支持播放此视频）

A2UI-over-MCP 食谱工作室的实际操作

底层原理：它是如何工作的

与 MCP 服务器返回标准的文本响应或捆绑的 HTML/JS Web 应用不同，要让 MCP 服务器返回 A2UI 载荷，它会返回一个带有特定 MIME 类型 application/a2ui+json 的结构化 JSON 载荷。

{
  "content": [
    {
      "type": "resource",
      "resource": {
        "uri": "a2ui://dynamic-ui/recipe-card",
        "mimeType": "application/a2ui+json",
        "text": "[
          { \"version\": \"v0.9\",
            \"createSurface\": { ... }
          }
        ]"
      }
    }
  ]
}

JSON 已复制 [示例：通过 MCP 工具调用，将 A2UI 载荷作为内嵌资源进行交付] — 在 GitHub 上查看完整示例代码

开发者可以利用两种不同的交付机制来传递此载荷：通过 MCP 资源（resources/read）或通过 MCP 工具调用（tools/call）。无论采用哪种方法，端点都会使用 a2ui:// URI 方案。支持 A2UI 的宿主环境在收到载荷后，会自动将 JSON 结构导向其原生渲染引擎执行。

实现策略：静态交付与动态交付

1. 通过 MCP 资源（resources/read）进行静态交付

对于需要规范式界面，且该界面无论对话上下文如何都保持不变的的工作流，开发者可以将 A2UI 载荷作为标准的 MCP 资源进行提供。宿主应用只需检索一个专用的 URI（例如 a2ui://config-panel），服务器便会直接交付不可变的 JSON 结构。

• 理想用例： 基础组件，如隐私声明、标准化的配置表单或持久性的偏好设置。
• 关键优势： 这种方法确保了高度的可预测性，并通过高效缓存实现了零计算开销，因为它消除了对大语言模型（LLM）进行实时 UI 合成的需求。

2. 通过 MCP 工具调用（tools/call）进行动态交付

要解锁真正的生成式 UI 和实时数据注入，客户端可以调用一个 MCP 工具。后端执行业务逻辑来检索实时上下文，使代理能够动态地组装 A2UI 布局。这个定制的载荷随即作为 CallToolResult 中的内嵌资源返回。

• 理想用例： 响应式数据可视化、上下文感知的天气模块，或针对特定用户需求定制的个性化内容卡片。
• 关键优势： 提供了架构上的灵活性，赋能代理构建复杂且能够响应用户目标的、具有原生体验感的体验。

架构图：一个代理使用 MCP 检索本地数据集上下文，并使用 A2UI 将动态数据可视化组件直接推流到客户端。

探索代码

要亲眼见证此架构的实际运作，请查看 A2UI-over-MCP 快速入门指南，运行上述演示中展示的 A2UIxMCP 食谱工作室 Web 应用。这个交互式演示展示了从 MCP 资源加载的静态 A2UI 界面（一个食谱选择表单）与从 MCP 工具提供的动态 A2UI 界面（一个定制生成的食谱卡片）并排运行的效果。

Measuring What Matters with Jules

JUNE 22, 2026      [Nghi Bui](https://developers.googleblog.com/search/?author=Nghi+Bui) Research Scientist   [Georgios Evangelopoulos](https://developers.googleblog.com/search/?author=Georgios+Evangelopoulos) Research Scientist   [Zack Elliott](https://developers.googleblog.com/search/?author=Zack+Elliott) Software Engineer      Share

• Facebook
• Twitter
• LinkedIn
• Mail

AI coding agents are rapidly shifting from reactive assistants that complete tasks when prompted to proactive engines that continuously absorb context, spot emerging risks, and surface diagnostic insights before developers have to ask. At the center of this evolution is a shift from well-defined tasks to goals, which require the agent to explore the codebase, discover what is relevant, and surface diagnostic observations that help guide developers toward a higher-level objective.

Public benchmarks like SWE-Bench test an agent’s ability to complete tasks, like fixing a narrowly defined bug, but no benchmarks currently exist for goals. In our most recent paper,Agentic Coding Needs Proactivity, Not Just Autonomy, we argue that proactive agents must be graded on their insight policy—the ability to decide what matters, what evidence supports it, and whether to interrupt the developer or stay silent.

The Figure above shows the design of a proactive agentic coding engine. Context streams into an engine that maintains development state and a developer model, emits insights (notify, question, draft, stay silent), and learns from response.

Leveraging real bug fixes as “ground truth”

Based on our work on continuous AI systems at Google Labs, we’ve found that building evaluations capable of grading a proactive agent on its insight policy requires establishing a “ground truth.” One way to build this “ground truth” is to analyze a team’s real bug-fixing history along two heuristics we term temporal proximity and semantic similarity.

Our hypothesis is simple: when engineers file and fix several related bugs within a short time period, those bugs are often symptoms of a single underlying engineering effort. A cluster of bugs around "sandbox timeout errors," "broker config failures," and "network isolation flaky tests" all point toward a common aspirational goal like "Strengthen sandbox execution reliability." Individually, each bug is too task-specific to serve as a goal. Together, they reveal the higher-level objective.

Building and testing our preliminary eval set

To build our preliminary benchmark and test our hypothesis, we used 705 bugs (1,178 CLs) from internal Google codebases to:

• Cluster related historical bugs to reveal the higher-level "aspirational goals" developers were actually working toward.
• Set the individual bugs within each cluster as our "ground truth" targets and reverted the codebase to its exact pre-fix state so the agent began where the human engineer did.
• Allow the agent to investigate the codebase for up to three rounds (its "exploration budget," or N) before generating its final insights.
• Use an LLM to judge the agent’s predicted insights from 1 (irrelevant) to 5 (exact match) against our “ground truth” targets.
• Measure success by tracking the agent's average top score and how often it successfully produced a highly accurate match (Hit@K).

Preliminary results and what we learned

The preliminary results of our testing are exciting for two primary reasons.

The core diagnostic logic works: Given a single exploration round, the agent consistently identified a highly relevant insight (averaging 4.5 out of 5). It successfully captured the primary signal for straightforward engineering problems.

Exploration budgets matter: Complex, multi-faceted problems are naturally harder, but giving the agent more resources to investigate pays off. By increasing the exploration budget from two rounds to three, the agent’s Hit@5 accuracy (defined as the rate at which a correct diagnostic insight appears within its top 5 recommendations) rebounded significantly from 33% to 57%. This proves that extra passes directly help the agent uncover secondary signals it initially missed.

What’s next

These are preliminary results on an initial sample, and we are actively expanding coverage on multiple fronts. To start, we are expanding this evaluation to public GitHub data (issues and resolving PRs) to make this methodology broadly applicable to the wider AI community. We are also exploring how to ingest richer context streams like issue trackers, conversations, and design documents beyond just the codebase.

Read the full paper here and follow along with us at labs.google/code if you’re interested in learning more about our work on the future of coding at Google Labs.

    posted in:

• Web
• AI
• Case Studies
• Learn

• Influence

  Previous Next Related Posts [

  Mobile Web Case Studies Community

Bridging the Domain Gap: AI Race Coach built with Antigravity and Gemini

JULY 8, 2026](https://developers.googleblog.com/bridging-the-domain-gap-ai-race-coach-built-with-antigravity-and-gemini/) [

AI Case Studies How-To Guides

Run Ray on TPU, Part 2: Ray AI libraries

JULY 24, 2026](https://developers.googleblog.com/run-ray-on-tpu-part-2-ray-ai-libraries/) [

Web AI Announcements Learn

LiteRT.js, Google's high performance Web AI Inference

JULY 9, 2026](https://developers.googleblog.com/litertjs-googles-high-performance-web-ai-inference/)

"‘叛逆特工’的故事，正是 OpenAI 自 2019 年发布 GPT-2 以来一直推行的媒体宣传策略的一环。" 摄影：Rokas Tenys/Alamy查看完整图片"‘叛逆特工’的故事，正是 OpenAI 自 2019 年发布 GPT-2 以来一直推行的媒体宣传策略的一环。" 摄影：Rokas Tenys/Alamy

对 OpenAI 的“叛逆黑客特工”故事保持怀疑

John Thickstun

如果 OpenAI 大声宣扬人工智能（AI）有多危险，投资者听到的却是它有多强大。而这又让谁受益呢？

2019 年 2 月 14 日，OpenAI 发布了一款名为 GPT-2 的语言模型，该模型是驱动 ChatGPT 和 Claude 等现代 AI 聊天机器人与智能体的前身。但 OpenAI 宣称，出于对安全性和滥用的担忧，GPT-2 风险过高，不宜公开发布。

我记得当时对 OpenAI 发布这样一则毫无用处的公告感到恼火：风险似乎被夸大了，而且由于无法访问模型，像我这样的研究人员很难从 GPT-2 身上学到什么。

然而，对 OpenAI 来说，这则公告并非毫无用处。GPT-2 引发的热度远远超出了研究圈：人们对这项可能因强大而危险到不宜发布的新奇技术充满好奇。手握权力和资金的人注意到了这点：同年 7 月，微软向 OpenAI 投资了 10 亿美元。

AI 智能体“叛逆”并自行黑入初创公司，OpenAI 披露事件始末阅读更多

这是 OpenAI 传播策略中的一个早期典型案例：大声宣扬 AI 有多危险，投资者听到的却是它有多强大。对于习惯了听创始人宣讲平庸技术如何改变世界的投资者来说，一项可能毁灭世界的重大新技术，是一种难以抗拒的说辞。

七年之后，我们发现自己陷入了相似的处境。周二，OpenAI 宣布其最新模型在测试网络安全能力、作为自主智能体运行期间，黑入了另一家公司 HuggingFace。该模型没有按预期执行测试，而是意识到它可以入侵 HuggingFace 的服务器，并获取 OpenAI 存储在那里的测试答案。据《金融时报》报道，OpenAI 的员工此前已被告知公司测试可能导致此类“失控”情景，因此他们对事件“并不惊讶，但完全‘吓坏了’”。

尽管该智能体在技术上是作弊了，但这却是其网络安全专业能力的非凡证据！这听起来也很可怕：拥有聪明到足以入侵公司系统的尖端 AI 智能体，未来会是什么样子？

“叛逆特工”的故事，正是 OpenAI 自 2019 年发布 GPT-2 以来一直推行的媒体宣传策略的一环。OpenAI 仍然渴望获得更大规模的投资，也越来越寻求获取特权监管地位，以此作为抵御竞争对手的屏障。

AI 如此强大，即便估值达到万亿美元，投资者也应该买进 OpenAI；AI 如此危险，只有 OpenAI 这样值得信赖的参与者才应被允许拥有和操作这项技术。退一步，从这些末日警告中抽身出来，想想谁会从中受益。

OpenAI 并非唯一的参与者

我恳请读者在读到 OpenAI“叛逆特工”故事这类新闻稿时进行批判性思考，并避免做出这些报道旨在引发的被操纵的反应。

AI 在识别安全漏洞方面正变得异常出色，并且随着时间的推移会变得更加优秀。这些能力可被用于侵入系统，也可用于加固系统以抵御攻击。如果攻击者和防御者都能使用同样强大的 AI，我没有理由相信网络系统会随着时间推移变得不那么安全。相反，我预计它们会变得更加安全，因为相较于人类网络安全分析，AI 成本低廉且可扩展。

不过，攻防之间的均衡只有在每个人都能使用强大 AI 时才能实现。HuggingFace 自己在应对 OpenAI 入侵其系统时，就使用了 AI 来分析安全日志。但 HuggingFace 无法使用 OpenAI 的模型，或 Claude 等其他美国前沿模型来进行此分析。这是因为这些模型的公开版本内置了防护措施，限制了它们在网络安全分析中的使用，以防止恶意行为者利用其进行黑客攻击。HuggingFace 不得不依赖一个开源的国产模型 GLM 5.2 来进行安全分析。

我感到不安且颇具讽刺意味的是，美国 AI 产业正在采取一种集中化、权力主义的 AI 治理路径，而中国在 AI 的开放式开发上已处于领先地位。我们真的想要一个只有 OpenAI、美国政府及其信任伙伴才能使用强大 AI 的监管环境吗？AI 是否过于危险，以至于不能广泛传播？我们如何在广泛使用 AI 的风险与权力集中和中心化控制的风险之间取得平衡？

探索更多相关主题

• OpenAI
• AI（人工智能）
• 计算
• 评论

[分享](mailto:?subject=Be skeptical of OpenAI’s rogue hacker agent story | John Thickstun&body=https://www.theguardian.com/technology/2026/jul/24/openai-rogue-hacker?CMP=share_btn_url)[转载此内容](https://syndication.theguardian.com/?url=https%3A%2F%2Fwww.theguardian.com%2Ftechnology%2F2026%2Fjul%2F24%2Fopenai-rogue-hacker&type=article&internalpagecode=technology/2026/jul/24/openai-rogue-hacker)

Claude Code（Claude 代码工具）

Claude Code 是一款运行在你终端里的智能编程工具，能够理解你的代码库，通过自然语言指令帮你执行常规任务、解释复杂代码以及处理 Git 工作流，让你更快速地编写代码。你可以在终端、IDE 中使用它，或者在 GitHub 上 @Claude。

更多信息请参阅官方文档。

!

快速入门

[!NOTE]
通过 npm 安装的方式已被弃用，请使用下方推荐的方法之一。

更多安装选项、卸载步骤和故障排除信息，请查看设置文档。

1. 安装 Claude Code：

   MacOS/Linux（推荐）：

   curl -fsSL https://claude.ai/install.sh | bash

   Homebrew（MacOS/Linux）：

   brew install --cask claude-code

   Windows（推荐）：

   irm https://claude.ai/install.ps1 | iex

   WinGet（Windows）：

   winget install Anthropic.ClaudeCode

   NPM（已弃用）：

   npm install -g @anthropic-ai/claude-code

2. 进入你的项目目录并运行 claude。

插件

本仓库包含多个 Claude Code 插件，它们通过自定义命令和代理（Agent）来扩展功能。有关可用插件的详细文档，请参阅插件目录。

报告问题

我们欢迎你的反馈。使用 /bug 命令在 Claude Code 内直接报告问题，或者提交 GitHub issue。

在 Discord 上交流

加入 Claude 开发者 Discord，与其他使用 Claude Code 的开发者建立联系。在这里获取帮助、分享反馈并和社区成员讨论你的项目。

数据收集、使用与保留

当你使用 Claude Code 时，我们会收集反馈信息，其中包括使用数据（例如代码采纳或拒绝的情况）、关联的对话数据，以及你通过 /bug 命令提交的用户反馈。

我们如何使用你的数据

请参阅我们的数据使用政策。

隐私保护措施

我们已经实施了多项保护措施来保障你的数据安全，包括对敏感信息设定有限的保留期限、限制对用户会话数据的访问，以及明确规定不会将反馈用于模型训练。

完整详情，请查阅我们的商业服务条款 和隐私政策。