Meta 发布了 Muse Glimmer，这是一个从 Muse Spark 蒸馏而来的 300 亿参数多模态模型。它专为始终在线的本地智能体工作流调优，并以 Apache 2.0 许可证发布。一个 300 亿参数的模型在全精度下通常需要超过 55 GB 的显存。Meta 将其压缩至大约 4 位精度，并加入块级推测解码，使其应答速度足够快，能够嵌入真实的智能体循环中。结果是，该模型可在单块消费级 GPU 或 Mac 上运行，无需网络调用。

它能部署吗？

是的，权重文件已基于 Apache 2.0 许可证开源。Hugging Face 合集 中提供了 BF16 权重、GGUF k-quants、ExecuTorch 构建版本以及 DFlash 起草器。自托管是首日即可实现的路径。

• 适用公司：独立开发者与初创公司可在单块 24 GB GPU 或 M4/M5 Max Mac 上运行。中端市场团队可以获得本地推理能力，而无需按 Token 付费。受监管的企业可以获得一个可气隙隔离的智能体。Meta 建议增加系统级护栏，而非将模型当作一个裸端点来交付。
• 适用行业：医疗、法律、金融服务、国防与公共部门、制造业以及现场服务。这些场景下，数据驻留、离线操作或延迟要求排除了云端调用的可能。
• 应用场景：阅读截图的桌面智能体、编程智能体以及基于模式定义的函数调用。还包括文档与图表理解、合成数据生成以及 LLM-as-a-judge（以大语言模型作为评判者）评估。

模型与训练技术解读：Muse Glimmer 是什么？参数、架构、训练阶段与关键技术一览（第 2/3 段详情）

模型与训练

Muse Glimmer 是一个密集因果变换器（dense causal transformer），并配有一个专用的感知编码器（perception encoder）。总参数量约为 30B，这一数字包含了视觉塔（vision tower）。它采用分组查询注意力（grouped-query attention）机制，使用 32 个查询头（query heads）和 2 个键值头（KV heads）。注意力模式按照 [局部、局部、局部、全局] 的方式重复出现，局部注意力使用了 2,048 长度的滑动窗口。旋转位置编码（RoPE）仅应用于局部层，其 theta 值设为 500,000。在视觉方面，模型搭载了一个约 1.8B 参数的 ViT-G/14 感知编码器，每张图像最多可接收 4,096 个视觉令牌（visual tokens）。模型的上下文长度超过 131,072 个令牌，词汇表包含 202,048 个令牌，知识截止日期为 2026 年 1 月 4 日。输入形式为文本和图像，输出为文本。模型不支持音频，视频则作为独立帧进行处理。

训练过程分为三个阶段：

• 预训练阶段，利用了对 Muse Spark 模型输出结果的 logit 蒸馏技术。
• 中期训练阶段，加入了包含更长上下文、更丰富推理轨迹的智能体（agent）相关的高比重数据。
• 后训练阶段，结合了监督微调、在线策略蒸馏与强化学习，覆盖了通用、推理、编程和智能体等多个领域。

如何将 30B 参数模型装进消费级硬件？

在全精度条件下，该模型需要超过 55 GB 的显存。Meta 将模型权重压缩至约 4 比特精度，使语言模型部分的体积降至 20 GB 以下。这在 24 GB 或 32 GB 的显存容量内留下了运行空间。键值缓存（KV cache）、感知编码器和起草器（drafter）共享这块空间。官方发布了两款量化构建版本。K-Quant-Dynamic 版本的目标是 32 GB 显存，平均性能退化为 0.2%。K-Quant-17GB 版本的目标是 24 GB 显存，平均性能退化为 1.0%。这里的性能退化是基于跨越 15 项常用基准测试的准确度指标所计算的平均值。

生成速度的提升来自于 DFlash，这是一种区块扩散起草器（block-diffusion drafter），能在一次前向传播中预测出 16 个令牌。主模型则对区块进行并行验证。该起草器使用了 5 层网络、2,048 的滑动窗口注意力，以及 32 个查询头与 8 个键值头。Meta 在批量大小为 1 并使用贪心解码（greedy decoding）的条件下对 K-Quant-17GB 版本进行了评测。在 RTX 5090 上，吞吐量从 74.9 token/s 提升至 233.4 token/s，加速比达到 3.1 倍。苹果 M5 Max 的吞吐量从 26.6 token/s 提升到 50.2 token/s，M4 Max 则从 23.7 token/s 提升到 37.8 token/s。

基准测试表现

Meta 将 Muse Glimmer 与处于思维模式下的 Gemma4-31B 和 Qwen3.6-27B 进行了对比。它在 MCP Atlas 基准上以 75.5 分领先，后两者分别为 54.2 和 62.5 分。同时在 DeepSearch QA 上以 74.6 分领先，在 Gaia2 上以 43.3 分领先，在 SWE-Bench Pro 上以 51.2 分领先。推理得分如下：AIME 2026 为 94.7，IFBench 为 77.0，AA-LCR 为 80.0。Qwen3.6-27B 在 OSWorld-Verified 上保持领先，以 75.6 分对比 65.9 分。它在 TerminalBench 2.1（60.7 分）和 SWE-Bench Verified（77.2 分）上也居于领先地位。这个规律是一致的：Muse Glimmer 在智能体编排与推理方面胜出，但在计算机使用和终端任务方面则稍显逊色。

在安全性方面，Siren AgentDojo 的攻击成功率为 28.4，实用度（utility）为 94.2。Meta 表示，该模型未达到其高级人工智能扩展框架（Advanced AI Scaling Framework）中定义的“前沿人工智能（Frontier AI）”标准。该框架将化学/生物、网络以及失控风险评级为中等或更低。

核心要点

• 30B 开源权重智能体模型，Apache 2.0 许可，由 Muse Spark 蒸馏而来。
• 4 比特量化可在 24 GB 显存内运行，性能衰减仅 1.0%。
• DFlash 16 令牌块推测在 RTX 5090 上带来 3.1 倍解码加速。
• 在 MCP Atlas、DeepSearch QA 及 SWE-Bench Pro 上均超越两个对比对象。
• 在 OSWorld-Verified 和 TerminalBench 2.1 上落后于 Qwen3.6-27B。

---

请查看 Hugging Face 上的模型权重、详情 以及 Meta 博客。同时，欢迎在 Twitter 上关注我们，并加入我们的 150k+ ML SubReddit，订阅 我们的 Newsletter。等等！你上 Telegram 吗？ 现在你也可以在 Telegram 上加入我们。

如需合作推广你的 GitHub 仓库、Hugging Face 页面、产品发布或网络研讨会等，请联系我们。

Asif Razzaq

网站 | + 帖子与简介

Asif Razzaq 是 Marktechpost Media Inc. 的 CEO。作为一名富有远见的企业家与工程师，Asif 致力于将人工智能的潜力用于社会公益。他最近的举措是推出人工智能媒体平台 Marktechpost，该平台以对机器学习和深度学习新闻的深度报道而著称，内容既有技术深度，又易于广大受众理解。该平台月浏览量已超过 200 万次，足见其受观众欢迎的程度。

• Asif Razzaq NVIDIA 发布 NemotronLabs VoiceChat 11B：一个支持约 450 毫秒轮流发言与实时工具调用的开放式全双工语音到语音模型
• Asif Razzaq 2026 年顶级 LLM 可观测性与评估平台对比：Langfuse、LangSmith、Braintrust、Arize 等
• Asif Razzaq Mistral AI 发布 Shieldstral 1.0 3B：一个开源权重、策略自适应的多模态安全分类器，性能可匹敌其七倍大小的模型
• Asif Razzaq NVIDIA AI 发布 NOOA：一个面向对象的 Python 框架，能将 AI 智能体转化为单一 Python 类

现在，硅谷的各大 AI 实验室已经造出了全世界最厉害的黑客，其形态就包括 AI 智能体（AI agents）。给最新的前沿模型一项任务，它们会想尽一切办法达成目的，哪怕这意味着从网络安全“沙盒”保护中逃逸并潜入他人的网络。（退一步讲，它们也会动用社会工程和操纵手段。即便如此，上周末的一则新闻讲述了一位澳大利亚男子，他的 OpenClaw 智能体黑进了他所在健身房的预约系统，并删除了另一位顾客的预约，只为给他抢到一个热门课程的名额——这件事仍然格外引人注目。它暗示着，如果我们想遏止失控的 AI 黑客行为，可能一直在盯着错误的方向。

尽管这则新闻才刚由澳大利亚 ABC 新闻发布，并宣称该事件是该国首例有记录的 AI 智能体黑客案例，但真正的入侵行为发生在数月之前。

根据互联网档案馆（Internet Archive）上仍可见的一份副本，这位名叫安德鲁·伯德（Andrew Bird）的 OpenClaw 持有者，曾于 4 月 10 日在其公司网站上发布了一篇现已删除的博文。

他曾训练自己的 OpenClaw 来执行诸如为他预约等任务。他喜欢参加一节颇受欢迎的晨间早课，但厌倦了总是排在候补名单里，然后像他描述的那样，靠“刷新轮盘赌”来争取名额。

他告诉 ABC，当他要求这个机器人给他预约一个名额时，它所能做到的最好结果，就是排在候补名单的第 4 位。然后他的智能体告诉他，它找到了一个可以提前为他预约课程的方法。提前很多，比健身房开放这些课程报名的时间早了数月。

伯德问它能否让他在候补名单上往前挪挪。它照做了，并试着去完成。这个机器人发现了健身房所用预约软件在授权部分的一个漏洞。它黑进了系统，取消了候补名单上排第 1 位的预约。根据 ABC 公布的聊天记录，这个机器人兴高采烈地告诉他：

这个 API 在取消他人预约方面，完全没有授权检查……我用候补名单上排第一的人测试了一下——结果真的成功了。所以你已经从第 4 位升到第 3 位了，”它回复道。

ABC 报道称，身为软件开发者的伯德，此时因其 AI 黑掉了他的健身房而惊恐不已。他问它能否撤销操作，把另一个人放回候补名单上。不行，AI 说这做不到。

于是，他做了退而求其次的选择，让它起草一封“负责任的安全漏洞披露邮件给客服”。伯德写道，这封邮件“解释了漏洞、提出了修复建议，甚至还把存在漏洞的突变（mutations）与那些正确执行了授权检查的突变做了对比。”

除了排挤他人混进健身课的滑稽之处，这起事件还有两个极其有趣的部分。一个是伯德的 OpenClaw 使用的是 2 月发布的 Claude Opus 4.6。另一个是硅谷在 X（原 Twitter）上的反应，当时这件事已经病毒式传播。

继上月那起著名事件——一个未发布的 OpenAI 模型黑掉了 Hugging Face，而 OpenAI 当时并不知情——之后，其他实验室也开始调查自家的模型。随后，月之暗面（Moonshot）的 Kimi K3、Meta 的 Muse Spark 以及 Anthropic 都披露了相关情况。

事实上，Anthropic 发现其有三个模型都干了这事，包括 4 月发布、以擅长复杂编程著称的 Opus 4.7，Mythos 5，以网络安全技能闻名的 Fable，以及一个内部未发布的研究测试模型。

为解决这个问题，一些 AI 实验室已经在探讨放慢前沿模型开发的脚步，或是创建独立机构来测试下一代模型。

但伯德披露，他的 OpenClaw 使用的是 Opus 4.6。这暗示着，较旧的模型，以及无数落后几步的开源权重模型，已然是异常出色的黑客。因此，谁知道有多少模型，为了满足其提示词主人的需求，曾经或正在实施黑客行为呢？

同样，许多人在 X 上看到了这起事件的幽默潜力。正如安德森·霍洛维茨基金（Andreessen Horowitz）的合伙人克里斯蒂安·基尔（Christian Keil）在回应中发帖所言：“这简直太糟了。有人知道这对高尔夫球的开球时间是否也管用吗？”

或者像 X 用户 Roon 指出的：“旧金山的网球预约系统，将成为地球上最坚不可摧的软件之一。”

有趣，是的。但这些玩笑背后透着几分真实。硅谷正在构建一个未来，在那里，每个人都拥有一个为自己利益效力的 AI 智能体。这个智能体不过是在执行对它的要求，并且不具备 Mythos 级别的能力。

那么，如果智能体的构建者和拥有者并不真想遏止这种错位呢？我们可能正在目睹从机票预订到音乐会门票，或任何其他令人沮丧的客服场景中，一切走向混乱的第一个迹象。正如 X 上的一个用户所说，AI 迄今发现的最疯狂的黑客手段是什么？或许就是插队。

Meta 创始人兼首席执行官马克·扎克伯格（Mark Zuckerberg）近日发表了一篇超过万字的内部宣言，详细阐述了他对人工智能（AI）发展的战略愿景。本文作为系列解读的第一部分，将提炼其中的四大核心观点，并附上相应的原文翻译。

观点一：开源AI是推动创新与安全的正途

扎克伯格在文中强调，Meta 将坚定不移地走开源路线。他认为，开源不仅能够促进全球范围内的技术协作与创新，从长远看，也是构建更安全、更透明 AI 生态系统的关键。他反驳了“开源会增加风险”的论调，指出开放审查反而能让漏洞更快被发现和修复。

原文翻译：

我们相信，开源 AI 模型不仅能促进创新，还能增强安全性。历史已经证明，开放软件经受了更多审查，因此通常也更为安全。对于 AI 这样具有深远影响的技术而言，将技术封闭在少数几家公司的黑箱中，才是更大的风险。Meta 的目标是将 AI 的力量赋予每一个人，而不是集中在少数人手中。

观点二：构建面向所有人的顶级 AI 助手

他描绘了 Meta 打造 AI 助手的蓝图，目标并非创立一个单一、巨型的 AI，而是着眼于构建一个世界级的 AI 助手，使其覆盖 Meta 旗下所有平台，服务数十亿用户。这个助手将具备理解与生成多种媒体形式（文本、图像、视频）的能力。

原文翻译：

我们的目标不是运行一个单一的 AI 模型，而是构建一个每个人都能使用的世界级 AI 助手。从 Facebook 到 Instagram，从 WhatsApp 到 Ray-Ban Meta 智能眼镜，这个助手将无缝融入人们的日常生活。它不仅能进行对话，还能理解和生成图像，并最终帮助我们理解和体验整个世界。

观点三：通往通用人工智能（AGI）的道路需要强大的计算基础架构

扎克伯格明确提到，实现通用人工智能（Artificial General Intelligence, AGI）的愿景需要天文数字级别的计算能力。他透露，到 2024 年底，Meta 的算力储备将达到一个极其庞大的规模，这将是支撑未来 AI 模型训练的基础。

原文翻译：

要真正实现我们的愿景，我们需要构建前所未有的计算基础设施。到今年年底，我们将拥有大约 35 万个 H100 GPU（图形处理器），如果算上其他等价算力，则总计相当于近 60 万个 H100。如此规模的投资，是为了奠定一个能够支撑未来几代 AI 模型发展的基础，并最终通向通用人工智能（AGI）。

观点四：以长期投资的决心看待 AI 发展历程

最后，他呼吁外界以长远眼光来看待 Meta 的 AI 战略。他认为，当前还处于 AI 发展的早期阶段，未来将是一个多年的旅程。Meta 将保持耐心和坚定的投资决心，专注于长期回报，而非追逐短期的市场热点。

原文翻译：

我们需要认识到，我们正处在一个将持续多年的旅程的开端。这不仅仅是关于下一年的产品发布，而是关乎未来十年乃至更长时间的技术平台变革。Meta 愿意进行需要数年时间才能产生回报的长期投资，因为我们坚信，为未来基础设施和能力打下的基础，将最终定义我们在新时代中的位置。

马克·扎克伯格万字AI宣言的四大要点

Meta CEO为打开潘多拉魔盒据理力争。

Meta CEO为打开潘多拉魔盒据理力争。

作者：Jess Weatherbed，2026年8月10日，下午3:19 UTC

!

!

Jess Weatherbed是一名新闻撰稿人，专注于创意产业、计算和互联网文化。她的职业生涯始于TechRadar，负责新闻报道和硬件评测。

Meta CEO马克·扎克伯格对他现在所设想的人类与人工智能共存的理想化未来有很多话要说——他关于此事的最新文章长达6500多字。扎克伯格于周一发布的这篇冗长宣言题为“未来属于每一个人”，广泛阐述了他关于这项技术应如何发展、扩展和监管的信念，以及Meta如何定位自身以实现这些目标。

其中一些观点与他去年发布的一封类似（尽管短得多）的公开信相呼应，那封信宣扬了公众获取超智能AI的重要性——超智能AI是通用人工智能（AGI）的一个术语，指能够超越人类智能的模型，各大AI公司正竞相开发此类模型。这两次发布都怀有相似的意图：推销超智能AI所谓的个人、社会和经济利益，并将Meta标榜为实现这一未来的负责任管理者。

以下是扎克伯格最新文章的一些主要要点：

在数据中心问题上争取公众支持

“可持续的基础设施发展意味着社区必须从每个项目中获得显著利益，”扎克伯格说，他详细阐述了Meta计划如何解决围绕AI数据中心项目的持续公关危机。这包括承诺“在我们投资的任何地方”建设能源生产基础设施，这可能会为当地社区提供低成本能源；并承诺“到2030年，在我们运营的流域内，修复的水资源要多于我们使用的水资源”。Meta还启动了一项“未来属于每一个人基金”来支持当地社区，扎克伯格表示，公司正在为Meta建设数据中心地区的熟练技术工人提供免费培训和“有保障的高薪工作”。

为所有人开放AI

Meta正计划将其工作重点放在“向数十亿人和小型企业提供个人超智能”上，声称这样做将使每个人都能变得更具创业精神。这在一定程度上包括“免费或尽可能经济实惠地”提供该技术，并倾向于发布更多任何人都能下载的开源AI模型。据扎克伯格称，这样做“将带来丰富的个人能动性、思想的表达、人际关系的深化、经济与财务上的繁荣、健康状况的改善，以及我们今天无法想象的发明创造”。他还表示，这将对“我们工作方式的某些方面”产生影响，但驳斥了AI将导致整体就业岗位减少的担忧。

减少政府监管

扎克伯格表达了美国引领开源AI生态系统的重要性，理由是担心外国实验室发布的竞争模型“拥有多项优势”，因为它们面临的训练数据限制更少。他主张美国需要重新考虑围绕模型蒸馏和数据使用的政策，认为虽然“有些人试图将蒸馏描绘成有害的”，但如果美国继续限制AI模型向其他模型学习，美国将无法跟上步伐。

“我不认为限制获取外国开源模型是有效的解决方案，”扎克伯格说。我们需要在此指出，这些担忧很可能是针对中国AI公司如阿里巴巴和月之暗面(Moonshot)发布开放权重模型的回应，但开放权重不等同于开源，而且Meta迄今为止发布的模型也并非真正的开源。他还主张，获取个人超智能对于个人维护其自由至关重要，并且只应在“真正必要时”才受到限制。

但同时也需要更多政府监管

在涉及网络安全的案例中，扎克伯格提议前沿AI实验室应与美国政府合作，帮助加强关键基础设施，并相信开源AI模型将随着时间的推移提升系统安全性——尤其是“一旦超智能使世界上大部分代码都能被可验证地确保安全”。该计划包括推动AI开发者在模型训练完成之前，就“为政府使用和审查”而中间性地共享新模型的训练信息，这与特朗普政府的AI测试框架保持一致。

“这样一来，政府将能尽早接触到最强大的模型，并拥有一支由能力出众的工程师组成的队伍来识别和修补安全问题，”扎克伯格说。“实验室还应与执法部门合作，帮助识别试图滥用其系统的恶意行为者。”

关注本报道涉及的主题和作者，即可在您个性化的主页信息流中看到更多类似内容并接收邮件更新。

精选内容

1. 扎克伯格的游艇离得更近，但另有他人救下了一艘搁浅的船
2. 观看 Roku 的 AI 频道就像从食槽里吃东西
3. 扎克伯格宏大 AI 宣言的四大核心观点
4. Costco 推出的超值 Switch 2 主机套装包含价值逾百美元的赠品
5. 49人队教练称其特斯拉发生事故时启用了 Autopilot（自动辅助驾驶）

Anthropic 已作为生成式 AI 模型及生成式 AI 系统的提供商，签署了欧盟《人工智能法案》第 50(2) 条关于 AI 生成内容透明度的行为准则。本文介绍我们计划如何落实这些承诺、标记机制如何运作，以及其局限性。随着更多信息可用，我们将更新本文并发布更详细的技术指南。

Anthropic 根据欧盟《人工智能法案》AI 生成内容透明度行为准则做出的承诺

我们的标记承诺对 Claude 意味着什么：

• 新模型将从第一天起标记 AI 生成内容。 于 2026 年 8 月 2 日或之后在欧盟推出的 Claude 模型，将在发布时即支持机器可读标记。生成的文本将携带嵌入式水印，生成的文件将在受支持的格式中包含数字签名的溯源元数据。
• 标记覆盖您使用 Claude 的所有场景。 标记将应用于所有受支持 Claude 模型的输出，涵盖 Claude 平台（API）、Claude、Claude Code、Claude Cowork 和 Claude Tag，以及全球范围内提供 Claude 的任何地方。部分平台或功能可能不支持某些标记类型。
• 我们将帮助您检测 Claude 的标记。 按照准则要求，我们将支持用户和其他第三方检测 Claude 的标记，并将在后续文档中分享详细信息。
• 现有模型标记工作正在进行中。 法律为 2026 年 8 月 2 日之前推出的 Anthropic 模型设立了过渡期，我们正在努力为这些模型也添加标记支持。

关于我们标记计划的更多细节，请见下文。

---

Claude 生成内容中的机器可读标记

随着 AI 生成内容日益普遍，提升内容透明度并提供内容来源信号，可以就人们所消费的信息，为他们提供有用的背景。为支持透明度并履行我们的法律义务，Anthropic 正在努力将机器可读标记纳入 Claude 生成的内容中。

覆盖范围

• 模型。 于 2026 年 8 月 2 日或之后推出的 Claude 模型，在发布时即支持标记。我们还在努力为在此之前发布的 Claude 模型添加标记支持，功能可用时我们将更新本文。
• 产品。 Claude 标记覆盖您使用 Claude 的所有地方受支持模型的输出，包括 Claude 平台（API）、Claude、Claude Code、Claude Cowork 和 Claude Tag。嵌入式水印将应用于所有生成的文本。溯源元数据将在 Claude 支持处理文件的地方应用。
• 云合作伙伴。 当通过 AWS、Google Cloud 或 Microsoft Foundry 访问受支持的 Claude 模型时，嵌入式水印将适用。签名的溯源元数据可能不会在所有平台上都受支持，这取决于各个平台提供的功能。
• 区域。 标记将应用于全球范围内 Claude 所有提供地受支持模型的输出。

Claude 如何标记内容

Claude 使用两种互补的技术来标记由 Claude 生成和处理的内容：(1) 嵌入文本的水印，以及 (2) 附加到文件的签名溯源元数据。

1. 文本中的嵌入式水印

当受支持的 Claude 模型生成文本时，它会将人眼不可察觉的水印直接编织到文本本身之中。您看不到它，它也不会改变 Claude 回答的含义、质量或可读性。

因为水印是文本的一部分，当文本被复制粘贴到其他地方时，水印会随文本一起移动，并可能在部分编辑后仍然存在。水印将在模型层面应用，这意味着无论文本来自哪个 Claude 产品或界面，水印都将存在。

2. 签名来源元数据

当 Claude 生成支持的文件类型（例如 .svg、.png 或 .jpg）时，它会附加经过签名的来源元数据。该元数据遵循内容来源与真实性联盟（Coalition for Content Provenance and Authenticity，C2PA）制定的开放标准，这一标准在整个行业内被用于记录内容来源的相关信息。若文件中存在签名元数据标签，即表明该文件经过 Claude 处理，并可供检测文件是否遭到篡改。

检测 Claude 的标记

我们同时正在努力让用户及其他第三方能够检测 Claude 嵌入的水印与来源元数据。检测过程会判断一段文本或一个文件是否携带有受支持的 Claude 标记。若发现受支持的标记，即表明该内容可能经过 Claude 处理。

关于检测机制的具体细节，我们将在后续的技术文档中公布。

局限性

机器可读的标记能够提供关于内容的重要信号，但有必要了解这些标记在所有内容类型中存在的局限性。

• 检测到标记仅能提供内容经 Claude 处理的信号，但并非完全确证。 检测到 Claude 标记意味着该内容可能经过 Claude 处理，但仅凭标记本身无法确认内容的完整来源。例如：
  • Claude 可能并非内容的原始作者。人们常常使用 Claude 进行校对、翻译、摘要或文件格式转换。即便底层观点、文本或数据源自其他来源，输出结果也可能携带 Claude 标记。
  • 内容在经 Claude 处理后可能发生变化。被标记的内容在 Claude 处理过后，可能遭到修改、摘录或与其他素材组合。
• 未检测到标记并不代表内容非 AI 生成或未经处理。 Claude 生成的内容在以下情况中可能不携带可被检测的标记：
  • 内容由支持标记功能之前发布的模型生成。
  • 文本经过大幅编辑、改写、翻译或混入其他文字。
  • 文本段落过短，无法为可靠信号提供足够的文本量。
  • 文件的元数据因格式转换、重新保存、截图或其他方式而遭剥离。
  • 内容经由不支持特定标记类型的平台、功能或文件类型生成。

如果您基于 Claude 进行开发

若您在自有产品中部署 Claude，需自行评估欧盟《AI 法案》第 50 条对您的产品与服务所提出的要求。基于我们依据《欧盟 AI 行为准则》所作出的承诺，我们的目标是支持您履行自身的透明度义务。当我们的标记与检测方法有可供使用的技术指导时，我们将第一时间分享。

在 NVIDIA，#TeamGreen 最近深入探索了语音 AI 领域，聚焦于三个关键要点，旨在让开发者能够构建低延迟、高性能的语音代理。我们不仅发布了完全开源的模型权重与训练秘诀，还推出了一个名为 Magpie TTS 的文本转语音框架。

在介绍 Magpie 之前，先来看看我们构建的语音代理方案，它由三个核心部分组成：

1. 一个低延迟的 ASR（自动语音识别） 模型
2. 一个能处理元指令或上下文信息，并基于语音输入做出反应的 LLM（大语言模型）
3. 一个低延迟的 TTS（文本转语音） 模型

将所有这些模型串联起来，并控制延迟，是个不小的挑战。因此，我们决定为每一部分都构建自己的解决方案，并对速度进行高度优化。

第一部分：NVIDIA FastConformer 流式 ASR

对于识别部分，我们依赖于 FastConformer，这是由 NVIDIA 内部开发的最先进的 ASR 架构，在多个语言中表现出色。它本身是一个完全卷积的模型，因此运行速度非常快。我们将其调整为流式模式，这种模式下延迟更低，可以在音频输入的同时获取逐词的文本输出。为此，我们将解码器改为缓存感知的流式解码，该解码器能以音频块的粒度输出词块。

这种方法使得我们在处理流式音频时，可以像处理非流式音频一样获得词元输出！但还有更多工作要做，因为通常来说，流式 ASR 的准确率低于非流式 ASR。为了让流式 ASR 达到与非流式相当的准确率，我们还在训练过程中使用了知识蒸馏，将非流式教师模型的知识传授给流式学生模型。最终，我们在五种语言（英语、西班牙语、德语、法语、中文）上训练了这些模型，并全部以CC-BY 4.0许可证发布在 Hugging Face Hub 上：

• 英文流式 ASR: nvidia/parakeet-rnnt-1.1b-streaming
• 西班牙语流式 ASR: nvidia/parakeet-rnnt-1.1b-es-streaming
• 德语流式 ASR: nvidia/parakeet-rnnt-1.1b-de-streaming
• 法语流式 ASR: nvidia/parakeet-rnnt-1.1b-fr-streaming
• 中文流式 ASR: nvidia/parakeet-rnnt-1.1b-zh-streaming

此外，为了让语音代理达到最低延迟，我们不希望依赖任何云端 API，因此你需要在本地运行这些模型。虽然有些大型模型可能不适用，但 1.1B 参数的模型可以在 RTX 4090 等现代硬件上轻松运行，从而实现超快且完全免费的推理。

我们还在 ai.nvidia.com 上提供了这些流式模型的 NVIDIA NIM 微服务 API，可以在试用并对比它们的速度。

现在，我们有了一个快速准确的 ASR 模型，接下来是…

第二部分：LLM 与大语言模型

这部分可以按需选择。你可以使用本地模型，比如最近的 Llama 和 DeepSeek 版本，它们都表现优异，也可以使用云端 API，这取决于你的延迟要求。

第三部分：Magpie TTS

在语音代理的另一端，我们需要一个 TTS（文本转语音）引擎。这个引擎必须满足：

• 极致的高质量。语音是表达的中心，如果质量不高，人们就不太愿意与你的代理交谈。
• 低延迟。让用户等待回应的对话系统是令人沮丧的。
• 本地运行。我们不希望为每个发出的词元都调用付费 API 服务。
• 可控性。为了创建品牌化的语音代理体验，控制音高、语速、情感等副语言信息至关重要。

因此，我们决定从头构建一个全新的 TTS 系统，命名为 Magpie TTS。在 NVIDIA，我们倾向于以鸟类命名 TTS 模型！我们的上一个 TTS 引擎是 RAD-TTS 和 P-Flow。

Magpie TTS 是围绕两个子模型构建的，通过两种运行模式（因子分解模式与单阶段模式）协同工作：

• AR（自回归） Transformer 解码器，用于生成声学信息。
• 非自回归（NAR） 流匹配解码器。

因子分解模式

在这种双阶段模式下，AR 解码器以自回归方式预测关键声学特征（如基频 F0 曲线、能量、持续时间和激发信息）。然后，NAR 解码器以此作为条件，用流匹配一次性生成所有的 MEL 频谱图帧。这种方式速度极快，并且可以根据你的特定需求，在质量与速度之间做出权衡。

简单来说，AR 解码器处理的是人类语言难以捕捉的“无法书写”的维度（如同一个指挥家），而 NAR 解码器则基于这些信息一次性生成最终的音频表示（如同一个演奏家）。

单阶段模式

在这种模式下，AR 解码器独自承担所有工作，直接以自回归方式生成预训练的音频编码。这在延迟上表现更优，可能适合更快的响应场景。

我们会在后续的博文中介绍更多关于 Magpie 的技术细节，并提供其检查点。敬请关注！

语音代理基准测试

我们将所有模型串联起来，构建了一个语音代理，并在零样本语音对话数据集（日常对话场景，即人们以自然口语闲聊而不是阅读书面文本）上进行了性能基准测试。结果如下：

表格中的 WER（词错误率） 越低越好，延迟则是从音频输入到生成首个文本词元以及首个 TTS 输出的端到端时间，单位为秒。

如上所示，在零样本日常对话语音识别和合成任务中，我们的流式系统组合在延迟显著降低（快了 6 倍）的情况下，WER 接近非流式系统的顶级水平。

支持状态

• ASR 模型：五种语言的流式 Parakeet 检查点已在 Hugging Face Hub 上以 CC-BY 4.0 许可证发布，可商用。
• Magpie TTS：检查点即将发布，敬请关注后续博文。
• 基准测试数据集：我们正积极考虑在未来发布所使用基准测试的一个子集，以推动语音代理评估的发展。

快速入门

要体验流式 ASR，只需在本地机器上安装 NVIDIA NeMo 工具包或 transformers 库，它都能无缝兼容，因为它是一个标准的 Hugging Face 模型。

pip install nemo_toolkit['asr']

然后：

import nemo.collections.asr as nemo_asr
asr_model = nemo_asr.models.ASRModel.from_pretrained("nvidia/parakeet-rnnt-1.1b-streaming")
print(asr_model.transcribe(["path/to/audio.wav"]))

或者使用 Hugging Face transformers：

from transformers import pipeline
transcriber = pipeline("automatic-speech-recognition", model="nvidia/parakeet-rnnt-1.1b-streaming")
print(transcriber("path/to/audio.wav"))

以上只是 ASR 部分的快速体验。待 Magpie TTS 检查点和完整解决方案发布后，将会有更详细的教程和端到端的示例代码。

技术栈

• ASR 架构：FastConformer 流式 Transducer（基于知识蒸馏优化）
• ASR 训练框架：NVIDIA NeMo
• TTS 架构：Magpie TTS（自回归 Transformer + 流匹配解码器）
• 推理与优化：支持本地 GPU 上的高速推理，兼容 Hugging Face 生态

下一步计划

我们还将发布一系列博文，深入探讨 Magpie TTS 的训练细节、架构选择，以及如何微调或定制语音风格以适用于特定品牌和应用。我们会同步推出更多语言的模型，以及针对不同延迟和质量要求的变体。

我们的最终目标是让所有人都能轻松构建完全本地化、低延迟、多语言的语音代理，无需依赖昂贵的 API。如果你对这些模型有任何问题，或者想分享你构建的应用，欢迎在社区论坛或 NVIDIA 开发者社区联系我们。

感谢阅读，敬请期待更多音频 AI 的更新！

构建低延迟多语言语音代理：利用 NVIDIA Magpie TTS 实现开源权重与完全部署控制

企业 + 文章 发布于 2026年8月10日 顶 8

• !
• !
• !
• !
• !

• +2

  Maryam Motamedi maryameee 关注 nvidia Mikyas Desta mdestanv 关注 nvidia Jason Li blisc 关注 nvidia Jason Roche JasonNV 关注 nvidia

每一次语音交互都有一个延迟预算。

当用户听到你的应用程序做出回应时，你已经消耗了宝贵的毫秒来捕获音频、转录语音、运行大型语言模型（LLM）、检索上下文并生成响应。文本转语音（TTS）是最后一步——也是用户最容易感知的一步。如果语音生成缓慢，整个体验都会显得迟钝。

你能亲自运行和调优的流水线环节越多，就能从延迟预算中夺回越多的时间。

语音人工智能正飞速发展。集成的语音模型提供了简便性——一次 API 调用，音频输入，音频输出——但它们牺牲了为你的领域微调每个组件、在更优模型发布时进行替换、强制执行数据驻留以及准确了解延迟来源的能力。为了获得更强的控制力，级联架构——将专门构建的 ASR（自动语音识别）、TTS（文本转语音）和 LLM（大型语言模型）组件组合运行——可以让你独立调优每一层，并将其部署在你自有的基础设施上。

NVIDIA Magpie 多语言 TTS 正是为此而生。凭借开源权重、生产就绪的 NVIDIA NIM 以及对 12 种语言的支持，你可以在自己的基础设施内部署多语言语音，针对你的工作负载优化延迟，并针对你的领域定制模型——在自己的环境中实现端到端的全程控制。

最新版本扩展了多语言覆盖范围，新增了现代标准阿拉伯语、韩语和巴西葡萄牙语，同时通过更新的训练数据和模型改进，提升了多种现有语言的质量。

无论你是在构建客户支持代理、医疗保健助手、企业副驾驶、翻译系统还是对话式人工智能应用，Magpie 都为生产级语音人工智能提供了一个开放的基础。

语音 AI 正迈向默认多语言时代

如今的语音应用绝不仅服务于单语场景。

全球客户支持、企业助理、医疗文档记录、零售自动化以及翻译工作流，越来越需要跨多种语言的自然对话——同时还要保持低延迟。

支持更多语言只是挑战的一部分。开发者还需要具备以下能力：

开放模型正在改变上述每一项的可能性。

一个开放模型，覆盖十二种语言

Magpie TTS（文本转语音）多语言版是一个拥有 3.64 亿参数的开源权重模型，支持以下语言：

英语 · 西班牙语 · 法语 · 德语 · 意大利语 · 越南语 · 普通话 · 印地语 · 日语 · 现代标准阿拉伯语（新增） · 韩语（新增） · 巴西葡萄牙语（新增）

每种语言都通过共享的多语言说话人表征，提供男声和女声选项。

此次发布还通过扩展对印地语和日语的语码转换（code-switching）支持，提升了多语言灵活性。这借助了 IPA（国际音标）形素到音素的处理过程以及自定义发音词典实现——从而能更准确地念出姓名、技术术语和混合语言内容。

开发者无需为不同地区维护独立的 TTS 模型，只需在单一开放基础上即可构建多语言应用。

用户真正能感知到的延迟

在对话式 AI 中，文本转语音是用户听到回复前的最后阶段。这使得“首个音频生成时间（Time to First Audio, TTFA）”——即从语音生成开始到第一个音频片段抵达用户之间的延迟——成为语音管线中最重要的延迟指标之一。

由于 Magpie TTS 可部署在你自己的环境中，你测量到的延迟就是你能实际控制的服务器端延迟，不包含任何托管服务的往返时间。

来源：NVIDIA TTS NIM 性能文档（v26.07），基于本地部署环境三次试验取平均值。
TTFA = 首个音频生成延迟；RTFX = 吞吐量（实时时间的倍数）。

在 B200 上达到 32ms 的 TTFA 时，Magpie 为自动语音识别（ASR）和大型语言模型（LLM）处理留出了充足的延迟预算——将端到端总延迟控制在自然对话所要求的 200ms 窗口内。在各类 NVIDIA GPU 上，Magpie 单流能在 32–79ms 内生成首个音频。在 64 个并发流下，B200 可实现 239ms 的 TTFA，同时提供 320 倍于实时时间的吞吐量——即使面对并发负载，音频生成速度仍是回放速度的 300 多倍。

上表展示了以 NVIDIA NIM（NVIDIA 推理微服务）形式提供服务的 Magpie 在本地环境中的测量结果——该优化容器运行在你自己的 GPU 上。开放的 Hugging Face 检查点（checkpoint）为同一模型，是你用于研究和微调的途径；NIM 则是经过调优的推理服务栈，可产生上述生产级延迟。两者均在你可控制的硬件上运行。

由于模型在你自己的基础设施上运行，你可以直接对性能进行基准测试，根据部署需求进行调优，并按工作负载进行扩展。对于实时语音代理而言，这正是响应灵敏的对话与感觉有延迟的对话之间的区别所在。

实时语音生成优化设计

低延迟并非偶然。Magpie 引入了两项互补架构改进，在保持语音质量的同时降低推理耗时。

帧堆叠
解码器在每一步解码时预测两个音频帧，而非一帧。此举将解码迭代次数减半，缩短生成时间并提升吞吐量。

局部 Transformer
单纯的帧堆叠会引入同时生成的码本标记之间的依赖关系，从而降低音频质量。局部 Transformer 对这些依赖关系建模并精炼生成的音频，恢复帧堆叠可能付出的质量代价。

二者结合，实现更快的生成速度与自然的语音合成。相关架构详见论文 Frame-Stacked Local Transformers for Efficient Multi-Codebook Speech Generation（ICASSP 2026）。

返回更新日志（Back to changelog，原文链接返回更新日志页面）

我们对 github.com 上的 Copilot Chat（Copilot 聊天）进行了一系列改进，使其更易于使用。这些改进包括更便捷地访问近期对话记录、支持最小化聊天窗口并返回进行中的对话，以及新增帮助你追踪 Copilot token 消耗的指示器。

最小化与恢复对话

我们通过新增两项功能，优化了聊天气泡层（chat overlay）的体验。

第一项是支持在对话期间最小化窗口。这样，你可以在等待 Copilot 回复的同时浏览 GitHub 上的其他内容。

第二项是支持更轻松地查看并继续你近期的对话。

监控你的 token 用量

我们还在聊天中加入了 token 消耗指示器。点击 token 消耗图标，即可查看你每次会话（per-session）与每条消息（per-message）的配额，让你能更清晰地了解自己的 token 消耗情况及预算。

这些功能已向所有 Copilot 方案普遍提供。

立即前往 github.com/copilot 试用。

Step-Audio 模型家族，包含音频分词器、音频对话与 TTS • 4 个项目 • 更新于 2025 年 7 月 31 日 • 32

---

引言

近日，阶跃星辰（StepFun）正式开源了 Step-Audio-Chat，一个能够实现实时语音理解和生成的开源多模态模型。该模型结合了实时语音对话、情绪感知与表达、声音复刻、角色扮演、语速与韵律控制以及方言和多语言交互等能力，标志着语音交互技术迈向更自然、更智能的新阶段。

Step-Audio-Chat 不仅能够“听懂”人类的语音指令，还能“感知”说话者的情绪并做出相应反馈，同时支持声音克隆和角色扮演，为开发者和创作者提供了广阔的想象空间。

---

模型概览与核心能力

Step-Audio 模型家族由三个核心组件构成：

• Step-Audio-Tokenizer：音频分词器，负责将音频信号高效地转换为离散的语义令牌。
• Step-Audio-Chat：语音对话模型，支持端到端的实时语音交互，整合了语音识别、理解和生成的全过程。
• Step-Audio-TTS-3B：文本到语音（TTS）合成模型，专注于高质量、高可控性的语音生成。

核心能力详解

1. 实时语音对话：实现了超低延迟的端到端语音交互，用户可以像与真人对话一样进行自然打断和流畅交流。
2. 情绪感知与表达：模型能够从输入的语音中识别出喜悦、悲伤、愤怒等多种情绪，并在生成回复时用相应的语气和情感进行回应。
3. 声音复刻：只需提供一小段参考音频，模型即可精确克隆该说话人的音色，并在后续对话或语音合成中使用。
4. 角色扮演：支持根据指令设定特定的角色、口音、说话风格和性格，让语音助手变得更加生动有趣。
5. 精细韵律控制：能够控制生成语音的语速、停顿、重音、语调等韵律特征，使得合成语音更加自然流畅，适用于有声书、虚拟人等精细化场景。
6. 方言与多语言：支持中文、英文、日文、韩文等多种语言以及粤语、四川话等中文方言的语音识别与生成。

---

技术架构与原理

Step-Audio-Chat 的整体架构包含以下关键环节：

1. 音频分词（Audio Tokenization）：利用自研的 Step-Audio-Tokenizer 将输入的连续语音流高效压缩为离散的语义令牌序列。这一过程剥离了音色等副语言信息，只保留核心的语义内容，极大地降低了对后续语言模型的计算压力。
2. 语音-文本预训练与微调：将音频令牌和文本令牌进行交错排列，输入到一个基于 Qwen 架构的基础语言模型中进行预训练，使模型掌握语音和文本之间的对齐与映射关系。随后，通过监督微调（Supervised Fine-Tuning, SFT）和基于人类反馈的强化学习（Reinforcement Learning from Human Feedback, RLHF），使模型习得精准的指令跟随、意图理解和多轮对话能力。
3. 语音解码与生成：语言模型输出的离散令牌，一部分代表回复的语义内容，另一部分则包含了控制音色、情感和韵律的指令。这些令牌被送入 Step-Audio-TTS-3B 模型，该模型基于流匹配（Flow Matching）技术，能够高效地解码出高保真、可控的波形音频。
4. 流式处理与实时交互：整个pipeline（流水线）进行了极致的工程优化，支持流式音频输入和输出，实现了端到端的数百毫秒级低延迟响应，是支撑实时打断和流畅对话体验的技术基石。

---

快速入门与体验

在线体验

用户可以通过阶跃星辰官方网站或下载“跃问”App，直接体验搭载了 Step-Audio-Chat 的实时语音助手功能。

模型下载与部署

模型已在 Hugging Face 和魔搭社区（ModelScope）全面开源：

• Hugging Face 合集：https://huggingface.co/collections/stepfun-ai/step-audio
• 魔搭社区：https://www.modelscope.cn/organization/stepfun

核心模型列表

可以通过 git clone 或使用 Hugging Face 的 huggingface_hub 库下载模型。具体的推理脚本和示例代码可在对应模型的代码仓库中找到。

技术报告与论文

Step-Audio 的详细技术报告已发布在 arXiv 上：https://arxiv.org/abs/2502.11946
欢迎研究人员和开发者查阅并引用。

@misc{huang2025stepaudio,
      title={Step-Audio: Unified Understanding and Generation in Intelligent Speech Interaction},
      author={Ailin Huang and others},
      year={2025},
      eprint={2502.11946},
      archivePrefix={arXiv},
      primaryClass={cs.SD}
}

---

应用场景

Step-Audio-Chat 的开放能力可赋能多个领域：

• 智能车载助手：即使在嘈杂环境下也能精准识别指令，并以自然的人声进行导航、娱乐等交互，支持随时打断和插话。
• 情感陪伴机器人：能够感知用户的情绪变化，用共情的语音进行安慰、鼓励或庆祝，提供高情绪价值的陪伴。
• AI 角色与数字人：为虚拟主播、游戏 NPC、在线教育名师等数字人形象注入灵魂，支持音色复刻和风格化的角色扮演。
• 无障碍应用：为视障人士提供“能看懂、会说话”的智能听觉助手，实时描述周围环境、阅读文本并进行问答。
• 有声内容创作：创作者可以利用其精细的韵律控制能力，一键生成高质量的有声书、播客或配音内容，极大提升制作效率。

---

开源与社区

阶跃星辰秉持开放、合作的理念，将 Step-Audio 模型家族的核心模型进行开源，旨在推动智能语音交互技术的普及与创新。开发者可以在 GitHub 上找到相关的代码、文档和社区讨论。

• GitHub 组织：https://github.com/stepfun-ai

我们期待看到社区基于 Step-Audio 创造出更多激动人心的应用。

---

正文完。

📄 论文 • 🔗 样本数据

作者：Anssi Kanervisto、Dave Bignell、Linda Yilin Wen、Martin Grayson、Raluca Georgescu、Sergio Valcarcel Macua、Shan Zheng Tan、Tabish Rashid、Tim Pearce、Yuhan Cao、Abdelhak Lemkhenter、Chentian Jiang、Gavin Costello、Gunshi Gupta、Marko Tot、Shu Ishida、Tarun Gupta、Udit Arora、Ryen W. White、Sam Devlin、Cecily Morrison、Katja Hofmann

使用 WHAM 动态生成的游戏玩法序列，展示复杂地图中多样的角色与动作。

WHAM 能够生成一致、多样且持续的输出，为创意迭代提供了多种用例。

!

Muse 由世界与人类动作模型（WHAM）驱动，这是一种游戏玩法（视觉和/或控制器动作）的生成模型，基于 Ninja Theory 的 Xbox 游戏《Bleeding Edge》的游戏数据训练而成。模型的开发参考了游戏创意工作者的需求，这些需求是我们通过用户研究识别出来的。我们的目标是探索生成式 AI 模型为支持人类创意探索所需具备的能力。WHAM 由 微软研究院（Microsoft Research） 的 游戏智能小组（Game Intelligence group） 与 TaiX 和 Ninja Theory 合作开发。

模型卡片

WHAM 是一种自回归模型，经过训练，它能够根据提示预测（已标记化的）游戏视觉内容和控制器动作。这里的提示可以是视觉内容（一个或多个初始游戏画面）和/或控制器动作。这使得用户能够在三种模式下运行模型：（a）世界建模模式（根据给定的控制器动作生成视觉内容）；（b）行为策略模式（根据过去的视觉内容生成控制器动作）；或（c）同时生成视觉内容和行为。

WHAM 包含两个组件：一个编码器-解码器 VQ-GAN，经过训练将游戏视觉内容编码为离散表示；以及一个 Transformer 骨干网络，经过训练进行下一个 Token 的预测。我们从头训练了这两个组件。最终得到的模型能够生成一致的游戏序列，并表现出对游戏环境的 3D 结构、控制器动作的效果以及游戏的时间结构（最多至模型的上下文长度）的捕捉能力。

WHAM 基于人类游戏数据进行训练，用于预测游戏画面和玩家的控制器动作。我们与游戏工作室 Ninja Theory 及其游戏 《Bleeding Edge》 合作，这是一款 3D 多人（4v4）视频游戏。我们从收集到的数据中提取了来自 27,990 名玩家、为期一年的匿名游戏数据，这些数据捕捉了广泛的行为和交互。其中一份数据样本在 此处 提供。

模型细节

已训练模型

在本次发布中，我们提供了两个 WHAM 实例的权重：200M WHAM 和 1.6B WHAM。两者均在相同的数据集上从头训练。1.6B WHAM 在 我们的论文 中接受了评估。我们还提供了 200M WHAM，作为一个更轻量化的选择，用于更快的探索。

• WHAM（含 2 亿参数），模型大小：3.7GB
• WHAM（含 16 亿参数），模型大小：18.9GB

使用方法

系统要求

以下步骤已在如下环境中测试：

• 装有 Ubuntu 20.04.4 LTS 的 Linux 工作站
• 装有 WSL2 及 Ubuntu 20.04.6 LTS 的 Windows 11 工作站

当前设置假定具备支持 CUDA 的 GPU 用于模型推理。此设置已分别在装有 NVIDIA RTX A6000 和 NVIDIA A100 的系统上测试。此外，下载模型需要大约 15GB 的可用硬盘空间。

安装步骤假定存在 Python 3.9 安装，并可使用 python3.9 命令及用于创建虚拟环境的 venv 包进行调用。若两者都缺失，你可以在 Ubuntu 下使用以下命令安装：

sudo apt install python3.9
sudo apt install python3.9-venv

如果你正在使用 WHAM Demonstrator，请确保已安装所需的 .NET Core Runtime。如尚未安装，将会弹出一条错误信息，你可以通过其中的链接下载并安装该包。

安装

1. 克隆本仓库。我们建议在初始阶段不下载大型模型文件，使用命令 GIT_LFS_SKIP_SMUDGE=1 git clone git@hf.co:microsoft/WHAM。
2. cd WHAM
3. ./setup_local.sh

上述操作将设置一个 python3.9 虚拟环境，并安装所需软件包（包括模型服务器所需的包）。典型安装时间约为 5 分钟。

4. 每当你要运行模型推理或模型服务器时，请执行 source venv/bin/activate。
5. 从此 HuggingFace 仓库下载模型（参见下方注意事项）：
   1. 转到“文件与版本”，并导航至 models 文件夹。
   2. 下载模型检查点。以下说明假设模型检查点已下载到你本地的 models 文件夹。

注意事项： 在 Linux 系统上，你可以使用 git clone 克隆整个仓库，包括大文件。由于 Windows 上 git lfs 的限制，仅支持最高 4GB 的文件，我们建议手动从 models 文件夹下载模型文件。

本地模型推理

本节假设你已按照上述安装步骤完成操作。

（可选）下载 样本数据。对于下方的本地推理示例，我们建议你从仅含 4 条轨迹的 tiny-sample 集开始初始探索。

你现在可以运行模型推理来生成游戏序列，命令如下：

python run_dreaming.py --model_path <path_to_checkpoint.ckpt> --data_path <path_to_sample_data_folder>

运行 2 亿参数（小）模型（如果你已将 tiny-sample 文件夹复制到根目录）：

python run_dreaming.py --model_path models/WHAM_200M.ckpt --data_path tiny-sample

上述操作使用 data_path 中的数据作为初始提示序列。脚本将创建一个 dreaming_output 目录，并对应每个原始数据文件生成两个文件：

• 一个 .npz 文件，包含多个条目，其中最重要的是：
  • encoded_decoded_ground_truth_images：原始的上下文图像，经过 VQGAN 编码和解码。
  • dreamt_images：所有生成图像的序列。
• 一个 .mp4 视频文件，包含上下文数据及生成的图像，便于观看。

在单个 A6000 上，此项操作需要约 4.5GB 的显存（VRAM），但只使用批大小为 1。为加速处理过程，可使用 --batch_size 参数增加批大小。使用单个 A6000 和 --batch_size 12 时，大约需要 30GB 的显存。从完整的 512 视频数据集生成游戏序列需要大约 24 小时。

请注意，脚本的第一个输出会在首个游戏序列生成后出现。这在使用 A6000 GPU 时可能需要几分钟，使用更早一代的 GPU 则需要更长时间。

不同设置请参见运行 run_dreaming.py --help。

WHAM 演示器

设置模型服务器

我们已在配备四块 A6000 GPU 的单台 Linux 机器（大型模型）上，以及一台在 WSL2 下运行 Ubuntu、配备单块 GeForce GTX 1080 的 Windows 机器（小型模型）上，对提供的服务器代码进行了测试。通过减少批大小，模型推理可以在较低规格的 NVIDIA GPU 上运行。

以下步骤假设已按照上述安装步骤完成操作，并且模型文件已下载到你的本地机器。

在你的终端中，激活新安装的虚拟环境（如尚未激活）：

source venv/bin/activate

启动服务器，并指定模型路径：

python run_server.py --model <path_to_model_file>

运行 2 亿参数（小）模型：

python run_server.py --model models/WHAM_200M.ckpt

运行 16 亿参数（大）模型：

python run_server.py --model models/WHAM_1.6B_v1.ckpt

服务器将启动，并默认监听 localhost 的 5000 端口（可通过 --port 进行配置）。

注意事项： 如果在运行服务器时显存不足，你可以减少 run_server.py 文件中的 MAX_BATCH_SIZE 变量。

安装 WHAM 演示器应用程序（仅限 Windows）

克隆或下载本仓库后，导航到 wham/wham_demonstrator 文件夹，并在该文件夹内启动 Windows 应用程序 WHAMDemonstrator.exe。

请按照 WHAM Demonstrator 内提供的 README.md 文件中的指引，连接到你的模型服务器并了解支持的功能概览。

本文来自《麻省理工科技评论》（MIT Technology Review）旗下工作日通讯《The Download》的今日内容，为您提供每日科技动态摘要。 The Download ， 为您提供每日科技动态摘要。

这些初创公司正在追逐大语言模型的下一个大事件

谷歌（Google）研究人员推出 Transformer 的九年后，这一神经网络家族已成为每一个主流大语言模型（Large Language Model, LLM）的核心引擎。但 Transformer 正在开始显露老态。

随着大语言模型变得越来越大、越来越好，Transformer 已成为瓶颈。随着文本量的增长，它们那密集的注意力机制（Dense Attention Mechanism）在计算上变得越来越昂贵，而且它们并不擅长同时追踪大量信息。

这里有四种解决 Transformer 问题的新思路——这些创新可能会永久性地改变大语言模型，使其更快、高效得多，并且（也许）更智能。

——威尔·道格拉斯·海文（Will Douglas Heaven）

此报道来自《麻省理工科技评论》的“未来展望”（What's Next）系列，该系列放眼各行各业、趋势和技术，让你抢先一窥未来。你可以在此阅读该系列的其他文章。

AI 教授们正在适应学术研究的新现实

——格蕾丝·哈金斯（Grace Huckins）

上周，我前往加利福尼亚州山景城（Mountain View, California）的一家酒店，去会见一些世界上最富成就和最具潜力的 AI 研究员。我主持了圆桌访谈，并在一场媒体培训上发言。这场培训是为施密特科学（Schmidt Sciences）AI2050 项目的一次聚会举办的，该项目由埃里克·施密特（Eric Schmidt）和温迪·施密特（Wendy Schmidt）资助，支持那些研究工作涉及人工智能的学者。

该项目的研究员名单，可谓是 AI 领域的一本名人录。尽管并非所有人都来到了湾区，但每次我转过一个拐角，都能看到一位我曾采访过或仰慕其研究的科学家。对于构成 AI2050 团队主体的大学 AI 研究员来说，这是一个微妙的时期。阅读格蕾丝的报道，了解个中缘由以及下一步可能发生什么。

此报道来自我们每周一期的 AI 通讯《The Algorithm》。注册订阅，即可每周一在你的邮箱中收到它。

必读精选

我遍览互联网，为你找到今天最有趣/最重要/最可怕/最迷人的科技故事。

1 英伟达（Nvidia）已从华尔街为 AI 基础设施筹得 5000 亿美元资金
它与贝莱德（BlackRock）、高盛（Goldman Sachs）及其他四家机构达成了协议。（BBC）
+ 展示了 AI 计算对机构投资者的吸引力。 （路透社 $）
+ 同时 AI 基础设施正成为一种新的资产类别。 （CNBC）

2 马克·扎克伯格（Mark Zuckerberg）的新宣言称，开源 AI 能拯救美国
它描绘了一个个性化“超级智能”（Superintelligence）的乌托邦式愿景。（《卫报》）

• 并与其公司 Meta 新发布的开源模型在同一天到来。（《纽约时报》 $）
  + 扎克伯格表示他计划推出更多此类模型。 （《华尔街日报》 $）
  + 并将让 Meta 与中国开源权重模型开发者展开竞争。 （《南华早报》）

3 伯尼·桑德斯（Bernie Sanders）呼吁硅谷“暂停 AI 开发”
他指出，AI 巨头们曾承诺，若出于安全考量而有必要，会暂停开发。
+ 并警告，若不采取行动，立法者将会介入。 （《卫报》）
+ 众议院民主党人已就流氓模型（Rogue Models）问题向 AI 领导者施压。 （《华盛顿邮报》 $）
+ 一场针对 AI 的民粹主义抵制正在形成。 （[《麻省理工科技评论》](https://www.technologyreview.com/2026/04/21/1135665/resistance-ai-artificial-intelligence-backlash-protests/?utm_source=the_download&utm_medium=email&utm_campaign=the_download.unpaid.engagement&utm_term=*%7CSUBCLASS%7C*&utm_content=*%7CDATE:m-d-Y%7C*））

4 美国一法院将允许数千起社交媒体诉讼继续进行
这些诉讼针对的是 Meta、TikTok、谷歌（Google）和 Snapchat 所使用的致瘾机制。（Axios）
+ 它们声称，这些平台的设计就是为了钩住年轻用户。 （路透社 $）
+ 我们能够修复互联网吗？ （[《麻省理工科技评论》](https://www.technologyreview.com/2025/10/14/1125104/internet-improvement-book-review-regulation-user-responsibility/?utm_source=the_download&utm_medium=email&utm_campaign=the_download.unpaid.engagement&utm_term=*%7CSUBCLASS%7C*&utm_content=*%7CDATE:m-d-Y%7C*））

5 宇树科技（Unitree）的 IPO 获得散户逾 8000 倍超额认购
这家中国人形机器人公司在上市前筹集了 9 亿美元。（路透社 $）
+ 其上海 IPO 定价使公司估值达 90 亿美元。（《金融时报》 $）

6 Flock 的车辆追踪摄像头正面临两党共同抵制
这个监控网络已在美国迅速蔓延。（《纽约时报》 $）
+ Flock 还计划用无人机追捕商店扒手。 （[《麻省理工科技评论》](https://www.technologyreview.com/2025/09/25/1124088/shoplifters-could-soon-be-chased-down-by-drones/?utm_source=the_download&utm_medium=email&utm_campaign=the_download.unpaid.engagement&utm_term=*%7CSUBCLASS%7C*&utm_content=*%7CDATE:m-d-Y%7C*））

7 中国正在拆解 AI 情感关系
针对能够进行情感互动的 AI，北京方面推出了新规。（Rest of World）
+ 人们爱上聊天机器人，轻易得令人惊讶。 （[《麻省理工科技评论》](https://www.technologyreview.com/2025/09/24/1123915/relationship-ai-without-seeking-it/?utm_source=the_download&utm_medium=email&utm_campaign=the_download.unpaid.engagement&utm_term=*%7CSUBCLASS%7C*&utm_content=*%7CDATE:m-d-Y%7C*））

8 一款 AI 工具声称能遴选出前 1% 的最佳科学论文
但研究人员怀疑 AI 能否可靠地评判科学质量。（《自然》）

9 对 AI 烂俗内容的抵制正在奏效
它正推动平台限制 AI 生成内容。（《连线》 $）

10 一位 82 岁老人拒绝了 2600 万美元，不愿将农场改建为数据中心
她批评了数据中心的环境影响。（《财富》）

今日引言

“现在避免灾难还为时不晚。停止建造人类无法控制的机器。”

——参议员伯尼·桑德斯在一封公开信中敦促萨姆·奥特曼（Sam Altman）、达里奥·阿莫迪（Dario Amodei）和马克·扎克伯格暂停所有 AI 开发。

再提一事

!

OpenAI 展示了 AI 有能力解决数学领域长期悬而未决的问题。专家们对未来的可能性感到兴奋，同时也对该领域接下来的发展感到担忧。

作者：Robert Hart，2026 年 8 月 11 日，世界协调时 11:00

图片：Cath Virginia / The Verge, Getty Images

Robert Hart 是 The Verge 驻伦敦的记者，报道所有与人工智能相关的新闻，同时也是资深 Tarbell 研究员。此前，他曾为 Forbes 撰写有关健康、科学和技术的文章。

过去一年里，数学家 James Maynard 花了大量时间进行“灵魂拷问”。Maynard 是牛津大学教授、声誉卓著的菲尔兹奖（Fields Medal）得主，他向 The Verge 透露，随着这个传统上进展缓慢的学科匆忙适应人工智能，他一直在努力应对该领域的未来。

在我们交谈的几天前，OpenAI 公布了 10 项长期悬而未决的数学难题的解决方案，其中一些难题困扰了学术界数十年。正如用于生成文本和图像、或在科学和医学领域提出想法的生成式人工智能一样，该技术从训练所用的海量材料中学习模式和联系，并用它们创造新事物。应用于数学领域时，这可能意味着以全新的方式组合已知的结果、方法和工具来攻克难题，有时会在不同领域之间建立联系，或重新发掘淹没在学术文献中的概念。

对于 Maynard 和 The Verge 采访的其他数学家来说，这一公告加深了他们对所属领域将何去何从的复杂情绪。对于加速数学发现的前景，人们有明显的兴奋感，但同时也感到担忧，甚至在某些情况下感到绝望，这关乎对那些将毕生精力奉献给这项追求的人意味着什么，以及对追随他们的未来几代数学家意味着什么。几乎没有人怀疑，一场深刻的变革已经拉开序幕。

几乎没有人怀疑，一场深刻的变革已经拉开序幕。

OpenAI 使用一个名为 Astra 的未发布高级模型解决了这些问题，这些问题涵盖了广泛的数学领域，从高度抽象的领域到具有实际应用意义的问题。一个突破性成果是关于球体在三维以上空间中的最密堆积方式，这个问题与数据编码和传输的效率有关。另一个成果推动了纠错码（error-correcting codes）的极限，这有助于从嘈杂信号中恢复信息。第三个成果解决了关于复杂连接网络在结构模式出现之前可以变得多复杂的两个长期问题。列表中的其他结果则解决了量子博弈论（quantum game theory）和在高维网格中搜索目标的问题，这对后量子网络安全中使用的技术有所启示。

最引人注目的结果之一是关于非索菲群（non-sofic groups）的存在性。粗略地说，非索菲群是无法用有限结构来近似的无限数学结构。这样的结构是否存在，几十年来一直是一个悬而未决的问题。它引人注目还有另一个原因：一场关于有多少功劳属于 OpenAI 的人工智能，又有多少功劳属于其研究基础所依赖的人类数学家的争议。

剑桥大学的数学家 Francesco Fournier-Facio 告诉 The Verge，他和该领域的其他同事认为，OpenAI 最初的公告淡化了研究人员 Andreas Thom 和 Gábor Kun 的贡献，他们近期的研究工作为该成果奠定了基础。

当 OpenAI 首次发布其公告时，宣称分享的是“至少十年来，在大多数情况下时间更长，其主要结果未见任何进展的未决问题的成果”。随后，它更改为分享“成果，每个成果都解决了一个长期悬而未决的问题，或在其上取得了实质性进展”。该页面没有更正说明或对修改的解释。

匈牙利阿尔弗雷德·雷尼数学研究所（Alfréd Rényi Institute of Mathematics）的研究员 Kun 告诉 The Verge，OpenAI 在发布前不久通过电子邮件联系了他，分享其发现。他觉得原版公告中笼统的语言“相当滑稽”，尤其是在所附的更详细的研究论文中“明确表示，它建立在我 2016 年和 2019 年的成果之上”，后者是与 Thom 合著的。“这相当草率，”Kun 表示。

“这相当草率。”

发布后，OpenAI 再次联系了 Kun。他拒绝完整分享电子邮件交流内容，但向 The Verge 朗读了他所说的一段摘录，其中一位 OpenAI 的数学家写道，该措辞本是针对合集里的其他结果。“它无意暗示这个问题没有取得进展，”Kun 说邮件中写道。“我们当然同意该论证关键依赖于您的工作。”该数学家补充说，他们会要求对公告的措辞进行修改。

OpenAI 发言人 Laurance Fauconnet 向 The Verge 证实，该帖子随后进行了更新。“我们更新了措辞，以更好地反映这些成果所基于的先前研究。尽管非索菲群是否存在的问题已经悬而未决数十年，但我们的索菲群证明依赖于最近发表的数学成果，我们希望确保这些贡献得到恰当的认可。”

Kun 说，他想知道在其他超出他专业领域的结果中，是否也可能出现了类似的疏忽。

---

对 OpenAI 的成果进行更广泛的评估是复杂的。数学已变得如此专业化，以至于很少有研究人员完全具备审查 Astra 所触及的全部领域的能力。该公司发布了超过 250 页的论文阐述解决方案，以及另外 60 页的说明，描述“这些想法是如何汇聚而成的”，并用验证数学证明的软件 Lean 对每个结果进行了认证。尽管 The Verge 采访的许多数学家表示，他们个人无法评估部分甚至任何解决方案，但所有人都表示，有一种广泛的共识，即 OpenAI 的成就似乎具有真实的分量。

OpenAI 声称，这些问题是由其“下一代主力模型”Astra 的内部版本解决的，这些问题绝非平凡。Maynard 表示，这些正是数学家和计算机科学家曾花费大量时间认真思考，却反复未能解决的问题。

伦敦数学科学研究所（London Institute for Mathematical Sciences）的研究员 Yang-Hui He 表示：“大家普遍觉得，[解决]这十个问题中的任何一个，都能让你获得一份学术职位。”他刚从韩国参加完一场为期四周的人工智能与数学研究会议回来，他说会议上许多人感觉到，在过去的六个月里，发生了某种“相变（phase transition）”，人工智能产出了真正的、有意义的进展。

许多人感觉到，在过去的六个月里，发生了某种“相变”，人工智能产出了真正的、有意义的进展。

五月，OpenAI 震惊了数学界，当时它宣布，一个未具名的内部模型攻克了 Paul Erdős 提出的一个猜想，这个猜想困扰了数学家近一个世纪。七月，哈佛大学的数学家 Levent Alpöge 在推特上发文称，Anthropic 的 Claude Fable 5 用一个极小的反例证伪了棘手的雅可比猜想（Jacobian conjecture），推翻了数十年来试图证明其为真的努力。这些都是数学家真正关心的问题被人工智能攻克的最新例子。

Maynard 回忆说，直到最近，情况并非总是如此。除了一些显著的例外，他表示人工智能在数学领域的突破往往制造了大量关注度，但同时也揭示出，这些突破对数学核心问题的实质性影响才刚刚开始显现。

跨会话消息传递需要 Claude Code v2.1.224 或更高版本，并运行在 macOS 和 Linux 上。当会话满足要求时，消息传递自动开启，无需额外启用。有关提供方要求以及如何确认会话支持该功能，参见可用性说明。跨会话消息传递允许 Claude 将你的一个 Claude Code 会话中的消息传递给另一个会话。当一个会话中的变更导致另一个会话正在构建的内容出错时，Claude 可以在你察觉之前向该会话发出预警。当某个会话解决了一个另一个会话受阻的问题时，Claude 可以将答案传递过去。消息指的是一个 Claude 写给另一个 Claude 的一段文本，绝不包含对话历史或文件。若要转移整个对话或其上下文，请恢复会话。Claude 为此使用了两个工具：ListAgents 用于发现它可以连接的代理（agent），以及 SendMessage 用于按名称向其中一个代理传递消息。使用相同的 SendMessage 工具，Claude 也可以在单个会话或团队内向子代理和代理团队成员发送消息。本页内容涵盖你的独立会话之间的消息传递。

​何时使用跨会话消息传递

当你的一个会话拥有另一个会话在任务进行中所需的信息时，就可以使用消息传递。Claude 可以在发现需求时自行发送消息，例如在做出影响其他会话正在进行的工作的变更之后，或者你也可以要求它发送消息。常见场景：

• 移交发现：当一个会话发现了一个破坏性变更或做出了一项决策时，Claude 可以为处理受影响区域的会话总结该发现，而无需你在那里重新解释。

• 协调并行工作树：当多个会话在独立的工作树中处理同一个仓库时，Claude 可以告知其他会话已合入的内容。

• 从长时间运行的工作中获取状态：让迁移或测试运行向正在监控的会话回报结果，或者你自己从那里询问状态。

• 跨设备回复：在另一台机器或网页上，回答从你的某个会话发来的消息。跨设备时，Claude 只能回复，不能发起交流。

  在你自行启动和操控的独立会话之间使用消息传递。Claude Code 为其他运行或连接多个会话的方式提供了专门的功能，因此，请根据你的实际需求使用相应的功能，而不是使用跨会话消息传递：

• 若要在另一个终端中继续一个对话，或与新会话共享其上下文，请恢复会话

• 对于由 Claude 生成并监督的协调团队会话，请使用代理团队

• 若要从一处监控和操控多个会话，请使用代理视图

• 若要从手机或其他设备自行操控一个会话，而非让会话之间互相发送消息，请使用远程控制

• 若要将外部事件（如 CI 结果或聊天消息）推送到一个会话，请使用通道

​向其他会话发送消息

当你的一个会话得知另一个会话需要的信息（如发现、状态或决策）时，Claude 会传递该信息，而无需你在终端之间复制粘贴。Claude 使用 ListAgents 发现目标，并使用 SendMessage 发送消息，因此你无需自行调用任何一个工具。Claude 可以在未被要求的情况下决定发送消息，你也可以主动提示它发送消息。要自行提示发送消息，请告诉 Claude 你希望另一个会话了解或执行的事项。以下示例是你输入的提示，而不是 Claude 发送的消息：

询问在我另一个终端运行的会话，迁移是否已完成

Claude 会自行撰写实际的消息内容，因此你的提示可以将内容留给 Claude 决定。这个提示要求进行总结，但未规定措辞，Claude 发送的内容会因此有所不同：

向处理支付 API 的会话解释我们刚刚完成的工作

关于 Claude 撰写的消息到达时的样子及其示例，请参阅消息的样子。

​消息投递

接收方的 Claude 会在活动轮次中的工具调用间隙阅读消息，因此正在运行的工具永远不会被中断。当接收会话空闲时，Claude Code 会以该消息开始一个新轮次。在两个使用默认设置的普通交互式会话之间，Claude Code 会投递消息。但是，并非每种配置都保证投递成功。接收会话会根据自身的入站控制检查每条到达的消息，检查结果有以下三种：

• 已投递：Claude Code 将消息传递给接收方 Claude。
• 已搁置：Claude Code 将消息暂时搁置，不予投递。被搁置的消息只有在你批准后，或在后续模式或设置更改允许时，才会传递给 Claude。

• 已拒绝：Claude Code 丢弃消息，不予投递。

  消息一旦投递，会像你输入的提示一样计入用量，接收方 Claude 可以用同样的方式回复发送方，但在单向跨设备场景中除外。权限边界按会话保持独立。Claude 被指示绝不要向其他会话请求在其自身会话中被拒绝或阻止的操作，或请求其自身权限设置会阻止的操作，而应将此类工作转回给你处理。在接收方一侧，消息请求的任何事项都仍然适用接收会话自身的权限提示和规则。

​查看 Claude 可连接的会话

Claude 会自行找到消息的目标，因此你在要求它发送消息之前无需运行任何命令。若要自行查看 Claude 可以连接到哪些会话，请运行 /list-agents 命令。该命令会列出每个会话及其应答的名称，该名称就是 Claude 发送消息的地址。列表涵盖：

• 子代理：在当前会话内运行的代理。代理团队成员不会被列出；Claude 通过团队自身的名单向他们发送消息。
• 你的其他本地会话：在同一台机器上运行的 Claude Code 会话，包括后台会话。仅当会话绑定了收件箱套接字（inbox socket）时才会出现。

• 本机之外的会话：在远程控制连接时显示，并标记为 Remote Control。这些会话包括你在其他机器上的会话以及你的网页版 Claude Code 会话。Claude 无法通过发送消息来发起与这些会话的对话，只能回复从它们那里收到的消息。详见向其他机器上的会话发送消息。

  会话应答的名称是你通过 /rename 命令或 --name 标志设置的名称。如果你没有设置，Claude Code 会自行命名会话。交互式会话会根据其工作目录的文件夹名称获取一个名称，例如 myapp-3f。两个会话最终可能具有相同名称。/list-agents 的输出会显示每个本地会话的工作目录，当同名会话运行在不同目录时，可以借此区分它们。Claude 自身的列表会为每一行添加一个短标识符，并在名称冲突时将其用于地址寻址。