• 开始训练前,姚顺雨用自己的旧东家 OpenAI 举例给团队鼓劲:直到今天,OpenAI 的基础模型也没有依赖过什么神秘的技术,甚至底层架构与 2023 年比没有什么根本性的变化。这也是他如此看中数据的原因。他认为,做大模型没有魔法,也不要相信别人有魔法。真正难的是把最基础、确定能做对的事情都做对 —— 做到这些,足以让混元挤进中国的第一梯队。

  • 部门内的层级也被简化,只有 “姚顺雨 — 方向负责人 — 研究员/实习生” 三层。各组之间的信息、资源被共享。团队成员有任何问题都可以丢到百人大群,迅速有人响应,帮忙给出解决方案。
  • 姚顺雨反复对内提到,训大模型,组织很重要。

  • 在头部大模型团队纷纷押注新架构的当下,Hy3 用了最标准的 MoE Transformer 架构。内部讨论过,是否引入 Qwen、Kimi 都在用的线性注意力方案,但最终放弃了。一个判断是,线性注意力的主要价值在于降低长文本场景下的计算成本,但当下的真实世界里,真正用到超长文本的场景并没有那么多。

  • Hy3 并不是完全没有企图心。按照姚顺雨的设想,混元不需要在所有能力上正面击败 Claude Opus 这样的前沿模型。如果一个模型能以 Opus 1% 的价格,在 90% 的日常问题上做到与它一样好,甚至超过它,对大多数用户来说这就是一个更优的模型。

  • “这是一种训练哲学,先清楚定义目标 —— 大多数用户日常真实面对的任务是什么、愿意承担多少成本,再从中寻找最优解,而不是一上来就盲目堆资源,追求智能的最高点。” 一位混元人士说。而腾讯的产品里就装着这些需求 —— 社交、办公、文档、搜索、客服、内容。

  • 为了验证猜想,Hy3 把总参数量定在了 295B,远低于同期 Kimi K2.5 的 1T 和 GLM-5.2 的近 750B;每次推理仅激活 21B 参数,推理成本约为 GLM-5.2 的七分之一。

  • 它放弃了不少看上去很酷的技术实践,比如像 Kimi 一样让数百个 Agent 并行协作,或是把参数堆到上万亿,在混元的价值体系里,这些都不是一定要做的。每当有研究员提出一些天马行空的想法,姚顺雨很快会把他拉回到现实中,提醒他们要多思考,“这对大多数人来说,这真的有用吗?能解决多少人的问题?”

  • 通常而言,更大的参数规模意味着更高的能力上限;但 Hy3 显示出,只要数据和后训练做得好,不到 300B 的底座模型,在一些任务上已经能够与 1T 参数的模型竞争。


  • 他在内部解释过为什么来腾讯。当下大模型稀缺的不再是训练技巧,而是找到真正值得解决的问题,而好问题恰在互联网公司的业务里。全球真正沉淀了大量上下文(Context)的公司不多,腾讯和 Meta 是最典型的两家。字节的用户规模虽大,但生态围绕推荐和分发,这类沉淀相对有限。

  • 所以在姚顺雨的构想中,模型与产品应该以联合设计(Co-design)的模式合作,即模型和产品从一开始就绑定在一起开发,模型可以第一时间拿到产品的真实场景和用户反馈,知道自己该往哪里改;产品也能及时向模型同步需求,不用等一个通用模型送上门,再调整、将就。


  • 他也知道,业务是证明混元价值的地方,必须笼络。一位混元人士告诉我们,今天大模型行业普遍面临商业化难题,但腾讯的思路是,不一定要向外部客户收费,能帮业务提升收入,同样是混元的价值。

  • 为了打破僵局,姚顺雨在 2025 年底提出,将自己手上的模型应用中心、搜索算法中心划归元宝所在的云与智慧产业事业群(CSIG)。CSIG 手里有腾讯的多数 AI 产品,比如元宝、ima、CodeBuddy、WorkBuddy。

  • “他清楚自己当前的主要任务是什么,就是和业务处好关系,把 Co-design 的想法落地;搜索不紧急,也不是他最感兴趣的,没必要抓着不放。” 一位腾讯人士说。

  • 借着这个契机,混元向元宝等业务分别派驻了一支后训练团队,建立起了联合设计、交叉派驻、代码审查与共享的合作机制。春节前,姚顺雨每周都会和元宝开会,甚至隔几天就会了解元宝的进展。有时在总办会上,他还会不吝称赞元宝的某个新设计,尽管它还不那么完善。


  • 他提出了 “守正出奇” 的训练思路,即先回归常识,把训练大模型最基础的事做对,再谈创新。

  • 三个月后,混元发布了全新一代大模型 Hy3 Preview。这是 “守正” 的结果:模型规模克制、使用的是最传统的架构,最大的变化是重构了 Infra,同时丢掉了大量脏数据。

  • 一位接近腾讯高层人士说,接下来才是混元挑战的开始。“容易的事情做完了,守正以后,大家等着看他如何出奇了。”