DeepSeek新年第一篇论文，把训练崩盘摁到1.6倍

2026年1月4日，今天我把DeepSeek新年第一篇论文啃完了，硬核到超乎想象，但信息量巨大，趁着记忆新鲜赶紧用自己的话记一遍。

2026年新年第一天，DeepSeek又开卷了，发了他们新年的第一篇论文：《mHC: Manifold-Constrained Hyper-Connections》。感觉这是DeepSeek-V4的铺垫，当然一些小道消息不保真，我也不懂，只是拍脑袋预测一下：V4大概在1月中下旬或者1月底，有多模态输入，没有多模态输出。就酱，回到论文。

这篇论文说实话有点过于硬核，但传递出来的信息量和对AI界的改变又是巨大的。我给自己放了一天假，又啃了一天（这玩意比我想象的难啃多了），还是想用最通俗易懂、最有意思的方式把它记下来：这篇论文有趣在哪，以及它是如何对现在的生态进行新的输入的。先给自己叠个甲：我不是算法出身，这些理解和乱七八糟的名词解释都是我民科式自学的结果，部分措辞是为便于自己理解做的简化，如果有理解错误，回头我再对着原论文核对修正。

在开始之前，先问自己一个问题：一个要处理图片、声音、文字这么多乱七八糟信息的新模型，它最需要的是什么？是一块更强的GPU吗？是一个更大的内存吗？DeepSeek这篇文章给出的答案是：一个极其稳定、高效的、模型内部的信息流转系统。

要理解这个东西，先穿越回去，穿越回2015年，从一个男人和一个伟大的想法说起。这个故事要从盘古开天……啊不，要从何恺明盖楼开始聊。我们都知道大模型是神经网络，现在可以把一个神经网络当成一家开在101大厦里的超级公司：数据像一份客户需求，从一楼前台进去，先交给销售部分析，再传给二楼市场部包装，接着送到三楼产品部进行需求评审……需求就这样坐着楼梯一层一层往上爬，每一层都对这份信息做一点加工和提炼，最后这份被层层解读过的报告送到顶楼的CEO办公室，由CEO拍板给出最终决策。理论上楼层越多、部门分工越细，公司的专业度就越高，处理复杂问题的能力就越强。但在2015年，全世界的AI大佬们都碰到了一个鬼故事：这栋楼，它特娘的盖不高，最多盖到二三十层就到头了，再往上整个公司就直接罢工，因为信息在传递过程中会失真。

不知道有没有玩过《王牌对王牌》里那种传声筒游戏：第一个人接到信息后在有限时间内往后传，最后一个人复述出来看还能复述多少字。这个游戏巨搞笑，因为最后一个人说出来的跟第一个人往往风牛马不相及。在这个101大厦里也一样：一楼销售部明明说的是"老板想喝咖啡"，传到十楼变成了"老板喜欢吃咖啡壶"，传到二十楼成了"老板去中国有嘻哈上唱了首咖啡壶我的Baby"，等传到三十楼CEO耳朵里，可能已经变成"老板觉得自己是只屌炸天的咖啡壶"。这就完蛋了，CEO根据这个离谱信息做出的决策肯定是灾难性的。在AI里，这个现象有个高大上的名字叫梯度消失：说人话就是信号在深层网络里传来传去、衰减得一干二净，脑子直接短路，这破活干不了一点了。

就在整个AI界对此一筹莫展的时候，当时还在微软的何恺明站了出来，做了一个看似简单却直接改变世界的决定：他在大楼里修了一部VIP直达电梯，从一楼前台可以直达任何一个楼层，包括顶楼的CEO办公室。于是流程变成了这样：客户需求进来后依然要一层层爬楼梯、接受各部门加工，但与此同时，前台会把这份文件的原件复印件放进这部VIP电梯，嗖地一下直接送到CEO的办公桌上。这样一来，CEO在看下面部门交上来的、可能已被传得面目全非的报告时，可以随时拿起旁边那份原件复印件来对比："哦，底下人说老板是咖啡壶，但原件说的是老板想喝咖啡，那肯定是底下人传话传错了。"信息就这样被保真了。这部天才的电梯就是残差连接（Residual Connection），它像一根定海神针贯穿了整栋大楼，让最原始的信息可以在不同楼层间无损穿梭，时刻校准整个公司的前进方向。可虽然它很伟大，却有一个致命的毛病：太TM窄了，一次只能送一份文件。

时间快进到今天，AI公司已经不是当年那个只处理文字需求的小作坊了，它成了一个要处理图片、视频、音频、代码的超级巨无霸，CEO每天要处理的信息从一份文件变成了一卡车的资料，只靠一部小VIP电梯来回送复印件，运力严重不足，这条曾经的VIP电梯现在成了全公司最堵的羊肠小道。咋办呢？一群更激进更年轻的大佬一拍桌子：一部电梯不够，咱们把整面墙都砸了，修一个电梯井吧，把一条单行道直接拓宽成双向八车道，让信息流淌起来不就完了？这个狂野的想法就是超连接（Hyper-Connections），来自2024年字节Seed发的一篇论文。以前信息是一条单线流动的信息流，现在他们把这条信息流强行扩容成四条、八条并行的信息流VIP电梯，就好比以前公司里只有一个信使，现在搞了一个8人信使送货团，8个人一起拎着大包小包一起送信。这下牛逼坏了，信息通量瞬间指数级暴增，模型性能也立竿见影地往上涨，你看，电梯多了，聪明的智商又占领高地了。

但是，就像所有恐怖故事的开头一样，好景不长。这条宽阔的八车道VIP电梯很快就开始闹鬼了。你想啊，这8个兄弟是人不是机器，他们在路上会互相聊天、交流情报，人多嘴杂，就导致他们不再是单纯地传递信息，而开始在信息流里自由发挥，于是各种诡异的事情发生了。比如一楼前台收到消息说市场部小王今天可能要请假，信使A听了觉得这事挺重要，告诉了信使B；信使B觉得"可能"这个词不确定，就跟信使C说市场部小王今天要请假；信使C一琢磨，觉得得强调一下严重性，就跟信使D说市场部整个组今天都要罢工；最后传到CEO耳朵里就变成了：市场部全体员工已经卷款跑路了！！！CEO：？？？？？？？？一个无关紧要的小信息，在多条信道里被反复共振、放大，最后酿成一场灾难，这就是信号爆炸。再比如，一份十万火急的"服务器着火了"的文件被分成八份交给八个信使，结果每个信使都觉得这么重要的事其他七个人肯定会送到，我不如出去挣个外快先去送个外卖，结果谁都没送，公司直接烧成了灰，这就是信号消失。整个公司的信息系统陷入一片混乱，这就导致模型训练到12000步的时候，性能突然断崖式下跌，跟跳楼似的，比心电图还心电图，这模型就算废了，直接训崩了。这就是HC技术最大的命门：它为了追求信息通量，牺牲了信息的保真度和稳定性。

好了，铺垫了这么久，DeepSeek的mHC终于要登场了。mHC，全称Manifold-Constrained Hyper-Connections，流形约束超连接，注意"约束"这个词。DeepSeek干了个啥事呢？他们没有开掉那几个信使，也没有砸掉电梯说劳资要用火箭送，他们只是给这个8人送信小队制定了一套极其严格、甚至有点变态的信息传递纪律。这套纪律的核心，在论文里叫双重随机矩阵约束。咱们还是说人话：你可以理解为他们设立了一个内部审计部，由一个究极不近人情的德国老太太领导，权力大到吓人。这个审计部给每个信使都发了一本小册子，上面印着两条铁律。

第一条铁律，信息能量守恒定律：作为一个信使，你从上一站收到的所有信息，其信息能量总和是100%，那么你把信息传递给下一站的队友时，传递出去的所有信息能量总和也必须不多不少，正好是100%。回到上面信息爆炸那个案例：信使A收到了"小王请假"这个信息，我们假设它的信息能量是10个单位，这时候信使A想添油加醋告诉信使B一个更夸张的版本，但审计部的系统会立刻报警，因为他私自加了信息，导致输出能量（比如20个单位）大于输入能量（10个单位），这是在无中生有、暗度陈仓、顺手牵羊，严重违反信息能量守恒定律，结果就是信使A当场被开除。在这套铁律下，信使们依然可以交流，但任何放大和夸张的行为都会在数学上被立刻识别并禁止，谣言的传播链从根上就被斩断了，信号爆炸的问题就此解决。

第二条铁律，团队责任绑定定律：对于任何一个需要被送达的信息，比如"服务器着火"这份文件，最终抵达目的地的信息能量总和，必须不多不少正好等于它出发时的信息能量总和。还是刚那个事：信使A想"这么多人呢，我不送也没事吧"，于是选择摸鱼，贡献的能量是0；信使B也想"总有傻子会送的"，贡献也是0。如果八个人都这么想，那么最终抵达CEO办公室的、关于服务器着火的信息能量总和就是0，审计部的系统立刻拉响最高级别的警报，因为它发现出发时明明是100单位的能量，抵达时却变成了0。根据团队责任绑定定律，整个信使团队都将面临重罚。为了避免这种情况，信使们就必须互相补位：如果A不干，B、C、D就必须分摊他的工作，因为最终的那个总和是死命令，必须凑够。责任扩散的可能性在数学上就被杜绝了，信息必须被送达，信号消失的问题也就此解决。这两条铁律合在一起，就是所谓的双重随机矩阵约束。它没有禁止信使们交流，八车道高速公路依然车水马龙，信息依然可以在其间自由组合，但所有的自由都被约束在了一个能量守恒的流形之内。这就是mHC的精髓：在这约束之下，给你自由。

那最后的终极问题来了：这玩意解决了HC的不稳定问题之后，到底有什么用？我先记两个数字。第一，这套所谓的审计系统会带来大概6.7%的额外训练开销；第二，能力上确实有部分提升，相对HC额外多出约2个点。看着是不是好像投入产出不成正比，这生意听起来有点亏？但是别被表面骗了。在模型训练里，还有一个很核心的词叫稳定性。比如之前HC架构那个公司会有各种信息爆炸的问题，如果我原来的信息能量初始值是1，在信息传递过程中，最高的时候传到CEO办公室能干到3000，你就能想象有多失真，这个恐怖的失真有时候就直接变成摧毁模型训练的一场风暴。而DeepSeek的mHC，在铁律之下几乎全部做到了100%保真，最高也不过才1.6。3000比1.6，直接降低了3个数量级，对，不是3倍，是3个数量级，这就是mHC最牛逼的地方，太吓人了。这个稳定性带来的好处显而易见：它用额外6.7%的开销成本，把让你模型训练瞬间崩盘的3000倍系统性风险，直接摁死到了可以忽略不计的1.6倍。要知道模型训练太贵了，对一家AI公司来说，训模型每一秒烧掉的钱都是触目惊心的，任何一次过程中的训练崩盘，那损失的就不只是6.7%的额外开销，而是100%的建造成本，所有的一切全要重头再来，有可能就是数千万的成本，还有好几周的时间。这就是HC系统那张心电图背后，极高的、不可预测的、灾难性的失败风险。它确实提高了模型的效率，但这种不稳定性几乎很难接受。现在我们再回来看mHC那6.7%的额外开销，你还觉得它贵吗？把它当一份保险看，你就觉得一丁点也不贵：仅仅6.7%的额外开销，就能为一项千万美元级别的投资提供近乎百分之百的安全保障，这在任何一个金融模型里都是一笔划算到笑出声的买卖，而且性能还是更强的，这买卖好到离谱。稳定、高效、还更强，这三者通常是一个不可能三角，你只能取其二，而mHC用一个精巧的数学设计和极致的工程优化，把这三者全占了。这就是为什么我说，这篇论文虽然低调，但意义重大。

DeepSeek，真的就是我们这个AI时代的源神，每一篇论文都能给行业一些小小的震撼。赞美源神，今天先记到这。