405B
扎克伯格把 405B 白送了
7 月 23 日,Meta 发布 Llama 3.1,最大的版本 4050 亿参数,权重全开,商用随便用。扎克伯格配了一封公开信,《开源 AI 是前进的道路》,把这件事比作当年 Linux 掀翻 Unix。
我的朋友圈过了个节。看着 405B 的跑分一项项追上 GPT-4,心里那种"我们赢了"的热乎劲,隔着屏幕都烫手。最强的开源模型,免费,终于有一次,开源社区正面追上了闭源。
热乎劲过了一点,我开始算账。405B 用了一万六千张 H100 训练,扎克伯格自己说 Llama 3 系列花了数亿美元。互联网上没有白送的午餐,白送一定是交易。
我能看出来的有两笔。第一笔是对手的定价权。OpenAI、Anthropic、谷歌都是把最强的模型锁在 API 后面按 token 收钱;Meta 靠广告赚钱,不卖模型。一个和 GPT-4 同级的模型免费摆出来,受伤的不是 Meta,是靠模型稀缺性收钱的人。第二笔是标准。公开信里说,405B 会成为微调和蒸馏小模型的最佳选择。发布当天,亚马逊、Databricks、英伟达就宣布提供配套服务。大家都在 Llama 上搭东西,开源 AI 的标准就是 Meta 定的。
扎克伯格在信里也没藏着:开源对 Meta 有利,所以 Meta 开源。这是一句很诚实的话。
但今天我还是想先高兴一下。不管动机是什么,最好的模型之一现在人人都能下载、都能改,这对用模型的人是实打实的好处。