LLaMA 权重泄漏这十天

3 月 3 日，4chan 上一个叫 llamanon 的账号，在 AI 聊天串里贴了一个种子链接。里面是 Meta 一周前刚发布的 LLaMA 全部权重，7B 到 65B，一个没少。

往前倒一周。2 月 24 日，Meta 用一篇博客发布了 LLaMA：13B 在多数测试里超过了 175B 的 GPT-3，65B 对标 DeepMind 的 Chinchilla，而且小到一块显卡就能跑。但权重不公开，想要得填表申请，Meta 逐个审批，只许研究用。开放是开放了，开在 Meta 自己的院子里。

种子一散，院墙就没了。当天就有人在 GitHub 上提了个 PR，标题是 "save bandwidth by using a torrent to distribute more efficiently"，用种子分发更省带宽，说得很体贴。3 月 6 日 Meta 给 HuggingFace 发了下架通知，可种子这种东西，散出去就收不回来。这几天时间线上全是喜报：有人在单块 A100 上跑通了 65B，有人把 13B 塞进了 MacBook。

昨天，斯坦福放出了 Alpaca。LLaMA 7B 加上 5.2 万条指令数据，前后花了不到 600 美元，效果摸到了 text-davinci-003 的边。

这十天我一直在刷这些消息，心情很简单。我们为"失控"欢呼，觉得开源赢了一次大的。

为什么这么激动，我想了一下。现在想用好的大模型，只有 OpenAI 的 API 可选，权重摸不到；能下载的 OPT 质量不够，BLOOM 又大又笨。LLaMA 是第一个"够强又够小"的底座。走正规申请，它只会落到学术圈手里，慢慢发论文；泄漏之后，任何一个有显卡的人当晚就能开干。Alpaca 这种几百美元的草根爆改，只可能在后一种世界里发生。

我也在想 Meta 接下来会怎么做。法务确实动了，可我没看到它大张旗鼓地追查泄漏者。它在这场竞赛里落后 OpenAI 一截，封闭着打未必打得赢，一个现成的开源生态突然冒出来，对它未必全是坏事。不过这只是猜测。眼下我更愿意相信，这就是一次意外，一次社区的胜利。