大语言模型的输出机制
逐个 token,生成一句话。
- 分词与嵌入
- 注意力
- 概率
- 采样
输出
大语言模型
关于这个演示
候选词、分数与注意力权重均为简化示意,不是真实模型的推理结果。中文 token 的边界也因分词器而异;这里用易读的词块展示生成流程。温度改变概率分布,采样结果不一定是概率最高的候选。
逐个 token,生成一句话。
大语言模型
候选词、分数与注意力权重均为简化示意,不是真实模型的推理结果。中文 token 的边界也因分词器而异;这里用易读的词块展示生成流程。温度改变概率分布,采样结果不一定是概率最高的候选。