第 2 章 · 大模型：生成机制、上下文与能力边界
“预测下一个 Token”解释了什么
许多自回归语言模型在生成文本时，依据已有上下文计算下一 Token 的分布，再按解码策略逐步生成。Token 是编码单元，不一定是一个词；生成也不一定每步都选概率最大的那个。
“文字接龙”可以帮助入门，但不能完整解释今天模型的能力。模型训练可能包含预训练、指令学习、偏好优化或强化学习；不同系统还可能处理图像、音频、代码及工具结果。训练数据的完整组成通常并不公开，不能断言某个模型读过“整个互联网”。
这里描述的是工作机制，不是说模型只有简单的字符串匹配能力。模型能完成不少抽象、归纳和推理任务，但这种能力并不保证每次输出正确。
四组经常混淆的概念
| 概念 | 含义 | 常见误解 |
|---|---|---|
| Token 与字符 | 同一段文字的 Token 数随分词器、语言和内容变化 | 用固定“一个汉字等于几个 Token”估算所有模型 |
| 上下文窗口与记忆 | 窗口限制单次调用处理的信息；长期记忆由应用另行保存和取回 | 聊天记录很长，就代表模型每次都完整看到 |
| 参数量与能力 | 参数量是规模指标之一，还受架构、训练、工具和任务影响 | 参数越多，任何任务都更强、更慢、更贵 |
| 生成与查证 | 模型生成回答；搜索、数据库、计算器等提供外部信息或计算结果 | 回答带链接，就已经核实了结论 |
API 成本也不只有“输入字数＋输出字数”：缓存、推理 Token、多模态输入和工具使用可能有不同规则。实际估算应使用对应模型的分词工具、用量记录及当期价格。
上下文是每一步的工作材料
一次调用的上下文可能包含系统指令、用户请求、历史消息、检索段落、技能说明和工具返回值。输出和内部推理的限额如何计算，取决于模型与接口。
窗口不足时，应用可能拒绝请求、截断历史、压缩摘要或按需检索；不是所有产品都会自动丢掉最早的消息。即便材料能全部放进窗口，模型也可能忽略关键细节。
实践中可以：
- 把长期规则、当前目标、已确认事实和待办分别整理；
- 用文件路径、段落编号或表格行号定位证据；
- 长资料分块提取后，再核对跨章节的矛盾；
- 压缩对话后重新核对关键约束，不把摘要当完整原文。
训练、检索和工具调用各做什么
- 训练/微调：改变模型参数，通常不是普通聊天的结果。
- RAG（检索增强生成）：在回答前取回相关资料放入上下文，通常不改变模型参数。
- 工具调用：应用执行搜索、计算或文件操作，再把结果交给模型。
有搜索工具的应用可以获取较新的信息；有计算器或代码环境的应用可以做确定性计算。工具提升能力，但检索可能找错材料，计算也可能使用错误公式。
幻觉和不确定性
流畅、自信、篇幅长，都不是正确性的证据。“幻觉”常指输出看似合理却没有依据或不符合事实的内容；也可能出现遗漏、错误引用和对工具结果的误读。
采用“关键结论—原始依据—检查结果”的小表，比反复加一句“不要胡说”更有帮助。让 AI 承认材料不足，必要时停止生成结论。
怎样选模型
选型从自己的样例开始：同样输入，比较正确率、遗漏、耗时、费用和可用工具。不要把国家/品牌、参数量或“旗舰”称号当能力保证。开放权重不等于无限制许可，本地部署也不自动满足保密要求；还要核查授权、数据流向、权限和运维条件。
自测： 搜索到一篇旧政策之后，模型能否可靠回答“目前要求是什么”？还要核对发布机关、生效日期、修订与废止情况。