大语言模型是什么？写给中学生的 Transformer 入门

你在聊天框里问 AI：”给我讲个笑话。”它停顿一两秒，然后一个字一个字地把笑话”打”出来。它打字的时候，脑子里在想吗？

答案可能让你意外：它每打一个字，都在玩一场文字接龙。读完你说的每一句话，猜”下一个字最可能是什么”；猜出一个，接上去，再接着猜下一个。

“就这？”——你可能觉得这也太简单了。但今天所有能写文章、能翻译、能陪你聊天的”大模型”，核心都是这场接龙。这篇我们把它拆开看清楚：AI 到底怎么”认字”？凭什么知道下一个字猜什么？为什么它有时聪明得吓人，有时又一本正经地说错话？

不需要编程基础，也不背公式。前置知识只有一篇：深度学习是什么？一篇让小孩子也能读懂的 AI 入门教程——那里讲过的”神经网络””旋钮（参数）””猜-调循环”，这篇直接拿来用。

Key Takeaways

大语言模型干的活只有一件：接龙。读进所有的字，输出"下一个字"的概率表，然后掷骰子选一个、接上去，再猜下一个。

AI 从头到尾不认识字——文字先被切成"积木块"（token）换成编号，它算的全是数字。Llama 3 的教材有超过 15 万亿块积木（Meta 论文，2024）。

决定"怎么读上文"的核心设计叫 Transformer（Google，2017）：靠注意力机制回头看上文——读到"它"时，给"动物"打一束聚光灯。

训练是上课（旋钮在动，几千亿次循环），推理是上班（旋钮锁死，只做接龙）——你现在用的每个 AI 都在"上班"，它不会偷偷把你的话学进旋钮里。

今天就能动手：Transformer Explainer 在浏览器里跑一个真实的 GPT-2，AI 的每个零件都看得到。

本文目录：一、文字接龙 · 二、token 积木块 · 三、注意力聚光灯 · 四、训练与推理 · 五、动手拆 GPT-2 · 六、猜字大师与懂字大师 · FAQ

一、语言模型：一场文字接龙

第一篇说过，AI 认猫是”看图 → 猜答案 → 被纠正”。语言版游戏一模一样，只是答案从”猫”变成了下一个字。

给模型看半句话：”今天天气真”，它的工作是把接下去每个候选字都打个分：

Figure 1. 接龙：读"今天天气真"，给候选字打分，掷骰子选一个。概率为示意值，作者绘制。

猜完”好”，把”好”接到句尾，句子上文变成”今天天气真好”，接着猜再下一个字。就这样一个字一个字，一段回答被”接”了出来。你看到的 AI 打字总是一个字一个字往外蹦，不是故意卖关子——它真的是一个字一个字猜出来的。

别小看这场接龙。要把”今天天气真”后面的”好”猜对，模型得懂中文搭配；要把”小明把作业本忘在了学校，因为”后面接”他忘性大”而不是”学校忘性大”，它得懂常识、懂”他”指的是谁。猜对下一个字，考验的是对语言和世界的整套理解——数学上，这是个深不见底的任务。能把这个游戏玩到高分的东西，看起来就像在”使用语言”。所以科学家给这种模型起了个朴实的名字：语言模型——“大”，只是因为旋钮多（GPT-2 有 1.24 亿个参数，GPT-3 有 1750 亿个，第一篇我们数过这 1750 亿是什么概念）。

二、AI 不认识字，只认识积木块：token

第一个反直觉的事实来了：模型从头到尾不认识汉字，也不认识英文单词。计算机只认数字，所以文字要先把它们”翻译”成数字。

翻译的办法不是查字典，而是切积木：把一段文字切成一小块一小块，每一块叫一个 token。切法既不是按字，也不是按词，而是模型自己学出来的：

Figure 2. token 切分示意：中文常见一字一块，英文长词被拆成小块。作者绘制，切法依 GPT 系模型惯例示意。

为什么要切这么碎？两个原因。其一，省空间：把每种块都存进”积木字典”，字典越小越省事——高频的整词单独成块，低频的长词拆成小块，是学出来的省钱方案。其二，够灵活：网上不断冒出新词（比如”凡尔赛文学”），现拼几块旧积木就能表示，不用重修字典。

规模感受一下。OpenAI 的官方口径：常见英文文本，平均 1 个 token 约对应 4 个字符（OpenAI 帮助文档）。GPT-3 的训练教材约 3000 亿块积木（GPT-3 论文，2020）；三年后的 Llama 3 用了超过 15 万亿块（Meta 论文《The Llama 3 Herd of Models》，2024）。15 万亿块是什么概念？每秒数一块、不吃不睡，要数约 47 万年。第一篇说过”教材越多越杂，AI 学得越好”——语言模型的教材怎么堆到这个量级的，第四节揭晓。

三、Transformer：给接龙选手装上”注意力聚光灯”

接龙的难点从来不在”猜一个字”，而在读上文：上面几百个字里，哪些字跟”下一个字”有关？

看这个英文句子：The animal didn’t cross the street because it was too tired（动物没有过马路，因为它太累了）。这里的 “it” 指谁？你一秒就答上来——“累”的只能是动物，不可能是马路。但把 “tired”（累）换成 “wide”（宽），”it” 就瞬间指向马路了。机器没有常识，它靠什么锁定？

2017 年，Google 团队用一篇论文给出了答案：注意力机制（attention）。论文的标题起得相当狂：《Attention Is All You Need》——“注意力，就是你所需要的一切”（Vaswani et al.，2017）。这个架构后来得名 Transformer，今天几乎所有大模型都是它的后代。

注意力做的事，就是读每个字时回头看上文，给相关的字打”相关分”，分高的字聚光灯就亮。取重点时，按亮度加权——亮的字多听几分，暗的字少听几分：

Figure 3. 注意力示意：读到 "it" 时给上文打相关分。例句出自 Jay Alammar 的经典图解，图由作者重绘。

更妙的是，这样的聚光灯不止一束，而是几束并行，各盯各的关系：有的专盯”谁指谁”，有的盯”词怎么搭配”，有的盯”意思相近”——这叫多头注意力。原论文的基础配置是 8 束（Vaswani et al.，2017），现代大模型少则几十束、多则上百束。配上第一篇讲的”深层小筛子”，一层层往深里堆，就构成了 Transformer 的主体。那个 2017 年听起来最像口号的标题，如今看是句大实话：这些大模型里，除了注意力，确实没别的秘密。

不过聚光灯有一个天生的限制：只能照到窗口内的字。这个窗口叫上下文窗口，就是”接龙时回头看多长的上文”。GPT-2 一场能读 1024 块积木；Llama 3 训练时读 8 千块，发布的最强版本能读 12.8 万块（Meta 论文，2024）；2025 年发布的 GPT-4.1 把窗口抬到了 100 万块（OpenAI 官方博客，2025-04）。窗口之外的，聚光灯照不到——模型就当没看见。这就是为什么聊了特别长的天，AI 会开始”忘事”：不是记性变差，是你早期的话掉出了窗口。

四、训练是上课，推理是上班

第一篇讲过”猜价格”循环：猜 → 对答案 → 拧旋钮。语言模型的训练就是这个循环，但藏着一个天才设计——教材不需要人工标注。

想当年给认猫 AI 当”教材管理员”，得一张张照片贴标签（第一篇第四节）。文字接龙不用这么麻烦：互联网上的任何一段文字，把下一个字遮住，就是一道现成的考题；没遮住的原字，就是标准答案。教材免费、无限、自动生成。这就是语言模型的教材能堆到 15 万亿块、而认猫模型只能堆几万张的原因——不是工程师勤快，是互联网本来就是一份已经写好”答案”的题库。

代价是算力。GPT-3 一次完整训练的计算量约 3.14×10²³ 次浮点运算（GPT-3 论文附录 D，2020）。按一台每秒 10 万亿次运算的游戏电脑估算，不吃不睡要算约 1000 年。现实里 OpenAI 用 V100 GPU 集群训练（论文 2.3 节记载其为微软提供的 V100 集群），上万块规模与数周工期，是按附录 D 的计算量与公开报道推算的量级。这笔账是第四节之前的隐藏答案：**”大”模型的大，是钱堆出来的**。

然后是最容易误解的部分。训练结束，所有旋钮全部锁死——你今天和 ChatGPT 聊天，它做的只有”上班接龙”，不会把你说的每个字学进旋钮里：

Figure 4. 训练与推理对比：上课时旋钮在动，上班时旋钮锁死。作者绘制。

这个”上课/上班”的区分，学名一个叫训练（training），一个叫推理（inference）。区分它们，三个实际问题全有了答案：

为什么同一个 AI 永远不会”记住你教它的事”？——你的话只进了上下文窗口（这一场”上文”），没进旋钮。关掉窗口，全忘。（真想让它”学会”你的偏好，要么开新对话重新贴上文，要么等厂商拿数据做下一轮训练——那是下一门”新课”。）
为什么 AI 打字一个字一个字蹦？——上班的内容就是逐块接龙。
为什么手机也能跑 AI 了？——上课要上千块芯片（上图左），上班只要一块手机芯片能扛的算力（上图右），几十亿旋钮的小模型也扛得住。第一篇里我们在浏览器里十分钟训练过自己的 AI；现在小模型连推理都能在手机上跑，AI Edge Gallery 架构解析和Gemma 3n 端侧实测记录了这条路线的工程细节。

五、今天就动手：在浏览器里拆开一个真的 GPT-2

读到这里，接龙、token、注意力、训练/推理四个零件你都认识了。现在把它们一个个看进眼里。

打开 Transformer Explainer——佐治亚理工学院团队做的免费网页，不用注册、不用安装，直接在你的浏览器里跑一个真实的 GPT-2（1.24 亿参数，2019 年的模型）。它不是动画演示，是真模型真推理，你看到的概率和连线都是它算出来的（配套论文发表在 IEEE VIS 2024，arXiv:2405.00208）。

三个观察任务，从易到难：

找 token：在输入框打一句英文，看它被切成了哪几块——数一数 “unbelievable” 是几块。
看聚光灯：把鼠标悬停在输出端，逐层点开，找到注意力（attention）模块，看连线从哪连到哪，亮线多还是暗线多。
拆台：把输入句里的一个词换成反义词，看那张概率表怎么变。2019 年的 GPT-2 很容易出错，每个错误都是好素材：它接错的地方，正是它没学会的常识。

想数自己名字是几块积木，还有个更直接的玩具：OpenAI 的 Tokenizer 演示页，输入任何文本，实时显示切块和编号。界面是英文的，正好当第一次实战翻译。想看更炫的动画讲解，3Blue1Brown 的《But what is a GPT?》（神经网络系列第五章）值得一个晚自习。

六、猜字大师，不是懂字大师

回到第一篇埋下的问题：AI 为什么会一本正经地说错话？现在你可以自己回答了。

它的世界里没有”这句话是不是事实”这个开关，只有”这句话像不像人话”这张概率表。接龙接得越顺，越像人话；但像人话不等于真事——“他每天早餐吃石头”接龙毫无难度，读起来还很流畅。这和第一篇的结论”AI 在猜概率，不是在知道”是同一件事，只是今天你看到了那个”猜”字底下完整的机器。

好消息是，”像”和”对”大部分时候重合——因为教材是真实世界写的，15 万亿块积木把现实的语言规律几乎全刻进了旋钮里。科学家发现这里还有个配平关系：旋钮不是越多越好，教材得跟得上——参数和训练数据按比例配平，模型才学得又大又稳（Chinchilla 论文，DeepMind，2022）。换句话说，大模型的聪明，一半是旋钮，一半是教材。

最后轮到你出场。接龙游戏的”上文”，一半是教材写的，一半是你现场提供的——你问出的问题，就是它接龙的上文。问题问得清楚、背景给得具体，聚光灯才有明确的目标；问题含含糊糊，它只能对着一片模糊的”上文”掷骰子。用好 AI 的第一条诀窍，不在它那边，在你的键盘上。

FAQ

为什么同一个问题，AI 每次回答都不一样？

因为它真的在掷骰子。Figure 1 里那张概率表，每次都不是”选第一名”而是”按概率抽签”——概率高的字被抽中的机会大，但不是必中。有个叫”温度（temperature）”的旋钮管抽签的胆子：调低，永远选最稳的；调高，更敢冒险。所以让 AI 写诗时答案五花八门，问算术时基本稳定——工程师会按任务调这个旋钮。

AI 真的”懂”文字吗？

这是科学家自己都在吵的问题，没有标准答案。能确定的是：要接好龙，它必须掌握语言规律和海量世界常识（否则 “it” 指不出 animal）；不能确定的是：这种”懂”和人的”懂”是不是一回事。本篇的建议态度和第一篇一致：把它当博学但会一本正经说错话的朋友，人负责判断，它负责干活。

为什么 AI 会忘记很早之前说过的话？

上下文窗口有限。聚光灯只能照进窗口内的积木块，GPT-2 只有 1024 块，GPT-4.1 有 100 万块。你最早的话一旦掉出窗口，模型就真的”看不见”了——不是忘了，是从来没带着它上班。所以长对话中途，把关键信息再贴一次，比怪它健忘有用。

想再深入，接下来看什么？

按顺序：先把 Transformer Explainer 里的三层（token → attention → 输出概率）点一遍；然后读 Jay Alammar 的图解文章《The Illustrated Transformer》（jalammar.github.io，2018），把本篇的比喻换成真实术语；再往后，就是第一篇结尾那句话的续集了——上完中学这堂课，可以看看大学的公开课和论文了。