Week 1 — 从 ChatGPT 到 Transformer
Sign in
看得见的 LLM · 6 周课程 · 第 1 / 6 课
Week 1 — 从 ChatGPT 到 Transformer
这台会说话的机器，里面到底有什么？
今天：3 小时 · 35 张幻灯片 · 你的第一次 API 调用

Adventure 8

我们要去哪里 — 整个课程一张图说清楚
Week 1 · 今天
什么是 LLM？大局观 — next-word prediction、training vs inference、你的第一次 API 调用
Week 2
深入 model 内部 — tokens、embeddings、attention。文字怎么变成数学。
Week 3
Generation 与 prompt engineering — 让 model 精准做你想要的事
Week 4
Agents — 当 LLM 学会使用工具。Claude Code 当场作为案例。
Week 5
Agent frameworks 与 MCP — agents 怎么和真实世界对话
Week 6
Capstone — 你亲手做一个真东西

Adventure 8

今天的目的地 — 3 小时后的你
下课的时候，你能做到的事情，下面一条条说清楚。具体、可验证 — 不是空话。
✓ 能解释
LLM 是什么 — 用你自己的话说，不是抄维基百科
✓ 能分辨
Training vs inference — 以及为什么这个区分能解释整个 AI 产业
✓ 能认出
每个 LLM 都经过的三个阶段：Understand → Think → Generate
✓ 能读懂
一段 5 行的 API 调用代码，每一行都能解释清楚（读懂它，不是写它）
✓ 做过 + 写过
你的前 10+ 次 Claude API 调用 · 下周带回来 5 个项目点子

Adventure 8

约定 — 三条基本规则
开始之前，先讲清楚未来 6 周的「操作系统」。
规则 1 — 你不写代码，你读代码。
就像读莎士比亚但不用写剧本。每段代码都会逐行注释。
规则 2 — 每个概念都有一个现实世界的比喻。
Tokens → 乐高积木。Embeddings → 地图上的坐标。Attention → 聚光灯。如果某个概念太抽象，直接问比喻是什么。
规则 3 — 目标不是分数，是你的项目。
从下周开始你筛选想法。Week 6 你开始动手做。这是真技能，不是学校作业。

Adventure 8

开始之前 — 先校准一下
这不是修辞性问题。我们会停下来真聊。
使用情况
这一周你用了几次 ChatGPT、Claude 或任何 AI？每天？每周一次？从来没用过？
最棒的瞬间
这一周 AI 帮你做的最棒的事是什么？说具体的那件事。
最糟的瞬间
有没有哪次 AI 搞错了 — 或者让你觉得不太对劲？
最大的好奇
你有没有想过，AI 在生成文字的时候，里面到底发生了什么？是在思考？在查资料？还是在猜？

Adventure 8

LLM 就是一台 next-word-prediction 机器
就这样。整个事情就这么简单。
  • ChatGPT 和 Claude 做的一切 — 写作文、写代码、写情书、解量子物理、过律师考试 — 都是 同一个操作，跑成千上万次：预测下一个词
  • 一旦你知道这个，AI 行业就不再神奇，而开始变得合理。
  • 神秘感不会消失 — 它会变得 更 有意思。因为真正的问题变成了：这么简单的东西，怎么能产出这么惊艳的结果？

Adventure 8

慢动作看 model 思考
我们实际看看里面发生什么。每生成一个词，都要经过这个过程。
  • 输入的 prompt: "The weather today is really ___"
  • Model 会考虑它词汇表里的每一个词（大约 50,000–200,000 个候选），给每一个分配一个概率
  • 然后挑一个出来。通常是概率最高的那个。把它加到句子里。然后重新开始。
词
概率
nice
35%
bad
20%
hot
15%
cold
8%
... 还有 199,996 个
tiny
一直重复，直到预测到一个特殊的「stop」token。

Adventure 8

AI 当下最大的谜
这么简单的机制，怎么能写出能过大学课程的作文、能跑的代码、能验证的数学证明？
解释 1 — Model 几乎读过所有东西。
GPT-4 的 training 数据几乎涵盖了整个公开互联网的文字 — 维基百科、书、论文、GitHub、Reddit。万亿级别的词。人类写下来的每一种 pattern。
解释 2 — 「预测下一个词」比听起来难得多。
要把「刚刚下台的那个 CEO 名字叫 ___」补完，你得知道 CEO 是什么、「下台」是什么意思、最近谁辞职了、人名看起来是什么样的。所以 next-word prediction 本质上是 被压缩过的推理.

重点：简单的机制 + 巨大的规模 + 极难的任务 = 涌现出的智能。这是 LLM 革命的核心洞察。

Adventure 8

三个常见误解
每天用 ChatGPT 的人里，至少一半都信下面某条。我们现在把它们一个个戳破。
❌ 「ChatGPT 在搜索互联网。」
错。普通对话里它没有联网。只有 training data。所以它不知道这周的新闻 — 它是在回忆 pattern，不是在搜索。
❌ 「ChatGPT 是一个数据库。」
错。里面没有查询表。知识是存在几十亿个数字里的，编码的是统计 pattern — 这就是为什么它有时候会一本正经胡说八道（它在预测，不是在检索）。
⚠️ 「ChatGPT 像人一样思考。」
不完全对。它生成的文字 看起来 像人类思考，但内部机制是数字向量上的数学运算。这算不算「思考」，是严肃研究者真的在争论的开放问题。

Adventure 8

Training data — 一切知识的源头
Model 的知识从哪来？从它 training 时看到的文字。如果数据里没有，model 就不知道。就这么简单。
  • Common Crawl（公开网页）· ~60%
  • 代码（GitHub）· ~10%
  • 书籍 · ~10%
  • 维基百科、科研论文、新闻 · ~10%
  • 精挑细选/过滤过的数据 · ~10%

Adventure 8

「大」到底有多大？
Model 大小 = parameters — model 内部一个个的数字。每个 parameter 就是一个小旋钮。几十亿个旋钮，全在 training 时被调好。
Model
年份
Parameters
GPT-1
2018
117M
GPT-2
2019
1.5B
GPT-3
2020
175B
GPT-4
2023
~1.7T（估计值）
Claude 3 Opus
2024
未公开，规模相近
旋钮越多 → model 能学到的 pattern 越细。

Adventure 8

你将用到的 model 是谁做的？
两大阵营：闭源商业（质量最好，要花钱）和开源（可以下载，本地跑）。
🔒 闭源（商业）
  • OpenAI（GPT-4、GPT-5）
  • Anthropic → Claude（我们的主力工具）
  • Google（Gemini）
  • xAI（Grok）
🔓 开源
  • Meta（Llama 3.x）
  • Mistral（Mixtral、Codestral）
  • DeepSeek（V3、R1）
  • 阿里巴巴（Qwen）
  • Z.ai（GLM）

为什么这门课用 Claude：这是我们 6 周课都会用的工具。但每个概念对其他 model 同样适用。

Adventure 8

快速自检 — 课中检查点
用你自己的话 — ChatGPT 在回答问题的时候到底在做什么？不用说得完美。用你自己的语气。试着自然地用上「预测下一个词」这个说法。
✓ 你能清楚地说出来
很好 — 核心概念你掌握了。
✓ 你 差不多 能说出来
完全正常。能说多少说多少。
✓ 你还说不出来
也没关系。我们休息后再回来。

⏸ 休息 1 — 10 分钟。 去喝水。走一走。别看手机 — 让刚才学的东西在脑子里沉淀一下。大脑是在休息时巩固知识的，不是在持续输入时。

Adventure 8

预测到底是怎么发生的 — 三个阶段
Model 生成的每一个词都要经过这三个阶段。一段 100 词的回答，要重复 100 次。这就是 2025 年所有 LLM 的架构。
1
1 · UNDERSTAND
把你的文字变成数学能处理的东西。Tokenization + embedding。 （深入：Week 2）
2
2 · THINK
处理这些数字，找出相关的部分，构建出意义。这就是 Transformer 内部的 Attention 机制。 （深入：Week 2）
3
3 · GENERATE
把下一个词输出成一个 probability distribution。挑一个。加上去。重复。 （深入：Week 3）

Adventure 8

Stage 1 — Understand：「Apple」是怎么进入机器的？
电脑只能对数字做数学运算。但「apple」是字母。语言到底怎么进去的？两步。
Step A — Tokenization
把文字切成一块一块的，叫做 tokens （大致是词的片段）。「apple」→ 1 个 token。「unbelievable」→ 3 个 tokens（un + believ + able）。「你好」→ 2 个 tokens。每个 token 在 model 的词汇表里都有一个 ID 编号。
Step B — Embedding
把每个 token ID 转成一个由几百/几千个数字组成的列表 — 一个 embedding。这个列表就是这个 token 的「含义」，是一个巨大抽象空间里的坐标。就像 GPS 坐标，只不过坐标的是「意义」。
「King」和「Queen」最后会很近。「Apple」和「Banana」很近。「Apple」和「Tuesday」相距很远。下周我们深入 — 今天你只要知道：Stage 1 把词变成数字。

Adventure 8

Stage 2 — Think：Model 的「思考」叫做 Attention
当你的句子变成一串数字向量之后，model 得搞清楚它到底是什么意思。
聚光灯的比喻
当你读「Mike gave the book to his sister because SHE wanted to read it」的时候，读到「she」你的眼睛会自动回去看「sister」。你是自动做这件事的。
每个词 × 每个词 — 同时进行
Model 做的也一样 — 但对每个词，它会看所有其他词， 同时、并行地。每个词都在问其他每个词：「你跟我有多相关？」
为什么叫「Transformer」
这个 attention 机制，堆叠 96+ 层深，就是整个架构。名字来自 2017 年的论文「Attention Is All You Need」。在 Transformers 之前，model 只能看到附近的词。Transformers 能看到全部。Week 2 我们深入讲。

Adventure 8

Stage 3 — Generate：Model 怎么挑下一个词
「思考」之后，model 会产出一个 probability distribution（概率分布） 覆盖它整个词汇表。但它不会总是挑概率最高的那个词 — 有几个参数在控制这件事。
Temperature
控制「有创造力」还是「无聊」。T=0 → 永远挑最可能的词（可预测）。T=1.5+ → 狂野，有时候会崩。默认大约 0.7。
Top-K
只考虑概率最高的 K 个词。K=50 → 忽略剩下的 49,950 个。
Top-P（Nucleus）
只考虑概率累积到 P% 之内的词。会自适应 — 有时候 3 个 tokens，有时候 200 个。
Week 3 内容预告：prompt engineering — 精心设计输入，得到你想要的输出。整门课里 ROI 最高的技能。

Adventure 8

为什么其他路子都失败了？
Transformers 不是凭空冒出来的。是 70 年失败的尝试堆出来的。
1
1950s–90s — 基于规则的系统
「如果 X，就 Y。」下象棋管用。处理语言时崩了（规则太复杂写不完）。
2
1990s–2000s — 统计机器翻译
对词序列做概率统计。处理不了长距离依赖。「He went to the bank」— 哪个 bank？河岸还是银行？
3
2010–2017 — RNNs
第一次真正的「语言理解」。短句还行。长段落就记不住了。
4
2017 — Transformers（「Attention Is All You Need」）
并行 + 全局 attention。每个词同时看到所有其他词。改变了一切。
5
2020+ — Scaling Laws（规模化定律）
同样的 Transformer，但大得多。GPT-3 证明了光是放大规模就能解锁新能力。今天所有人都在用 Transformers。

Adventure 8

三个阶段在课程里分别在哪讲
今天你不需要完全掌握每个阶段 — 只要知道它们存在，知道它们叫什么。
今天
唯一一次你会同时看到三个阶段的一天
Weeks 2–3
之后每一周都会放大其中一块
到 Week 3 时
你已经详细看过每个阶段
到 Week 6 时
你会用上三个阶段一起，做一个真东西

Adventure 8

你说得出来吗？— 知识检查 2
试着把它填出来 大声说。不要读 — 说出来。哪怕说得不完美。说出来这个动作本身，才能让东西真的记住。
「LLM 是一台 __________ 机器。为了产出每一个词，它要经过三个阶段：第一，它 __________ 输入，把它变成 __________ 。第二，它 __________ ，用的是一个叫 __________ 的机制。第三，它对下一个词 __________ 出一个概率。」

答案：next-word-prediction / 理解 / 数字（embeddings）/ 思考 / Attention / 生成
如果你能填出来（哪怕不完美）：你的基础就有了。之后所有内容都是在给每个空填细节。

Adventure 8

「AI Model」其实指的是两件事
大多数人没意识到这个区分。一旦你看懂了，整个 AI 行业就讲得通了 — 成本、公司、商业模式，全都讲得通。
事 1 — Model 本身
一个巨大的数字文件（叫 weights）。就是大脑。一个静态产物，像一本写好的书。放在服务器上，下次 training 之前不会变。生产它的过程叫 TRAINING.
事 2 — 使用 Model
发一个问题，拿到一个答案。让 model 处理新的输入。Model 本身不会变 — 它只是处理你这个特定的 prompt。这个过程叫 INFERENCE.

成本差距大到离谱 — 大约是 10 亿比 1 的比例。 Training：几亿美元，几个月。Inference：不到一美分，几秒钟。

Adventure 8

Training — 造大脑
Training 时到底发生了什么？完整流程，附真实数据。
01
初始化 Model
把所有 parameters 设成随机数字开始。Model 此刻一无所知。
02
预测下一个词
给它一个最后一个词被遮住的句子。让它猜。
03
调整 Parameters
把每个 parameter 朝正确答案的方向稍微推一推。
04
放大规模 & 重复
做这个动作 上万亿次 在万亿个词上。

真实数据：GPT-4 级别的 = 一次跑要 1 亿美元以上，3–6 个月，10,000+ 个 GPUs 24/7 不停跑。产出：一个大约 1 TB 的 weights 文件。

Adventure 8

Inference — 向大脑提问
你发一条消息给 Claude 此刻时会发生什么？注意看它和 training 多不一样。
01
Tokenization
你的文字被 tokenize（Stage 1）— 被切成 tokens，转成数字向量
02
加载 Weights
Model 把 weights 加载到 GPU 内存里 — 已经训练好的，在 Anthropic 服务器上等着
03
Stages 2 & 3 运行
Attention + generation，每一个词重复一次 — 一次一个 token
04
Tokens 流式回传
词一个一个出现 — 那就是 model 在实时生成

真实数据：1–8 个 GPUs，几秒钟，每次调用不到一美分。

Adventure 8

AI 行业的两层结构
一旦你理解了 training vs inference，整个行业就清晰了。两层。完全不同的生意。
第 1 层 — 基础 Model 实验室
全世界 5–10 家 训练 model 的公司。
  • OpenAI、Anthropic、Google
  • Meta、Mistral、DeepSeek
  • 需要几亿美元
  • 超算访问权 + 世界级研究员
第 2 层 — 其他所有人
创业公司、大企业、你爸的生意， 你.
  • 使用 model 通过 API
  • 需要一个 API key 和一个好想法
  • 不需要超级计算机
  • 你做的所有东西都在这一层

这门课里你做的所有东西，都活在第 2 层。 你不需要几亿美元。你只需要一个 API key。这就是整个重点。

Adventure 8

Inference 实际花多少钱？
Anthropic API 的真实定价。这就是你实际要付的钱。
$3
每 100 万 tokens 输入
Claude Sonnet 4.5 输入定价
$15
每 100 万 tokens 输出
Claude Sonnet 4.5 输出定价
$0.02
典型的问答调用
1,000 词问题 + 1,000 词答案 ≈ 2,500 tokens
  • 100 万 tokens ≈ 75 万词
  • 实际中：今天大多数实验花的钱不到一美分
  • 一个认真做的副项目大概每月 $5–50

Adventure 8

Training / Inference 速查表
如果这一节你别的都不记得，记住这张表。

TRAINING
INFERENCE
谁
基础 model 实验室（5–10 家公司）
所有人 — 你、创业公司、大企业
什么时候
一次，要 3–6 个月
每一次 API 调用
成本
每次跑 $1 亿–$10 亿
每次调用 $0.0001–$0.10
硬件
10,000+ 个 GPUs 跑几个月
1–8 个 GPUs 跑几秒
数据
万亿个词
就你这一个 prompt
输出
Model 的 weights 文件（大约 1 TB）
对一次询问的回答

Adventure 8

理论讲完了 — 来真的动手
这节课剩下的时间，你要做的事，是每个 AI 工程师每天都在做的事：调用 API。从理解过渡到动手。
01
打开 Anthropic Console
去 console.anthropic.com — 一切 Claude 相关的控制台
02
拿一个 API Key
我会发给你一个。这是你的凭证，你打给 Claude 的电话线。
03
读一段 5 行的代码
每一行都有注释。读它，不是写它。像读菜谱。
04
跑一次
你的第一次真正的 API 调用。Anthropic 的 GPUs 会为你运转。花掉几分之一美分。
05
改一改
改 temperature、prompt、model。看看每个改动怎么影响输出。

提醒：你不写代码。你读代码。像读菜谱一样。

Adventure 8

你的第一次 API 调用 — 用 Python
和 Claude 对话的最少代码。世界上所有用 Claude 做的产品，都建在这个基础上。像读英文一样，从左到右读。
# 1: Import the Anthropic library

from anthropic import Anthropic



# 2: Create a "client" — your phone line to Claude

client = Anthropic()



# 3-7: Send a message and get a response

response = client.messages.create(

    model="claude-sonnet-4-5",       # Which Claude model

    max_tokens=1024,                 # Cap on response length

    messages=[

        {"role": "user", "content": "Hello! What's the capital of France?"}

    ]

)



# 8: Print the answer

print(response.content[0].text)
就这样。每家 AI 创业公司、每一次 Claude 集成、每一个 agent，都从这里开始。复杂度来自你往里塞什么 messages。结构本身永远不变。

Adventure 8

像读英文一样读代码
逐行走一遍。你应该能把每一行解释给别人听。
from anthropic import Anthropic
「从这个库里，拿这个工具。」像打电话前打开 phone app 一样。
client = Anthropic()
创建一个连接。 () 意思是「新建一个」。自动从环境里读取你的 API key。
model="claude-sonnet-4-5"
用哪个版本。Sonnet = 快 + 聪明（默认）。Haiku = 更快 + 更简单（便宜任务）。Opus = 最聪明 + 最慢（难任务）。
max_tokens=1024
「最多写 ~750 词。」回复长度的安全上限。Tokens 是要花钱的。
messages=[{"role": "user", "content": "..."}]
对话。 role: user = 我们说话。 role: assistant = Claude 的回复。这个列表可以扩展成多轮对话。
print(response.content[0].text)
拿回答案。包在一个对象里 — 我们要钻进去取出文字。

Adventure 8

你最常调的三个旋钮
Parameters 有很多，但这三个能应付 90% 的真实场景。学会它们，你几乎能做任何东西。
1 · MODEL
用哪个 Claude。和任务复杂度匹配。
  • Haiku 4.5 — 便宜 / 快 / 简单任务
  • Sonnet 4.5 — 默认，从这里开始
  • Opus 4.7 — 最聪明 / 最贵 / 难题
2 · MAX_TOKENS
回复长度上限。Tokens 是要花钱的。
  • 100–500：简短回答
  • 1,000–2,000：普通对话
  • 4,000–8,000：长文章 / 代码
3 · TEMPERATURE
有创意 vs 可预测。
  • 0.0 — 确定性（代码 / 数学 / 事实）
  • 0.7 — 默认，感觉自然
  • 1.0+ — 有创意、头脑风暴
  • 1.5+ — 狂野，有时候会崩

Adventure 8

对话怎么组织 — Roles
每段对话都是一个「messages」列表。每条 message 都有一个 ROLE。理解 roles 是做任何真实 AI 产品的关键。
USER
就是你。你问的或者说的话。
ASSISTANT
就是 Claude。它给的回复。
SYSTEM
Week 3 会完整介绍 — 持久性的「游戏规则」，model 在 之前 对话开始就拿到。

真实的对话 = 一个不断增长的、USER 和 ASSISTANT 交替的 messages 列表。每次调用，你都要发送 整段历史 — Model 在两次调用之间没有记忆。

Adventure 8

轮到你了 — 我们现场跑一次
一步一步来。我们要去 Anthropic Console Workbench — 不需要 Python，就是同一套 API 的 UI 封装。
01
输入一个 prompt
在 user 框里输入你的消息
02
设置 parameters
在右侧面板调 temperature 和 model
03
点 Run
发出去 — Anthropic 的 GPUs 干活
04
读回复
它说了什么？和你想象的一样吗？
05
改一个东西
再跑一次。把两次输出并排对比。

Adventure 8

当 10 分钟科学家
你和 AI 的第一次真正的科学实验。同样的输入，只改一个 parameter，观察输出。AI 研究员测 model 就是这么做的。
01
挑一个有意思的 prompt
示例：「写一段关于冰箱的恐怖小说。」/「给一个 3D 打印服务建议 5 个名字。」/「生命的意义是什么？」
02
用 temperature = 0.0 跑 5 次
5 次输出有多像？
03
用 temperature = 0.7 跑 5 次
这次有多不一样？
04
用 temperature = 1.5 跑 5 次
它什么时候开始崩？

观察：T=0.0 时，5 次输出有多像？T=0.7 时，有多不一样？T=1.5 时，什么时候崩？

Adventure 8

3 小时总结
停一下。看看你今天学了什么。大多数每天用 ChatGPT 的成年人，下面这些一句都说不出来。3 小时之后，你能。
✅ 路线图
6 周课 → 长期项目。你知道我们要去哪。
✅ LLM 是什么
一台 next-word-prediction 机器。简单的机制，巨大的规模，惊人的能力。
✅ 三个阶段
Understand → Think → Generate。每一个词、每一次回复、每一个 model。
✅ Training vs Inference
造大脑（$10 亿，一次）vs 使用它（$0.02，每次调用）。整个行业建立在这个区分上。
✅ 第一次 API 调用
你读了它、跑了它、改了它。从技术上讲，你现在就是 AI 开发者。

Adventure 8

本周任务 + Week 2 预告
📋 作业 — 带 5 个项目点子来
1 · 真实
解决你、朋友、或家人真实存在的问题。不是假设的。
2 · 具体
不是「学校用 AI」。而是：「一个能在考试前一晚帮我整理西班牙语单词的 AI」。
3 · 无聊也行
最好的产品解决的是不起眼的真实问题。不要追求酷炫 — 追求有用。
格式：每个 2-3 句话，写在 Notion 或 Google doc 里。Week 2 带来。
下周 — 深入机器内部：我们把盒子撬开。Tokens 变成数字向量。Attention 变成聚光灯。你会亲眼看到 怎么 「预测下一个词」变成智能的。

Adventure 8