先从一个问题说起
你有没有遇到过这种情况:
- 你给 AI 发了一大段背景资料,结果它说“您的输入超出了长度限制”
- 同一个 AI 工具,有时候回答得很详细,有时候却只说了一半就停了
- 明明只是聊了几句话,付费用户却发现额度用得很快
这些现象的背后,都藏着一个相同的概念:Token。
比喻:Token 就是 AI 世界的“字数筹码”
想象你去一个自助餐厅吃饭:
- 餐厅按你盘子里食物的重量收费
- 你夹了多少菜,就付多少钱
- 餐厅还有一个规定:每个人最多只能夹 500 克食物
在这个比喻里:
| 自助餐厅 | AI 世界 |
|---|---|
| 食物的重量 | Token 数量 |
| 按重量收费 | 按 Token 数量计费 |
| 每人最多 500 克 | 上下文窗口限制 |
你和 AI 的每一次对话,无论是你输入的文字,还是 AI 返回的回答,都会被拆分成一个个 Token,然后按数量计费。
Token 到底是什么?怎么算?
Token 是大模型处理文本的最小单位。
它不是一个字,也不是一个词,而是一个“碎片”。不同的模型有不同的拆分规则,但大致规律是这样的:
| 文本类型 | 大约多少 Token | 举例 |
|---|---|---|
| 1 个英文字母 | 不到 1 个 Token | “a” 约 0.25 个 Token |
| 1 个英文单词 | 约 1 个 Token | “apple” 约 1 个 Token |
| 1 个汉字 | 约 1-2 个 Token | “苹” 约 1-2 个 Token |
| 1 个常见中文词语 | 约 2-3 个 Token | “苹果” 约 2-3 个 Token |
| 1 条微信消息(20 字) | 约 30-40 个 Token | — |
| 1 篇 1000 字的文章 | 约 1500-2000 个 Token | — |
| 1 本 10 万字的书 | 约 15-20 万个 Token | — |
注意:这只是粗略估算。不同模型(GPT、Claude、文心一言)的 Token 计算方法略有不同,实际数量会有浮动。
简单记忆:中文 1 个字 ≈ 1-2 个 Token,英文 1 个单词 ≈ 1 个 Token。
Token 为什么重要?三个原因
原因一:Token 决定了你能问多长的问题
每个 AI 模型都有一个上下文窗口,也就是它一次能处理的 Token 上限。
| 模型 | 上下文窗口(Token) | 大约相当于 |
|---|---|---|
| GPT-3.5 | 4,000 | 约 3,000 个汉字 |
| GPT-4o | 128,000 | 约 10 万字 |
| Claude 3.5 Sonnet | 200,000 | 约 15 万字 |
| Kimi | 200,000 | 约 15 万字 |
如果你输入的内容超过了这个上限,AI 就会告诉你“太长了,我处理不了”。这时候你需要精简内容,或者分段提问。
原因二:Token 决定了 AI 能回答多长的内容
AI 的回答也是 Token。如果你让它“写一篇 5000 字的文章”,但模型的输出上限只有 4000 Token(约 3000 字),它写到一半就会停下来。
这也是为什么有时候你让 AI 写长文,它写着写着就断了——不是它偷懒,是 Token 用完了。
原因三:Token 决定了你要花多少钱
大多数 AI 产品按 Token 计费。虽然新手通常用免费版,但了解计费方式能帮你更好地规划使用。
以 OpenAI 的 API 价格为例(仅供参考,价格会变动):
| 模型 | 每 1000 个输入 Token 价格 | 每 1000 个输出 Token 价格 |
|---|---|---|
| GPT-4o | 约 $0.005 | 约 $0.015 |
| GPT-3.5 Turbo | 约 $0.0015 | 约 $0.002 |
看起来很小?算一笔账:
- 一次普通的对话:你问 100 Token,AI 回答 500 Token,总共 600 Token
- 如果每天都进行 100 次这样的对话:
- 一个月大约:600 × 100 × 30 = 1,800,000 Token
- 按 GPT-4o 价格估算:约 $9-18 美元
所以,了解 Token 不仅能帮你省钱,还能帮你选择合适的模型和套餐。
怎么节省 Token?5 个实用技巧
| 技巧 | 说明 | 举例 |
|---|---|---|
| 精简提问 | 去掉多余的客套话和背景信息 | ❌ “你好,我有一个问题想请教你,不知道你能不能帮我……” → ✅ “请用 100 字解释量子纠缠” |
| 合并多个问题 | 一次问完,不要来回反复 | ❌ 先问“李白是谁?”再问“他写过哪些诗?” → ✅ “介绍一下李白和他的代表作” |
| 控制回答长度 | 提前告诉 AI 你想要的篇幅 | 在提问末尾加“请用 200 字以内回答” |
| 避免反复纠正 | 一次把要求说清楚,减少来回修改 | 第一次就把格式、语气、长度都说清楚 |
| 使用更便宜的模型 | 简单任务用轻量模型 | 写周报用 GPT-3.5 而不是 GPT-4o |
怎么知道一段话有多少 Token?
很简单,用我们站内的 Token 计算器:
👉 [立即使用 Token 计算器](链接到 /tools/token-calculator/)
把你想发送给 AI 的文字粘贴进去,选择对应的模型,就能看到:
- 这段文字有多少 Token
- 大约相当于多少个汉字
- 按当前模型估算的费用
这样你在发送之前就能心里有数:会不会超长?大概要花多少钱?
一句话总结
Token 是大模型世界的“字数筹码”。你输入的每一个字、AI 回答的每一句话,都被拆成 Token 来计数。它决定了你能问多长、AI 能答多长、以及你要花多少钱。用好 Token,就是用好 AI 的第一步。