EN 提交工具
百科

Token(词元)是什么?一句话讲清 + 举例

Token(词元)是语言模型处理文字的最小单位,可能是一个词、半个词,或一个标点。模型先把你输入的文字切成一串 token,再据此理解和生成。知道这一点,你就明白为什么用量和额度都按 token 计。

Token(词元)是语言模型处理文字的最小单位,可能是一个词、半个词,或一个标点。模型先把你输入的文字切成一串 token,再据此理解和生成。知道这一点,你就明白为什么用量和额度都按 token 计。

一句话定义

Token 就是模型眼里的文字积木。你给它一段话,它会按一套固定规则把话切成一块块 token,每块对应一个编号,模型真正计算的是这些编号。常见的词往往是一整块,生僻词或长词会被拆成几块。中文和英文的切法也不同,有时一个字单独成块,有时几个字合成一块。

一个例子

举个例子,英文里 cat 这种常见词通常是一个 token,而 internationalization 这种长词会被拆成好几个 token。一段中文如”今天天气不错”,可能被切成”今天””天气””不错”这样几块,具体切法取决于模型用的分词方式。你不需要自己数,记住”文字越长,token 越多”就够用了。

和相近概念的区别

很多人把 token 当成”单词”或”字”,其实都不准确。一个英文单词可能是一个 token,也可能被拆成两三个;一个中文字有时单独成块,有时和邻字合并。它和”字符数”也不是一回事:字符你数得出来,token 是模型按训练时的规则切出来的,你数不出来,只能用工具估。所以看到某个模型”限多少 token”时,别直接当成同样数量的汉字。

什么时候用得上

当你关心费用、能塞进多长的内容、或者响应快慢时,token 就从抽象概念变成实际约束。用量和额度通常按 token 记,长文档、长对话都会吃掉更多 token。你可以在 ChatGPTClaude 里直接感受到这件事:贴进一份长材料再让它总结,处理的 token 就比问一句话多得多。在 ChatGPT 里,能用哪些模型、有多少额度会随你的方案和所在地区变化;在 Claude 里,用量和高级功能同样按方案不同而不同。所以同一段长文本,在不同账户下会不会超额,答案可能不一样。