选型指南
品牌评测
2026年3月23日中国发展高层论坛年会上，国家数据局局长刘烈宏正式将token翻译成中文为词元。这其实不是简简单单一个翻译的问题，而是一场关于技术话语权的深层博弈。定名一个月后，国内产业化落地加速。广州上线了全国首个token级调度的城市算力平台，合肥、芜湖等地推出“token服务”，乌兰察布正打造“Token之都”。截至2026年3月，国内日均token调用量已突破140万亿，两年增长超千倍。
国际层面，外媒将这一命名解读为“中国正在设计AI时代的新型全球货币”。在token调用量这一核心指标上，国产大模型已连续数周超越美国。
一个译名，折射的是技术与话语权的双重博弈。正如学者所言：“谁定义了AI的技术语言，谁就定义了AI的方向。”要理解这一命名的深层意义，我们需要回到token本身，追溯它的前世今生。
一、起源：三重土壤中的萌芽
词元是什么意思呢？token的概念在计算机科学中并非诞生于单一领域，而是在不同土壤中几乎同时萌芽。
最早，它出现在编译原理的词法分析中，指代源代码中的最小语义单元——如关键字、标识符、运算符。编译器将源代码拆解为这些token，才能进行语法分析和代码生成。
随后，token在身份验证和权限管理领域独立发展，作为一种安全凭证。这一阶段出现了硬件动态token（如银行U盾）和软件token。在Web/API场景中，token通常指服务器生成的字符串——用户登录成功后获得，后续请求携带即可访问受保护资源。
随着技术发展，token的概念进一步扩展到自然语言处理领域。在这里，token被定义为文本中的最小处理单元，可以是单词、子词或字符。原始文本被分割成这些token，以便模型进行处理和理解。
三重起源，共同塑造了token今天丰富而复杂的内涵。
二、技术演进：三个关键里程碑
2.1身份验证：从硬件到标准协议
身份验证领域的token技术经历了从专用硬件到标准化协议的演进。早期的Web应用验证机制较为简单：用户登录后，服务器生成一个token字符串返回，后续请求携带即可。
随着分布式系统的普及，基于token的身份验证机制（尤其是JWT，即JSON Web Token）被广泛采用。这一阶段的特点包括：无状态、可扩展；高安全性（通过签名防篡改）；支持跨域和多平台。
2.2自然语言处理：token化算法的突破
在NLP领域，token的技术演进主要体现在token化算法的改进上。传统方法如字节对编码（BPE）主要基于频率统计，本质上是压缩算法，而非为语义设计。
研究者提出了语义感知的token化方法，如SemToken框架，通过提取语义嵌入、合并等价token、动态分配粒度等方式优化处理。不过，目前主流大模型仍主要采用BPE或其变体。
2.3大模型推理：token的核心角色
在大型语言模型推理中，token扮演着核心角色。典型流程包括：在CPU上对输入文本进行分词；tokenID序列经过网络计算，生成第一个输出token；将新token拼接到输入末尾，重复直至生成终止符；最后将所有token映射回文本。
为优化推理效率，研究者提出了连续批处理、分页注意力机制、前缀缓存、投机式解码等多种技术。
三、token是什么？——AI的最小语义单元
在人工智能领域，token是大模型处理信息时所采用的最小计量单位，是理解AI运行逻辑的第一块基石。无论文字、语音还是图片，最终都得被模型拆解成若干个token，才能完成运算。
通俗来讲，token好比是AI的“语言积木”。以中文为例，一个token可能是一个完整的词语（如“怎样”），也可能是词语的组成部分。在英文里，“unhappiness”可能被拆分成“un”和“happiness”。核心逻辑一致：token是模型能够独立处理的最小语义单元。
token具备可计量、可定价、可交易三大核心属性。在模型训练阶段，它是语料标注的基本粒度；在推理阶段，它是计算资源分配的单位；在商业应用中，它是服务定价的计费依据。
四、AI产业的“结算单位”
token已然成为AI公司在收入端与成本端的统一计量尺度，堪称数字经济时代的“硬通货”。英伟达CEO黄仁勋在2026年GTC大会上提出了“token工厂”的概念：数据中心不再是存储文件的“电子仓库”，而是一座日夜不停运转的智能生产线，输入电力和数据，产出token。
这种转变在商业估值方面体现得尤为显著。纯AI公司的商业模式高度依赖token消耗量，token调用量已经成为直接收入指标。以港股AI公司为例，MiniMax日均token消耗量激增超过6倍，推动2025年全年营收同比增长158.9%；智谱MaaS平台已汇聚超过300万家企业及应用开发者。
当分析师为AI公司出具估值报告时，他们不再仅仅关注传统的利润表，而是测算公司在全球大模型市场的token消耗量份额及单位token毛利润。
五、token翻译成中文为词元深意：从译名之争到话语权之辩
5.1“token”的历史渊源
Token的中文译名之争并非近期才出现。早在2021年，复旦大学邱锡鹏教授等学者就在学术语境中推动使用“token”这一译法，随后被写进教材，在学界形成共识。
然而，当时的“token”并未引起广泛关注。原因很简单：那时token尚未凸显其价值。2024年初，我国日均token调用量仅为1000亿，到2025年底跃升至100万亿。当token从实验室概念演变为经济计量单元时，为其确定准确的中文名称，就从学术问题变成了产业发展的必然需求。
5.2各方token翻译成中文之争
在“token”被官方确认之前，存在多种不同主张：
“智元”：由AI媒体“新智元”推动，强调模型产出的是“智能的基本单元”——卖token是卖流量，卖智元则是卖智能。
“模元”：由清华大学杨斌教授提出，强调谁拥有大模型，谁就掌握生产权，定价权向模型公司倾斜。
“符元”：回归计算机科学最底层的定义，最为纯粹但缺乏商业推动。
“词元”：由学术界确定，最终获得官方认可。“词”体现承载语义信息的最小单元，“元”有“本也”“基也”之意，二者结合的词元既准确描述了技术所指，又契合其作为数字经济基础要素的地位。
5.3定名的深层意义
“token”的官方定名，绝不仅仅是翻译问题。在中国文化传统中，“名”的重要性一直备受重视——孔子说“名不正则言不顺”。给token起名，实际上就像在争夺“铸币权”。一个词一旦成为衡量价值的标准，给它命名就不再单纯是翻译，而是关乎谁有权定义价值。
2021年学术界定下的“token”无人在意，并非翻译得不好，而是因为那时这枚“币”还未彰显价值。如今它值钱了，所有人都想在上面留下印记。对于中国而言，作为全球最大的token消费国，掌握这个基础概念的定义权，本身就是产业竞争力的一种体现。
从编译原理的词法单元，到身份验证的安全凭证，再到自然语言处理和大模型推理中的核心计量单位——token从一个多源萌芽的概念，逐步汇聚、演化，成为连接不同系统、服务和用户的通用抽象。
“token”的正式确定为词元，是中国在数字技术基础概念领域的一次重要实践。当这个蕴含中国智慧的译名被确立，它所传达的不仅仅是一个技术术语的标准化，更是中国在人工智能时代对基础概念进行定义的能力与自信。
目录
精选案例
相关产品推荐
热门文章
专题推荐
