ai大模型的语言不平等：英语最便宜，其它语言要贵得多-米乐app官网登录

，用户所使用的语言对于大型语言模型的费用有很大的影响，可能造成英语使用者和其它语言使用者之间的人工智能鸿沟。最近的一项研究显示，由于 openai 等服务所采用的的服务器成本衡量和计费的方式，英语输入和输出的费用要比其他语言低得多，其中简体中文的费用大约是英语的两倍，西班牙语是英语的 1.5 倍，而缅甸的掸语则是英语的 15 倍。

it之家注意到，推特用户 dylan patel分享了一张照片，展示了牛津大学进行的一项研究，该研究发现，让一个 llm 处理一句缅甸语句子需要 198 个词元(tokens)，而同样的句子用英语写只需要 17 个词元。词元代表了通过 api(如 openai 的 chatgpt 或 anthropic 的 claude 2)访问 llm 所需的计算力成本，这意味着缅甸语句子使用这种服务的成本比英语句子高出 11 倍。

词元化模型意味着，除了英语之外的其他语言使用和训练模型要贵得多。这是因为像中文这样的语言有着不同、更复杂的结构(无论是从语法还是字符数量上)，导致它们需要更高的词元化率。例如，根据 openai 的 gpt3 分词器 ，“你的爱意(your affection)”的词元，在英语中只需要两个词元，但在简体中文中需要八个词元。尽管简体中文文本只有 4 个字符(你的爱意)，而英文有 14 个字符。

广告声明:文内含有的对外跳转链接，用于传递更多信息，节省甄选时间，结果仅供参考，it之家所有文章均包含本声明。