AI 大模型的第二语言不平等：英语，其它第二语言要贵得多

IT之家 7 月 31 日消息，客户端所用到的语言学对于大型语言学框架（LLM）的开支有很大的受到影响，显然造成法语用到者和其它语言学用到者之间的机器学习鸿沟。不太可能的一项研究课题显示，由于 OpenAI 等增值所选用的增值器效益取决于和计费的作法，法语反向和反向的开支要比其他语言学低得多，其当中旧版的开支分之一是法语的两倍，法语是法语的 1.5 倍，而不丹的掸邦语则是法语的 15 倍。

IT之家注意到，推特客户端 Dylan Patel（@dlan522p）共享了一张照片，展示了牛津大学进行时的一项研究课题，该研究课题见到，让一个 LLM 处理一句泰米尔语词组只能 198 个词元（tokens），而同样的词组用法语写只只能 17 个词元。词元推选了通过 API（如 OpenAI 的 ChatGPT 或 Anthropic 的 Claude 2）访问 LLM 所需要的计算力效益，这这样一来泰米尔语词组用到这种增值的效益比法语词组略低于 11 倍。

词元化框架（即机器学习新公司将客户端反向反转为计算效益的作法）这样一来，除了法语之外的其他语言学用到和训练框架要贵得多。这是因为像外文这样的语言学上有不同、更比较简单的结构（无论是从语法还是字节数目上），导致它们只能更高的词元化率。例如，根据 OpenAI 的 GPT3 分词器 ，“你的爱慕（your affection）”的词元，在法语当中只只能两个词元，但在旧版当中只能八个词元。尽管旧版文本只有 4 码字（你的爱慕），而英文有 14 码字。