图解大模型：生成式AI原理与实战

图解大模型：生成式AI原理与实战

作者：未知作者 笔记数：2 条

第2章 词元和嵌入

如果你想深入了解分词器，推荐阅读Designing Large Language Model Applications一书，其中对这一主题做了更详细的讨论。

分词方法、用于初始化分词器的参数和特殊词元，以及用于训练分词器的数据集