Editorial Note: This article is written with editorial review and topic relevance in mind.
不要自己局限自己，词典类app各有所长，搭配使用最佳。其实不同的学习阶段使用不同的词典app效果最好： 基础比较差的时候，目标以积累词汇量为主的适合，主要是“ 背单词 ”，那么用 欧陆词典 查释. 楼上推荐的测词汇的网站都不错， 我补充一个方法， 买一本 分级阅读 比如 书虫系列 看看适合词汇量是多少 这个是分级的 如1000个词汇的小说 就只有1000单词量的范围 你随机翻三页 算算每一页认识的. Vocab_size 指的是训练集的 词典 的大小。 一般在训练集的词典中有一个词，假设记为blank。在测试的时候，如果遇到了不在训练集词典中的词就用blank代替。
How to Start a Vocab Jam YouTube
原文链接： nlp基础（分词）：wordpiece 算法 导读：在之前的文章中，我们介绍了bpe（byte pair encoding）算法如何通过合并高频字符对解决未登录词问题（nlp基础（分. 介绍 大语言模型（large language model, llm）的出现引发了全世界对ai的空前关注。 无论是chatgpt、deepseek还是qwen，都以其惊艳的效果令人叹为观止。 然而，动辄数百亿参数的庞大.
