大语言模型关键词及语义

  • LLM (Large Language Model) 大型语言模型
  • token 指离散的文本单元(可以是单词、标点符号、数字、其它语言元素)，作为训练和生成文本的基本单位
  • tokenization 分词算法 是将一个连续的文本字符串分割成一个个离散(token)的单词或符号的过程
  • tokenizers 分词器
  • attention 注意力机制 是一种信息筛选方法，可以进一步缓解LSTM和GRU中的长期依赖问题
  • RNN (recursive neural network) 递归神经网络
  • LSTM 一种非常特殊的递归神经网络