大型语言模型(LLMs)已经占领了互联网。2023年1月,OpenAI的ChatGPT拥有1亿月活跃用户,创造了有史以来用户群增长最快的记录。对LLM的需求很高,因为有很多用例,例如:
通过对更多的数据进行训练,以及对使其能够理解语言的深度学习神经网络的改进,大型语言模型正在不断改进。
作为一项新技术,大型语言模型仍处于被应用于商业的早期阶段。可能不知道领先的大型语言模型例子的朋友可以阅读这篇文章来了解大型语言模型。
什么是大型语言模型,它们是如何工作的?
大型语言模型是深度学习神经网络,通过对大量文本的训练,可以理解、处理和产生人类语言。大型语言模型可以归类于自然语言处理(NLP),这是一个旨在理解、解释和生成自然语言的人工智能领域。
在训练过程中,LLM被输入数据(数十亿字)以学习语言中的模式和关系。语言模型的目的是根据前面的词来计算出下一个词的可能性。该模型接受一个提示,并使用它在训练期间学到的概率(参数)来产生一个反应。
如果你是大型语言模型的新手,请查看我们的《大型语言模型: 2023年的完整指南》一文。
大型语言模型是如何训练的?
像ChatGPT这样的大型语言模型是通过一个叫做监督学习的过程进行训练的。在训练过程中:
- 首先,向模型提供一大组文本输入及其相应的输出,以预测新输入的输出。
- 该模型使用优化算法来调整其参数,使其预测和实际输出之间的差异最小。
- 然后,训练数据被分批交给模型。
- 该模型对每个批次进行预测,并根据它看到的误差改变其参数。
- 这个过程要重复几次,让模型逐渐学习数据中的关系和模式。
查看我们关于大型语言模型训练的文章,了解更多关于这个问题的信息。
大型语言模型实例
我们在下表中介绍了领先的大型语言模型,其参数适合于企业采用。我们提供了一些关于最具影响力的模型的额外信息。
模型 | 开发商 | 始于 | 参数数量 | 涵盖的语言数量 | 是否开源 | 是否企业内部/私有云 | 研究/论文 |
---|---|---|---|---|---|---|---|
GPT-3 | OpenAI | 2020 | 175 billion | 95种自然语言和12种编程语言 | No | No,仅通过Microsoft Azure | https://proceedings.neurips.cc/ |
BERT | 2018 | 340 million | 104种多模态语言 | Yes | Yes | https://arxiv.org/abs/1810.04805 | |
BLOOM | BigScience | 2022 | 176 billion | 46种自然语言+13种编程语言 | Yes | Yes | https://huggingface.co/ |
NeMo LLM | NVIDIA | 2022 | 530 billion | 仅英语 | Yes | Yes | https://www.nvidia.com/ |
Turing NLG | Microsoft | 2020 | 17 billion | 仅英语 | Yes | No | https://www.microsoft.com/ |
XLM-RoBERTa | Meta | 2020 | 354 million | 100种自然语言 | Yes | Yes | https://arxiv.org/abs/1911.02116 |
XLNet | Zhilin Yang, Zihang Dai, Yiming Yang, Jaime Carbonell, Ruslan Salakhutdinov, Quoc V. Le | 2020 | 340 million | 仅英语 | Yes | Yes | https://arxiv.org/abs/1906.08237 |
OPT | Meta | 2022 | 175 billion | 仅英语 | Yes | Yes | https://arxiv.org/abs/2205.01068 |
LaMDA | 2021 | 137 billion | 仅英语 | Yes | No | https://blog.google/technology/ai/lamda/ | |
Classify, Generate, Embed | Cohere | 2021 | NA | +100 自然语言 | Yes | Yes | https://docs.cohere.ai/ |
Luminous | Aleph Alpha | 2022 | NA | 英语, 德语, 法语, 意大利语和 西班牙语 | No | Yes | https://www.aleph-alpha.com/luminous |
GLM-130B | Tsinghua University | 2022 | 130 billion | 英语 & 中文 | Yes | Yes | https://keg.cs.tsinghua.edu.cn/ |
CPM-2 | Beijing Academy of Artificial Intelligence &Tsinghua University | 2021 | 11 billion | 英语 & 中文 | Yes | Yes | https://arxiv.org/pdf/2106.10715.pdf |
ERNIE 3.0 | Baidu | 2021 | 10 billion | 英语 & 中文 | Yes | Yes | https://arxiv.org/abs/2107.02137 |
原文地址:https://www.wbolt.com/large-language-models-examples.html