当前位置:首页>WordPress资讯>2023年最流行的大型语言模型实例有哪些

2023年最流行的大型语言模型实例有哪些

2023年最流行的大型语言模型实例有哪些

大型(LLMs)已经占领了互联网。2023年1月,OpenAI的ChatGPT拥有1亿月活跃用户,创造了有史以来用户群增长最快的记录。对的需求很高,因为有很多用例,例如:

  • 文本生成
  • 从非中产生有价值的洞察力
  • 内容创作
  • 阅读理解、总结、分类
  • 机器翻译
  • 回答

通过对更多的数据进行训练,以及对使其能够理解语言的深度学习神经的改进,大型语言模型正在不断改进。

作为一项新技术,大型语言模型仍处于被应用于商业的早期阶段。可能不知道领先的大型语言模型例子的朋友可以阅读这篇文章来了解大型语言模型。

什么是大型语言模型,它们是如何工作的?

大型语言模型是深度学习神经网络,通过对大量文本的训练,可以理解、处理和产生人类语言。大型语言模型可以归类于自然语言处理(NLP),这是一个旨在理解、解释和生成自然语言的人工智能领域。

在训练过程中,LLM被输入数据(数十亿字)以学习语言中的模式和关系。语言模型的目的是根据前面的词来计算出下一个词的可能性。该模型接受一个提示,并使用它在训练期间学到的概率(参数)来产生一个反应。

如果你是大型语言模型的新手,请查看我们的《大型语言模型: 2023年的完整指南》一文。

大型语言模型是如何训练的?

像ChatGPT这样的大型语言模型是通过一个叫做监督学习的过程进行训练的。在训练过程中:

  • 首先,向模型提供一大组文本输入及其相应的输出,以预测新输入的输出。
  • 该模型使用优化算法来调整其参数,使其预测和实际输出之间的差异最小。
  • 然后,训练数据被分批交给模型。
  • 该模型对每个批次进行预测,并根据它看到的误差改变其参数。
  • 这个过程要重复几次,让模型逐渐学习数据中的关系和模式。

查看我们关于大型语言模型训练的文章,了解更多关于这个问题的信息。

大型语言模型实例

我们在下表中介绍了领先的大型语言模型,其参数适合于企业采用。我们提供了一些关于最具影响力的模型的额外信息。

模型 开发商 始于 参数数量 涵盖的语言数量 是否开源 是否企业内部/私有云 研究/论文
-3 OpenAI 2020 175 billion 95种自然语言和12种编程语言 No No,仅通过Microsoft Azure https://proceedings.neurips.cc/
2018 340 million 104种语言 Yes Yes https://arxiv.org/abs/1810.04805
BLOOM BigScience 2022 176 billion 46种自然语言+13种编程语言 Yes Yes https://huggingface.co/
NeMo LLM NVIDIA 2022 530 billion 仅英语 Yes Yes https://www.nvidia.com/
Turing NLG Microsoft 2020 17 billion 仅英语 Yes No https://www.microsoft.com/
XLM-RoBERTa 2020 354 million 100种自然语言 Yes Yes https://arxiv.org/abs/1911.02116
XLNet Zhilin Yang, Zihang Dai, Yiming Yang, Jaime Carbonell, Ruslan Salakhutdinov, Quoc V. Le 2020 340 million 仅英语 Yes Yes https://arxiv.org/abs/1906.08237
OPT Meta 2022 175 billion 仅英语 Yes Yes https://arxiv.org/abs/2205.01068
LaMDA Google 2021 137 billion 仅英语 Yes No https://blog.google/technology/ai/lamda/
Classify, Generate, Embed Cohere 2021 NA +100 自然语言 Yes Yes https://docs.cohere.ai/
Luminous Aleph Alpha 2022 NA 英语, 德语, 法语, 意大利语和 西班牙语 No Yes https://www.aleph-alpha.com/luminous
GLM-130B Tsinghua University 2022 130 billion 英语 & 中文 Yes Yes https://keg.cs.tsinghua.edu.cn/
CPM-2 Beijing Academy of Artificial Intelligence &Tsinghua University 2021 11 billion 英语 & 中文 Yes Yes https://arxiv.org/pdf/2106.10715.pdf
ERNIE 3.0 Baidu 2021 10 billion 英语 & 中文 Yes Yes https://arxiv.org/abs/2107.02137

原文地址:https://www.wbolt.com/large-language-models-examples.html

WordPress资讯

什么是GPT4及其特点和限制

2024-1-22 1:08:32

WordPress资讯

如何更高效更快地构建Docker镜像

2024-1-22 1:08:34

个人中心
今日签到
有新私信 私信列表
搜索