OpenAI GPT-4即将发布。它是多模态的,这意味着如果谷歌不担心,那么现在就应该开始了。
微软德国首席技术官安德烈亚斯-布劳恩证实,GPT-4将在2023年3月9日的一周内到来,它将是多模式的。多模态人工智能意味着它将能够在多种输入中运作,如视频、图像和声音。
多模态大型语言模型
该公告的最大收获是,GPT-4是多模态的。
模态是指(在这种情况下)一个大型语言模型所处理的输入类型。
多模态可以包括文本、语音、图像和视频。
根据德国的新闻报道,GPT-4可能至少能在四种模式下运行,即图像、声音(听觉)、文本和视频。
引述微软德国首席技术官Andreas Braun博士的话:
我们将在下周推出GPT-4,在那里我们将有多模态模型,将提供完全不同的可能性 – 例如视频……
报告缺乏对GPT-4的具体说明,因此不清楚所分享的多模态是专门针对GPT-4的还是一般的。
微软业务战略总监Holger Kenn解释了多模态,但报告不清楚他是指GPT-4多模态还是一般的多模态。
我相信他对多模态的提及是针对GPT-4的。
该新闻报道分享了:
肯恩解释了多模态人工智能的意义,它不仅可以将文字相应地翻译成图像,还可以翻译成音乐和视频。
另一个有趣的事实是,微软正在研究 “信心指标”,以便用事实来支撑他们的人工智能,使其更加可靠。
微软Kosmos-1
在美国显然没有得到充分报道的事情是,微软在2023年3月初发布了一个名为Kosmos-1的多模态语言模型。
根据德国新闻网站Heise.de的报道:
…..该团队将预先训练好的模型进行了各种测试,在图像分类、回答有关图像内容的问题、图像的自动标记、光学文本识别和语音生成任务方面取得了良好的结果。
…视觉推理,即在不使用语言作为中间步骤的情况下对图像得出结论,似乎是这里的一个关键…
Kosmos-1是一个多模态模态,它整合了文本和图像的模态。
GPT-4比Kosmos-1更进一步,因为它增加了第三种模态,即视频,而且似乎还包括了声音模态。
跨越多种语言的工作
GPT-4似乎可以在所有语言中工作。它被描述为能够接收德语的问题,并以意大利语回答。
这是个有点奇怪的例子,因为,谁会用德语问问题而想收到意大利语的答案呢?
这就是被证实的情况:
……该技术已经发展到基本上 “适用于所有语言”。你可以用德语问一个问题,得到意大利语的答案。
通过多模态,微软(-OpenAI)将'使模型变得全面'”。
我相信这一突破的重点是,该模型超越了语言,具有跨越不同语言的知识能力。因此,如果答案是意大利语,它就会知道,并且能够用提问的语言提供答案。
这将使它类似于谷歌的多模态人工智能的目标,即MUM。据说MUM能够用英语提供答案,而这些数据只存在于另一种语言中,如日语。
GPT-4应用
目前还没有宣布GPT-4将出现在哪里。但Azure-OpenAI被特别提到。
谷歌正在努力追赶微软,将一项竞争性技术整合到自己的搜索引擎中。这一发展进一步加剧了人们的看法,即谷歌在面向消费者的人工智能方面正在落后,缺乏领导力。
谷歌已经在多个产品中整合了人工智能,如谷歌镜头、谷歌地图和消费者与谷歌互动的其他领域。这种方式是将人工智能作为一种辅助技术来利用,帮助人们完成小任务。
微软实施的方式更加明显,因此,它吸引了所有的注意力,并加强了谷歌的形象,使之成为耀武扬威和奋力追赶的对象。
德国报道原文:GPT-4 is coming next week – and it will be multimodal, says Microsoft Germany
原文地址:https://www.wbolt.com/gpt-4-is-multimodal.html