理解语音或语境是一个需要解决的问题，以获得更有能力的对话式人工智能解决方案。自然语言理解（NLU）是一个专注于理解文本或语音的含义以做出更好反应的领域。它搜索的是该语音的含义和目的是什么。
NLU是意图识别背后的技术，使企业能够建立高效的聊天机器人。为了帮助大家提高其聊天机器人投资成功的可能性，我们在本文中讨论了与NLU相关的问题。
什么是自然语言理解？
NLU是自然语言处理（NLP）和对话式人工智能的一个子集，帮助对话式人工智能应用确定用户的目的，并将他们引导到相关的解决方案。
NLU是一个由人工智能驱动的解决方案，用于识别人类语言中的模式。它使对话式人工智能解决方案能够准确识别用户的意图，并对其作出回应。当涉及到对话式人工智能时，关键点在于理解用户在语音和书面语言中所说或想说的话。
NLU通过分别理解、分析和解释基本语音部分，帮助计算机理解人类语言。
Source: Stanford
今天，在不同领域有许多NLU的应用。一些例子是：
- 聊天机器人
- 语音助手
- 自然语言的搜索： 这是一种使用日常口语进行的信息搜索。
- 网络规模的信息提取： 这是一个挑战，要在网络上的巨大数据中找到最合适的信息。
- 法律发现： 在自然语言中搜索政策和法律。
- 内容总结
选择NLU解决方案时应注意的5个问题
1. 语言支持：
NLU平台应该支持输入数据的语言。目前，由于一些非英语语言的商业潜力较小，因此这些语言的NLU的质量较低。然而，随着研究兴趣的增加，这种情况正在改变。
2. 结果质量：
一个好的NLU解决方案应该能够识别语言实体，提取它们之间的关系，并使用语义软件来理解内容，无论它是如何表达的。一般来说，理解语音的上下文与以下几点有关：
计算能力：
NLU模型的能力越大，它们在预测语音语境方面就越好。事实上，推动具有较大模型训练规模的ai芯片设备发展的因素之一就是NLU模型的计算能力提高和有效性之间的关系（如GPT-3）。
训练数据集：
一般来说，ML模型通过经验学习。因此，他们的预测能力会随着接触更多的数据而提高。同样的推理也用于NLU。
数据质量：
原始数据在经过清理、组织和标记后，对NLU模型是有价值的。
3. 速度：
在对话式人工智能应用中，理解语言是过程的一部分。其他部分包括根据查询生成响应或采取行动。因此，感知和解释语言的过程应该快速完成。然而，在结果的质量与计算的速度之间可能会有一个权衡。应根据应用领域做出选择。
4. 灵活性：
对不同解决方案领域的适应性是很重要的。这可以通过NLU解决方案的训练和持续学习能力来实现。
5. 可用性：
该解决方案应该便于非技术员工和技术员工使用。一个具有不同界面的解决方案可以考虑让非技术员工（例如客服人员）通过反馈来积极开发这个系统。
为什么它现在很重要？
自然语言处理在今天很重要的主要原因可以通过以下几点来解释：
NLU可以作为一种工具，支持对非结构化文本的分析。
人们有各种不同的表达方式，有时这可能因人而异。特别是对于个人助理的成功，重要的一点是对用户的正确理解。NLU将语言的复杂结构转化为机器可读的结构。这使得文本分析成为可能，并使机器能够对人类的查询作出回应。
需要分析的非结构化文本的数量正在增加
计算机可以以一致和无偏见的方式为24/7进行基于语言的分析。考虑到每天产生的原始数据量，NLU以及NLP对于有效分析这些数据至关重要。一个开发良好的基于NLU的应用程序可以阅读、聆听和分析这些数据。
行业分析师也看到了NLU和NLP的巨大增长潜力
分析师估计2020-2025年期间的年复合增长率>20%。根据Markets Insider在2019年的研究，预计到2025年，全球自然语言处理（NLP）市场价值将达到350亿美元，2020-2025年期间的年复合增长率将达到创纪录的22%。增长的主要根本原因是从以产品为中心转向以客户为中心的体验。对智能设备和物联网的需求不断增加，也促进了NLU的广泛使用。
例如，Gartner最近的一份报告指出了NLU在医疗保健方面的重要性。NLU通过改善决策支持系统和对病人结果的测量，有助于提高临床护理的质量。
如何评估NLU解决方案的准确性？
NLU模型可以在单一和特定的任务上表现完美。然而，不同的任务会降低准确性和精确度。最好是通过使用客观指标来比较不同解决方案的性能。
例如，可以通过使用客户服务数据建立一个有大量实例（例如>100）的测试集，以比较不同的服务，从而建立一个基准。由于大多数服务都是以易于注册的API的形式提供的，所以对照API响应来检查应该是很容易的。
这里有一篇由人工智能语音平台SnipsAI撰写的基准文章，比较了不同对话式人工智能供应商的F1分数，这是衡量准确性的标准。
SnipsAI通过使用他们在Github上的开源数据集，将他们的系统与谷歌的API.ai、Facebook的Wit.ai、微软的Luis.ai和亚马逊的Alexa进行比较。该数据集包括他们测试的7种用户意图中的每一种的2400次查询。
GLUE及其优越的SuperGLUE是最广泛使用的基准，用于评估模型在一系列任务上的表现，而不是单一的任务，以保持对NLU性能的总体看法。它们由九个句子或句子对的语言理解任务、相似性和转述任务以及推理任务组成。GLUE还提供了一个基准的排行榜。
有哪些领先的NLU公司？
和许多新兴领域一样，技术巨头也在NLU中占据了重要地位。一些初创公司以及开源API也是生态系统的一部分。
- Haptik：知识库、AI推荐和智能变体
- Microsoft ：知识探索服务、语言理解智能服务（LUIS）和Azure翻译器API
- Google：对话流、翻译API和云自然语言API
- IBM：Watson对话服务和Watson Tone Analyzer
- Amazon：Comprehend和Lex
开放源码的替代方案包括：
- Facebook's Wit.ai
- Rasa NLU
- FuzzyWuzzy
- PyNLPl
- Stanford CoreNLP
原文地址：https://www.wbolt.com/nlu.html
