利用NPL可与人（rén）工智能工具进行交流

现如今，在更多情况下，我们是以（yǐ）比特和（hé）字节为生（shēng），而不是依靠交（jiāo）换情感。我们使用（yòng）一种（zhǒng）称之为计算机的（de）超级智能机器在互联网上进行交易和沟通。因此，我们觉（jiào）得有（yǒu）必要（yào）让机器明白我（wǒ）们在说话时是如（rú）何对其进行理解的，并（bìng）且试图用人工（gōng）智（zhì）能，一种称之为NLP——自然语言处理技术为（wéi）它们提供（gòng）语言。作为（wéi）一种研究结果，聊天机器人正在成为（wéi）一种可靠的聊（liáo）天工具（jù），使（shǐ）用（yòng）这种非人为依赖的（de）智（zhì）能工具与人类进（jìn）行交流（liú）。

我强烈的感受到：

直到（dào）我们的机器学会了解行为（wéi）和情绪（xù），数据科学家和工程师的工（gōng）作才完（wán）成了一半（bàn）。与深度学习（xí）（ML学科领域）融合的NLP将对这种计（jì）算机语言（yán）的（de）使（shǐ）用起（qǐ）到关键作（zuò）用（yòng）。

利（lì）用自然语言处理NPL可（kě）以使人工智（zhì）能（néng）工具（jù）与人类进行交流

什么是NLP

这是一种人工智能方法，给定机器一些人类语言从而使得（dé）它们能够与人类进行沟通交（jiāo）流。它涉及使用NLP技术对书（shū）面（miàn）语言进行智（zhì）能（néng）分析，以（yǐ）获取对一组（zǔ）文本数据的见解，如：

1.情绪分析

2.信息提取和检索

3.智能搜索等

它是人工智（zhì）能和（hé）计（jì）算（suàn）语言（yán）学的（de）交汇点，能够处（chù）理机器和人（rén）类自（zì）然（rán）语言（yán）之间的交互，即计算（suàn）机需要对其进（jìn）行分析（xī）、理解（jiě）、改（gǎi）变或生成自然语言。NLP帮助计算机机器以各种形（xíng）式（shì）使用自（zì）然人类语言进行交（jiāo）流，包括（kuò）但（dàn）不（bú）限（xiàn）于语（yǔ）音、印刷、写作和签名。

NLP机器学习（xí）和深（shēn）度学习：它们（men）是（shì）如何连（lián）接的

利用自然语言（yán）处理NPL可以使人工智能（néng）工具与人（rén）类（lèi）进（jìn）行交流

NLP与机（jī）器学习和深度学习密切（qiē）相关，所有这些都是人工智能领域的分（fèn）支，如下图所（suǒ）示：它是一（yī）个（gè）致力于使机器智能化的计算（suàn）机（jī）科（kē）学领（lǐng）域。深度学习是（shì）一（yī）种流行的机器学习（xí）技术之一，如回归，K-means等。

机器学（xué）习的类型很多，像无监督机器学习这样的经常用于（yú）NLP技术（shù）中，如LDA（潜在狄利克雷分布，一种主题模型算（suàn）法（fǎ））。

为了能够（gòu）执行任何一个NLP，我（wǒ）们（men）需要深入理解人类使如何处（chù）理语言的情感和分（fèn）析（xī）方面。还有各种各样像社交媒体这样的语言（yán）数据源，人们直接（jiē）或间（jiān）接地分享他们（men）感受到（dào）的内容，而这必（bì）须通过使用NLP的机器进行智能分（fèn）析。NLP机器（qì）需要建（jiàn）立一个人类推理系统，借助ML技术（shù），它们可以（yǐ）自动执（zhí）行（háng）NLP过程并对其进行扩展。

简而言之，“深度学习与自然语言处理”是相互（hù）联（lián）系、相（xiàng）互依存的，以构建一（yī）个能够像人类一（yī）样思考、说话和行动的智能（néng）计算机。

Meltwater Group的NLP专（zhuān）家John Rehling在《自然语言处（chù）理（lǐ）是（shì）如何帮助揭示社交媒（méi）体情绪（xù）》一文中说，

“通（tōng）过分析（xī）语言的含义，NLP系统扮演着非常重（chóng）要的（de）角色，如纠正（zhèng）语（yǔ）法，将语音转换为（wéi）文本，以（yǐ）及（jí）在多语言之间自动（dòng）翻译。”

NLP如何（hé）工（gōng）作

理解NLP的工作原（yuán）理（lǐ）是非常重要的，因为这样的话，我们（men）就可以将NLP作（zuò）为一个（gè）整体来理解。NLP一般有两个主要组成部分：

1.NLU：自然语（yǔ）言理解

2.NLG：自然语言生成

让我们深入（rù）理解NLU

自然（rán）语言（yán）理解：它（tā）涉及（jí）的是一种方法论，试（shì）图了解如何对（duì）馈送给计算（suàn）机的自然（rán）语言赋予（yǔ）一定的相关意义。

在（zài）开始时，计算机获得自然（rán）语言的输入（自（zì）然（rán）语言可以是任（rèn）何（hé）语言，它们通过使用和（hé）重复在人类中自然进化，而（ér）不是有意识（shí）的计划或预谋，自然（rán）语言可（kě）以采用不同的形式（shì），例如语音或签名）。

计算机之后（hòu）将它（tā）们转换成人工语言，如（rú）语（yǔ）音识别和/或语（yǔ）音（yīn）转换文本（běn）。在这里我（wǒ）们把数据转换成一（yī）个文本形式， NLU过程来理解其中的含义。

HMM：隐马尔可夫模（mó）型（NLU示例）

利用自然语言处理NPL可以使人工智能工具与人类进（jìn）行交流

它是一种统计（jì）语音识别模型，它可以在（zài）预先构（gòu）建（jiàn）的数学技术的帮（bāng）助下，将你的语音转换成文本（běn），并（bìng）试图（tú）推断出你所说（shuō）的（de）语言。

它试图理解你（nǐ）所说的，通（tōng）过将语音数据（jù）分解成一小（xiǎo）段特定的时间段（duàn），大多数情况下时（shí）间是（shì）20-20 ms。这些数据集将进（jìn）一步（bù）与预馈语音进行比较，从（cóng）而进一步解读你在每个语音（yīn）单位（wèi）中（zhōng）所说的内容。这里的目的是找到音（yīn）素（sù）（一个最小的语音单（dān）位（wèi））。然后，机器对一系列这样（yàng）的音素进行观察，并统计了（le）最可能说出（chū）的单词和句子。

不仅如此，NLU会深刻（kè）理（lǐ）解每个单词，试图（tú）理解它是一个名（míng）词还是动词，什么（me）是时（shí）态（过去（qù）或（huò）未来）等。这个过程被定义为POS：词（cí）性（xìng）标注（zhù）部分（Part Of Speech Tagging）。NLP具有内（nèi）置的词典和一套（tào）与语（yǔ）法预编码相关的（de）协议，这些协议被（bèi）预编码到它们的系统中（zhōng），并在处（chù）理（lǐ）自然语言数据集（jí）时（shí）使用它，从（cóng）而在NLP系（xì）统处理人类语音时（shí），编译（yì）所说的内容。

NLP系统也有（yǒu）一（yī）个词典（词汇（huì）表）和一套编码到（dào）系统中的语法规则。现代NLP算法使（shǐ）用统（tǒng）计机器，学习将这些规则（zé）应（yīng）用（yòng）于（yú）自然语言，并推断所说话语背后（hòu）最可（kě）能的含义（yì）。在（zài）考虑诸如具（jù）有多个含（hán）义的词语（多义（yì）词）或（huò）具有相似（sì）含义的词语（yǔ）（同义（yì）词（cí））时，存（cún）在一些挑战，但（dàn）软件开发（fā）者在（zài）他们（men）的（de）NLU系统中建立了自（zì）己的规则，可以通过适当的训练和学习来处理这类问题。

自然语言生成：

与第一阶段（NLU做了大量的努（nǔ）力以（yǐ）理（lǐ）解人（rén）类的话语（yǔ））相比，NLG可以很容易（yì）的进（jìn）行翻译工作，即将计算机的人工（gōng）语言翻译为有意义（yì）的文本，并可以通过（guò）文字转语音（tex-to-speech）技术将其转化为可听语音。文本转语（yǔ）音（（tex-to-speech））技术（shù）通过韵律模型（prosody model）来分析文本，从而确（què）定（dìng）语言的断句、长短和（hé）音调。然后，利用语音数据库，将记录的所有音素汇集在一起，形（xíng）成一个连贯的语（yǔ）音串。

简（jiǎn）而言之，NLP采用NLU和NLG来处理人（rén）类（lèi）自（zì）然（rán）语（yǔ）言，尤（yóu）其是处理（lǐ）语音（yīn）识别领域的人类自然语言（yán），并试图将传递（dì）字符（fú）串或可听（tīng）语言作（zuò）为输出，来理解、编译并推断所说的内容。

NLP在现代语境中的应用：

在这个处于数字革命的（de）电脑时代中，大部分任务需要由人类利用链接物联网的机器来完成（chéng）。NLP在（zài）为媒体、出版（bǎn）、广告、医疗、银行和保险等行业领（lǐng）域建立强大的软件工具方面，发挥了重要作用，从而帮（bāng）助他们高效快捷地运作。

NLP的一些现代用法：

1.聊天机器人

这是一个被称为机器人的成熟软（ruǎn）件，它（tā）可以（yǐ）处理任何场（chǎng）景的人物对话（huà）。api.ai、微软语音理（lǐ）解（jiě）智（zhì）能（néng）服务（LUIS）等一些热门（mén）的NLP和机器学习（xí）平台，可用于（yú）研发你的商业聊天机器人。

2.垃圾邮（yóu）件过滤

你们中的大多数（shù）人一定对垃圾邮件并不陌生（shēng）。Google使用基于NLP的技术（shù）来保障（zhàng）你的收件箱清洁、无（wú）垃圾（jī）邮件。贝叶斯垃圾邮（yóu）件过滤（Bayesian spam filtering）是一种备（bèi）受瞩目的技术，它是一（yī）种统计技术，基（jī）于此，电（diàn）子邮件中词语的审核通过率根（gēn）据其在垃（lā）圾和非垃圾邮件语料库（kù）中的典型事例来确定。

3.机器翻译

NLP被（bèi）越（yuè）来越多的应用于机器（qì）翻译程序当中，这使得一（yī）种语言被自动翻译成另一种语言，谷歌是一个将你的文本（běn）翻译为所需语言（yán）的先驱者。

机器（qì）翻译技术（shù）所面临的挑战不在于翻译单词，而在（zài）于（yú）保（bǎo）留句子的含义，这是一个复杂的技术问题，也是NLP的核心。

4.命名（míng）实体（tǐ）提取（Named entity extraction）

它（tā）用于从给（gěi）定的项目集（jí）合中分离出具有相似性质和属性（xìng）的项目。例如名字、姓氏、年（nián）龄、地理位（wèi）置、地址、电（diàn）话号（hào）码、电子（zǐ）邮件地址和公司名称（chēng）等等。命名实体（tǐ）提取（亦称命名实体识别（bié））使挖掘数据变得更加容易。

5.自动汇总（zǒng）

自然语言处理可用于从大段（duàn）文（wén）本中提取可读摘要。例如，我们可以自动总结出一（yī）份长篇学术文章的简短摘要。

接下来我（wǒ）们将深入介绍一些（xiē）NLP的（de）技术细节（jiē）。

当自然界与（yǔ）人工相逢的（de）时候，机（jī）器（qì）就像是一（yī）个真正具（jù）有（yǒu）生命力（lì）的人类一样进入了生活中（zhōng）。

NLP技术（shù）术语

NLP术语

•语音体系（xì）——关（guān）于系（xì）统性地组织语音的研究（jiū）。

•形态学（xué）——这（zhè）是一个从（cóng）基本意义（yì）单位中进行单词构建（jiàn）的研究。

•语素——语言中意义的基本（běn）单位。

•语法——它是指单（dān）词经过组合排（pái）列构成句子，它还涉（shè）及（jí）在（zài）句子和（hé）短语中确定单（dān）词（cí）结构的（de）作（zuò）用。

•语义——它涉及的是（shì）单词（cí）的含（hán）义（yì），以及该如何将（jiāng）单词组合成有意义的短语（yǔ）和（hé）句子。

•语用学——它涉及的是在不同（tóng）情（qíng）况（kuàng）下使用和（hé）理解句子以及对句子的解释（shì）是如（rú）何（hé）受到影（yǐng）响（xiǎng）的。

•话语——它指的是前面（miàn）的（de）句（jù）子如何影响对于（yú）下（xià）一（yī）句的解（jiě）释（shì）的。

•常（cháng）识性知识——它（tā）涉及的是对于世界的一般性认识。

自然语言处理库（对于开发者而言）

NLP库：

有许多通用的第三方开源库（kù），开（kāi）发人员可（kě）以使用它们（men）来构（gòu）建基于NLP的（de）Projects Viz .。

•自（zì）然语言（yán）工具（jù）包（NLTK）

•Apache OpenNLP

•斯（sī）坦（tǎn）福（fú）大学NLP套件

•Gate NLP库

自然语言工具包（NLTK）是最通用的自然语言（yán）处理（NLP）库。它是用Python编写的，背（bèi）后有一个很大（dà）的社区。

NLP实施所涉（shè）及的步骤（zhòu）：

它涵盖了（le）5个主要（yào）步骤：

•词（cí）法分析——它对（duì）给定单词的结构进行（háng）识别和（hé）分析，其中整个文本数（shù）据块在词法分析中被分解成段落、句子（zǐ）和词汇。

•解析（句法分（fèn）析）——它（tā）涉及（jí）以一种显示（shì）单词（cí）之间的关系的方式对分析句子中的单（dān）词进行语法和（hé）单词排列分析，在这个阶段，任何（hé）不符合（hé）语法正确的句子都被拒绝，例如（rú），“building lives in sita”将（jiāng）不会被语法分析器所接受

•语（yǔ）义（yì）分析——对给定的（de）文（wén）本进行分析以（yǐ）从（cóng）中（zhōng）提取意义。它通过对任务域中（zhōng）的语法结（jié）构和目标进（jìn）行分析来完（wán）成。语义分（fèn）析器拒绝不相关（guān）的句子，如“hot banana”。

•话语（yǔ）整合——正如（rú）我们所知，每（měi）个句子都（dōu）与前一句话相互联系，基于倒（dǎo）数第二句的（de）意义而言，任何（hé）句子都变得有（yǒu）意义。同样，它也（yě）使得后一句（jù）话变得有意义。

•语用（yòng）分析——在（zài）此期（qī）间，常识（shí）性知识被重（chóng）新（xīn）定义了，解释（shì）了它（tā）们的（de）真（zhēn）实意义到底是什么，它涉及到那些需要常识性（xìng）知（zhī）识的语言方面（miàn）。

用图片来（lái）解（jiě）读NLP（点击图片（piàn）放大）：

NLP应用程序：

1.光（guāng）学字符识别

2.语音识别

3.机器翻译

4.自然语言生成（chéng）

5.情绪分析（xī）

6.语义搜索

7.自然语言编程

8.情感计算

9.开发聊天机器人