網(wǎng)上有很多關(guān)于pos機(jī)廣告語搞笑,2022年自然語言處理行業(yè)研究報(bào)告的知識(shí)，也有很多人為大家解答關(guān)于pos機(jī)廣告語搞笑的問題，今天pos機(jī)之家(www.dsth100338.com)為大家整理了關(guān)于這方面的知識(shí)，讓我們一起來看下吧!
本文目錄一覽：
pos機(jī)廣告語搞笑
第一章 行業(yè)概況自然語言處理定義
自然語言處理是通過構(gòu)建算法使計(jì)算機(jī)自動(dòng)分析、表征人類自然語言的學(xué)科。自然語言處理是計(jì)算機(jī)理解和生成自然語言的過程，自然語言處理技術(shù)使計(jì)算機(jī)具有識(shí)別、分析、理解和生成自然語言文本（包括字、詞、句和篇章）的能力。
自然語言處理機(jī)制涉及自然語言理解和自然語言生成兩個(gè)流程：（1）自然語言理解：計(jì)算機(jī)理解自然語言文本的思想和意圖；（2）自然語言生成：計(jì)算機(jī)用自然語言文本表述思想和意圖。
自然語言理解和分析是一個(gè)層次化過程，從詞法分析、句法分析、語義分析到語用語境分析層層遞進(jìn)：（1）詞法分析：分析詞匯的各個(gè)詞素，從中獲得語言學(xué)信息；（2）句法分析：分析句子和短語的結(jié)構(gòu)，識(shí)別各詞語、短語在句中的作用以及相互間的關(guān)系；（3）語義分析：找出詞義、結(jié)構(gòu)意義及詞與結(jié)構(gòu)結(jié)合的意義，確定語言所表達(dá)的真正含義；（4）語用語境分析：分析語言所存在的外界環(huán)境對(duì)語言使用者所產(chǎn)生的影響。
自然語言處理環(huán)節(jié)
（1）詞法分析
詞法分析的主要任務(wù)是詞性標(biāo)注和詞義標(biāo)注。詞性是詞匯的基本屬性，詞性標(biāo)注是在給定句子中判斷并標(biāo)注各詞的詞性，而兼類詞和未登錄詞的詞性復(fù)雜難以確定，標(biāo)注兼類詞與未登錄詞的詞性是詞法分析的重要任務(wù)。詞義標(biāo)注是在具體語境中明確各詞的詞義，如多義詞擁有多種意義，但在具體語境中表達(dá)的意義是可確定的。在不同的具體語境中解決多義詞的義項(xiàng)問題是詞義標(biāo)注的重點(diǎn)。
（2）句法分析
句法分析的基本任務(wù)是確定句子的語法結(jié)構(gòu)或句子中詞匯間的依存關(guān)系，包括確定語言的語法體系，明確符合語法規(guī)則的句子的語法結(jié)構(gòu)以及通過分析語言單位內(nèi)成分間的依存關(guān)系推導(dǎo)句子的句法結(jié)構(gòu)。
（3）語義分析
語義分析通過建立有效的模型使計(jì)算機(jī)系統(tǒng)能對(duì)各個(gè)語言單位（包括詞匯、句子和篇章等）進(jìn)行自動(dòng)語義分析，從而理解自然語言文本的真實(shí)語義。根據(jù)理解對(duì)象的語言單位不同，可將語義分析分為詞匯級(jí)語義分析、句子級(jí)語義分析以及篇章級(jí)語義分析。詞匯級(jí)語義分析關(guān)注如何獲取或區(qū)別單詞的語義，句子級(jí)語義分析關(guān)注整個(gè)句子所表達(dá)的語義，篇章級(jí)語義分析研究篇章文本的內(nèi)在結(jié)構(gòu)以及理解篇章文本內(nèi)語言單元（句子、從句或段落）間的語義關(guān)系。
（4）語用語境分析
語用指人對(duì)語言的具體運(yùn)用，自然語言用語與語境、語言使用者的知識(shí)涵養(yǎng)、言語行為、想法和表達(dá)意圖密切相關(guān)。語用分析是計(jì)算機(jī)在情景語境和文化語境中研究分析語言使用者的表達(dá)用意。
自然語言處理技術(shù)應(yīng)用
隨著人工智能的深入發(fā)展，自然語言處理需求不斷提升，眾多類型智能應(yīng)用需要自然語言處理技術(shù)幫助其實(shí)現(xiàn)智能化，如（1）文本領(lǐng)域的搜索引擎、信息檢索、機(jī)器翻譯、自動(dòng)摘要、文本分類、意見挖掘、輿情分析、自動(dòng)判卷系統(tǒng)、信息過濾和垃圾郵件處理等應(yīng)用；（2）語音領(lǐng)域的語音助手、智能客服、聊天機(jī)器人、自動(dòng)問答、智能解說和智能遠(yuǎn)程教學(xué)與答疑等應(yīng)用均需自然語言處理技術(shù)理解或生成自然語言。
① 自動(dòng)問答
自動(dòng)問答應(yīng)用涉及自然語言的詞法、句法、語義等分析問題，是自然語言理解與生成技術(shù)應(yīng)用的集中體現(xiàn)。自動(dòng)問答系統(tǒng)能自動(dòng)回答用戶提出的問題，反饋給用戶基于自然語言表述的答案，不再是簡(jiǎn)單的基于關(guān)鍵詞匹配排序的文檔列表，系統(tǒng)在生成答案的操作中需要正確理解用戶所提出的問題，抽取用戶問題中的關(guān)鍵信息，進(jìn)而檢索語料庫或知識(shí)庫，將可匹配的最佳答案用自然語言的形式反饋給用戶，完成自動(dòng)問答任務(wù)。
② 信息檢索
信息檢索是計(jì)算機(jī)自主從文檔集合中查找用戶所需信息的過程。信息檢索系統(tǒng)將信息標(biāo)引、描述以及組織整理后存在于數(shù)據(jù)庫中，將用戶輸入的檢索關(guān)鍵詞與數(shù)據(jù)庫中信息的標(biāo)引詞匹配，實(shí)現(xiàn)用戶的信息檢索要求。信息檢索要求計(jì)算機(jī)理解用戶輸入的自然語言信息，自動(dòng)將自然語言信息與數(shù)據(jù)庫中的標(biāo)引信息進(jìn)行比對(duì)，以達(dá)成檢索任務(wù)。如谷歌搜索引擎可通過理解用戶輸入的自然語言關(guān)鍵詞，反饋給用戶一個(gè)檢索目標(biāo)頁面列表，用戶可在列表中選擇能夠滿足自己信息需求的頁面加以瀏覽。因?yàn)樗阉饕鏌o法通過簡(jiǎn)單的關(guān)鍵詞表達(dá)體會(huì)用戶真正的查詢意圖，只能將所有可能滿足用戶需求的結(jié)果集合以列表的形式提供給用戶。
③ 情感分析
情感分析（意見挖掘），是計(jì)算機(jī)系統(tǒng)自主對(duì)文本的情感傾向（如主觀/客觀，積極/消極，喜歡/討厭等）進(jìn)行挖掘和分析的過程。情感分析能幫助商家自動(dòng)處理用戶評(píng)論，將分析過的評(píng)論按照排序規(guī)則進(jìn)行展示，幫助商家獲得廣告營銷效果，如淘寶、天貓等電商平臺(tái)、攜程、愛彼迎等旅游住宿平臺(tái)的商家在評(píng)論區(qū)可設(shè)置自動(dòng)置頂反映積極情緒的用戶評(píng)論，置后部分反映負(fù)面信息的用戶評(píng)論，達(dá)到吸引用戶眼球的效果。商家還可通過分析用戶發(fā)布的信息了解用戶喜好，實(shí)現(xiàn)精準(zhǔn)營銷，如新浪微博上的零售商可根據(jù)用戶發(fā)表的微博，微話題等內(nèi)容了解用戶的個(gè)人喜好，為用戶定制性的推送優(yōu)惠及新品信息。
第二章 產(chǎn)業(yè)鏈與商業(yè)模式2.1 產(chǎn)業(yè)鏈分析自然語言處理產(chǎn)業(yè)鏈上游市場(chǎng)主體為基礎(chǔ)資源提供商，包括硬件供應(yīng)商（如芯片供應(yīng)商、服務(wù)器供應(yīng)商和存儲(chǔ)供應(yīng)商等）和軟件供應(yīng)商（如云服務(wù)供應(yīng)商和數(shù)據(jù)庫供應(yīng)商等）；中游市場(chǎng)由自然語言處理算法供應(yīng)商、自然語言處理解決方案供應(yīng)商以及自然語言處理應(yīng)用供應(yīng)商組成，負(fù)責(zé)為下游需求端提供服務(wù)；下游市場(chǎng)主體為各類型用戶，包括企業(yè)用戶和個(gè)人用戶，企業(yè)用戶涉及金融、醫(yī)療、教育、出行服務(wù)、互聯(lián)網(wǎng)服務(wù)等領(lǐng)域，個(gè)人用戶則為最終消費(fèi)者。
圖：中國自然語言處理產(chǎn)業(yè)鏈
資料來源：千際投行，資產(chǎn)信息網(wǎng)，頭豹研究院
產(chǎn)業(yè)鏈上游
自然語言處理產(chǎn)業(yè)鏈上游市場(chǎng)由基礎(chǔ)資源供應(yīng)商組成，涉及網(wǎng)絡(luò)設(shè)備、服務(wù)器、芯片、存儲(chǔ)、云服務(wù)、數(shù)據(jù)庫等軟、硬件供應(yīng)商，負(fù)責(zé)為自然語言處理技術(shù)和產(chǎn)品開發(fā)商提供必要的資源支持。
（1）芯片供應(yīng)商
現(xiàn)階段，行業(yè)內(nèi)尚未出現(xiàn)專門用于自然語言處理運(yùn)算的芯片，核心數(shù)據(jù)處理芯片CPU無法執(zhí)行自然語言處理結(jié)構(gòu)化運(yùn)算，目前適用于自然語言處理的芯片類型有GPU、FPGA、ASIC和DSP。
GPU解決浮點(diǎn)運(yùn)算、數(shù)據(jù)并行計(jì)算問題優(yōu)勢(shì)明顯，可提供高密度運(yùn)算能力，解決大量數(shù)據(jù)元素并行問題。但GPU芯片功耗大，依托于X86架構(gòu)服務(wù)器而運(yùn)行，成本高昂，不適用于廣泛的自然語言處理產(chǎn)品方案的開發(fā)，在自然語言處理與傳統(tǒng)行業(yè)數(shù)字化進(jìn)程結(jié)合加深的趨勢(shì)下，采用GPU作為自然語言處理運(yùn)算芯片的方案不具備成本優(yōu)勢(shì)，小型自然語言處理應(yīng)用項(xiàng)目負(fù)擔(dān)不起高昂成本。
FPGA具有可編程性，設(shè)計(jì)者可根據(jù)需要的邏輯功能對(duì)FPGA電路進(jìn)行快速燒錄，從而改變其出廠設(shè)計(jì)，靈活性強(qiáng)。但FPGA的設(shè)計(jì)布線相對(duì)固定，各種型號(hào)的FPGA芯片邏輯資源相對(duì)固定，選定了型號(hào)即決定了芯片的邏輯資源上限，無法隨意增加運(yùn)算能力。
ASIC芯片的運(yùn)算能力強(qiáng)、規(guī)模量產(chǎn)成本低，全定制設(shè)計(jì)需要設(shè)計(jì)者完成所有電路的設(shè)計(jì)，開發(fā)周期長(zhǎng)，時(shí)間成本高昂，主要適用于量大、對(duì)運(yùn)算能力要求較高、開發(fā)周期較長(zhǎng)的領(lǐng)域。
DSP內(nèi)有控制單元、運(yùn)算單元、各種寄存器以及存儲(chǔ)單元，其外圍還可以連接若干存儲(chǔ)器和一定數(shù)量的外部設(shè)備，有軟、硬件的全面功能，本身是一個(gè)微型計(jì)算機(jī)，運(yùn)算能力強(qiáng)、速度快、體積小，而且采用軟件編程具有高度的靈活性。但目前DSP的性能并未通過實(shí)踐驗(yàn)證，也未生產(chǎn)出可以與GPU相匹敵的芯片器件，商業(yè)化應(yīng)用仍在研發(fā)過程中。
為滿足自然語言處理等人工智能的發(fā)展需求，部分針對(duì)深度學(xué)習(xí)的芯片，如TPU、NPU、DPU和BPU等相繼面世，但受場(chǎng)景以及性能限制，專用的人工智能芯片發(fā)展尚未成熟。目前自然語言處理運(yùn)算的最佳芯片方案仍以GPU為主導(dǎo)。
（2）云服務(wù)供應(yīng)商
云服務(wù)供應(yīng)商為自然語言處理研發(fā)企業(yè)提供基礎(chǔ)設(shè)施平臺(tái)，解決自然語言處理技術(shù)研發(fā)廠商的數(shù)據(jù)存儲(chǔ)、運(yùn)算以及調(diào)用問題。由于性價(jià)比、部署方式等因素，自然語言處理研發(fā)企業(yè)較多選用公有云服務(wù)。
目前，公有云服務(wù)供應(yīng)商有：①通過云服務(wù)產(chǎn)業(yè)鏈資源優(yōu)勢(shì)拓展至公有云服務(wù)行業(yè)的企業(yè)，如電信運(yùn)營商，網(wǎng)絡(luò)設(shè)備制造商，IDC廠商等，此類企業(yè)擁有較強(qiáng)的資金實(shí)力，加上本身處在公有云產(chǎn)業(yè)鏈上游，基礎(chǔ)設(shè)施方面優(yōu)勢(shì)明顯；②大型互聯(lián)網(wǎng)企業(yè)，如亞馬遜，騰訊、阿里巴巴等，此類企業(yè)資金實(shí)力雄厚，客戶認(rèn)可度高，設(shè)施齊備、技術(shù)成熟，具備發(fā)展公有云業(yè)務(wù)的有利條件；③傳統(tǒng)的軟件企業(yè)，如Microsoft、Oracle、金蝶等，此類企業(yè)的軟件產(chǎn)品的市場(chǎng)認(rèn)可度高，技術(shù)積累豐厚，客戶資源豐富，有利于向公有云市場(chǎng)拓展。除此之外，行業(yè)中存在不少新興的創(chuàng)業(yè)公司，如青云、Ucloud、七牛云等。
（3）數(shù)據(jù)
數(shù)據(jù)是人工智能發(fā)展的基石，海量數(shù)據(jù)為訓(xùn)練人工智能提供原材料。近年來，由學(xué)術(shù)及研究機(jī)構(gòu)承擔(dān)建設(shè)的公共數(shù)據(jù)集不斷豐富，數(shù)據(jù)質(zhì)量不斷提高，利于人工智能企業(yè)提高智能模型的準(zhǔn)確度。例如，可運(yùn)用于自然語言處理訓(xùn)練的數(shù)據(jù)集類型不斷豐富，維基百科語料庫、斯坦福大學(xué)問答數(shù)據(jù)集、亞馬孫美食評(píng)論集、康奈爾電影對(duì)話語料庫、經(jīng)濟(jì)新聞相關(guān)文章等語言集合相繼建成，內(nèi)容覆蓋媒體用語、網(wǎng)絡(luò)用語、電影用語、政府用語等眾多自然語言應(yīng)用場(chǎng)景，有助于自然語言處理研發(fā)企業(yè)優(yōu)化用于處理不同領(lǐng)域自然語言的模型的準(zhǔn)確度。
產(chǎn)業(yè)鏈中游
自然語言處理產(chǎn)業(yè)鏈中游市場(chǎng)主體主要有自然語言處理算法提供商、解決方案提供商以及應(yīng)用產(chǎn)品開發(fā)商。目前中國的自然語言處理廠商較多集研發(fā)算法、解決方案以及應(yīng)用產(chǎn)品功能于一身，廠商自主研發(fā)自然語言處理算法，形成一整套自然語言處理關(guān)鍵技術(shù)方案，并將自主研發(fā)的自然語言處理算法以及技術(shù)方案內(nèi)嵌于自有應(yīng)用產(chǎn)品體系中，典型代表有百度、阿里巴巴和騰訊。
百度自然語言處理算法研究覆蓋面廣，涉及深度問答、閱讀理解、智能寫作、對(duì)話系統(tǒng)、機(jī)器翻譯、語義計(jì)算、語言分析、知識(shí)挖掘等自然語言處理細(xì)分領(lǐng)域。百度積累了解決問句理解、答案抽取、觀點(diǎn)分析與聚合等環(huán)節(jié)的一整套深度問答技術(shù)方案，目前已將該套技術(shù)方案應(yīng)用于百度搜索引擎、百度手機(jī)瀏覽器、百度翻譯、百度語音助手、小度機(jī)器人等多個(gè)產(chǎn)品中。
百度在自然語言篇章理解方面，形成篇章結(jié)構(gòu)分析、主體分析、內(nèi)容標(biāo)簽、情感分析等關(guān)鍵技術(shù)，且該類關(guān)鍵技術(shù)已在百度搜索、百度信息流、糯米等產(chǎn)品中實(shí)現(xiàn)應(yīng)用。阿里巴巴開展自然語言處理技術(shù)研究主要為旗下產(chǎn)品服務(wù)，如阿里巴巴在其電商平臺(tái)中構(gòu)建知識(shí)圖譜實(shí)現(xiàn)智能導(dǎo)購，對(duì)電商用戶進(jìn)行興趣挖掘?qū)崿F(xiàn)精準(zhǔn)營銷，在螞蟻金融、淘寶賣家等客服場(chǎng)景中實(shí)現(xiàn)機(jī)器人提供客服服務(wù)，在跨境電商業(yè)務(wù)中采用機(jī)器翻譯服務(wù)進(jìn)行商家商品信息翻譯、廣告詞翻譯以及買家采購需求翻譯等。
產(chǎn)業(yè)鏈下游
自然語言處理產(chǎn)業(yè)鏈下游市場(chǎng)主體為各類型用戶，包括企業(yè)用戶和個(gè)人用戶。企業(yè)用戶主要購買行業(yè)應(yīng)用，如智能客服產(chǎn)品、輿情分析產(chǎn)品、文本分類產(chǎn)品等，幫助企業(yè)用戶提升業(yè)務(wù)處理的智能化水平。目前的B端市場(chǎng)是自然語言處理廠商競(jìng)爭(zhēng)的焦點(diǎn)，部分應(yīng)用產(chǎn)品（如智能客服、輿情分析產(chǎn)品等）嘗試了商業(yè)化運(yùn)作，市場(chǎng)反饋良好，但眾多細(xì)分領(lǐng)域市場(chǎng)發(fā)展并未成熟，市場(chǎng)空間仍待挖掘。個(gè)人用戶主要使用手機(jī)語音助手、機(jī)器翻譯軟件、信息檢索以及互聯(lián)網(wǎng)搜索等服務(wù)。個(gè)人用戶使用的自然語言處理技術(shù)應(yīng)用產(chǎn)品較多是自然語言處理廠商免費(fèi)提供的，自然語言處理廠商普遍未在C端市場(chǎng)開發(fā)清晰的商業(yè)模式。
2.2 商業(yè)模式分析模式一：生態(tài)構(gòu)建者——全產(chǎn)業(yè)鏈生態(tài)+場(chǎng)景應(yīng)用作為突破口
以互聯(lián)網(wǎng)公司為主，長(zhǎng)期投資基礎(chǔ)設(shè)施和技術(shù)，同時(shí)以場(chǎng)景應(yīng)用作為流量入口，積累應(yīng)用，成為主導(dǎo)的應(yīng)用平臺(tái)，將成為人工智能生態(tài)構(gòu)建者（如Google、Amazon、Facebook、阿里云等）。
關(guān)鍵成功因素：大量計(jì)算能力投入，積累海量?jī)?yōu)質(zhì)多維度數(shù)據(jù)，建立算法平臺(tái)、通用技術(shù)平臺(tái)和應(yīng)用平臺(tái)，以場(chǎng)景應(yīng)用為入口，積累用戶。
模式二：技術(shù)算法驅(qū)動(dòng)者——技術(shù)層+場(chǎng)景應(yīng)用作為突破口
以軟件公司為主，深耕算法平臺(tái)和通用技術(shù)平臺(tái)，同時(shí)以場(chǎng)景應(yīng)用作為流量入口，逐漸建立應(yīng)用平臺(tái)（如Microsoft、IBMWatson等）。
關(guān)鍵成功因素：深耕算法和通用技術(shù)，建立技術(shù)優(yōu)勢(shì)，同時(shí)以場(chǎng)景應(yīng)用為入口，積累用戶。
模式三：應(yīng)用聚焦者——場(chǎng)景應(yīng)用
以創(chuàng)業(yè)公司和傳統(tǒng)行業(yè)公司為主，基于場(chǎng)景或行業(yè)數(shù)據(jù)，開發(fā)大量細(xì)分場(chǎng)景應(yīng)用。
關(guān)鍵成功因素：掌握細(xì)分市場(chǎng)數(shù)據(jù)，選擇合適的場(chǎng)景構(gòu)建應(yīng)用，建立大量多維度的場(chǎng)景應(yīng)用，抓住用戶；同時(shí)，與互聯(lián)網(wǎng)公司合作，有效結(jié)合傳統(tǒng)商業(yè)模式和人工智能。
模式四：垂直領(lǐng)域先行者——?dú)⑹旨?jí)應(yīng)用+逐漸構(gòu)建垂直領(lǐng)域生態(tài)
以垂直領(lǐng)域先行者為主，在垂直領(lǐng)域依靠殺手級(jí)應(yīng)用（如出行場(chǎng)景應(yīng)用、面部識(shí)別應(yīng)用等）積累大量用戶和數(shù)據(jù)，并深耕該領(lǐng)域的通用技術(shù)和算法，成為垂直領(lǐng)域的顛覆者（如滴滴出行、曠視科技等）。
關(guān)鍵成功因素：在應(yīng)用較廣泛且有海量數(shù)據(jù)的場(chǎng)景能率先推出殺手級(jí)應(yīng)用，從而積累用戶，成為該垂直行業(yè)的主導(dǎo)者；通過積累海量數(shù)據(jù)，逐步向應(yīng)用平臺(tái)、通用技術(shù)、基礎(chǔ)算法拓展。
模式五：基礎(chǔ)設(shè)施提供者——從基礎(chǔ)設(shè)施切入，并向產(chǎn)業(yè)鏈下游拓展
以芯片或硬件等基礎(chǔ)設(shè)施公司為主，從基礎(chǔ)設(shè)施切入，提高技術(shù)能力，向數(shù)據(jù)、算法等產(chǎn)業(yè)鏈上游拓展。
關(guān)鍵成功因素：開發(fā)具有智能計(jì)算能力的新型芯片，如圖像、語音識(shí)別芯片等，拓展芯片的應(yīng)用場(chǎng)景；在移動(dòng)智能設(shè)備、大型服務(wù)器、無人機(jī)（車），機(jī)器人等設(shè)備、設(shè)施上廣泛集成運(yùn)用，提供更加高效、低成本的運(yùn)算能力、服務(wù)，與相關(guān)行業(yè)進(jìn)行深度整合。
2.3 政策監(jiān)管法律法規(guī)
我國在人工智能領(lǐng)域密集出臺(tái)相關(guān)法律法規(guī)及政策，可以看出在世界主要大國紛紛在人工智能領(lǐng)域出臺(tái)國家戰(zhàn)略，搶占人工智能時(shí)代制高點(diǎn)的環(huán)境下，中國政府把人工智能上升到國家戰(zhàn)略的決心。
圖：中國人工智能行業(yè)最新政策
資料來源：千際投行，資產(chǎn)信息網(wǎng)，中商情報(bào)網(wǎng)
行業(yè)自律
國際化標(biāo)準(zhǔn)化組織（ISO）于2017年成立人工智能委員會(huì)，負(fù)責(zé)涵蓋算法偏見、隱私保護(hù)等領(lǐng)域的標(biāo)準(zhǔn)研制工作。電氣和電子工程師協(xié)會(huì)（IEEE）在2017年提出了“人權(quán)、福祉、問責(zé)、透明、慎用”的五項(xiàng)原則，已成為國際上最具影響的AI倫理原則之一。在學(xué)術(shù)界，牛津大學(xué)、劍橋大學(xué)和Open AI公司等7家機(jī)構(gòu)于2018年共同發(fā)布《人工智能的惡意使用：預(yù)測(cè)、預(yù)防和緩解》，分析了人工智能可能帶來的安全威脅并提出應(yīng)對(duì)建議。在企業(yè)界，微軟、谷歌、IBM等科技企業(yè)制定了人工智能開發(fā)的倫理原則，臉書也在2019年初聯(lián)合慕尼黑工業(yè)大學(xué)建立了AI倫理研究所。
2019年2月，國家新一代人工智能治理專業(yè)委員會(huì)成立，并于6月發(fā)布了《新一代人工智能治理原則——發(fā)展負(fù)責(zé)任的人工智能》，旨在“更好地協(xié)調(diào)發(fā)展與治理的關(guān)系，確保人工智能安全可靠可控，推動(dòng)經(jīng)濟(jì)、社會(huì)及生態(tài)可持續(xù)發(fā)展”。同年4月，國家人工智能標(biāo)準(zhǔn)化總體組發(fā)布了《人工智能倫理風(fēng)險(xiǎn)分析報(bào)告》，提出“人類根本利益原則”和“責(zé)任原則”。
2019年5月，由科技部和北京市政府指導(dǎo)成立的北京智源人工智能研究院成立了人工智能倫理與安全研究中心，并聯(lián)合北大、清華、中科院、新一代人工智能產(chǎn)業(yè)技術(shù)創(chuàng)新戰(zhàn)略聯(lián)盟（發(fā)起成員包括百度、阿里、騰訊、華為等）和其他學(xué)術(shù)機(jī)構(gòu)及產(chǎn)業(yè)組織共同發(fā)布《人工智能北京共識(shí)》，提出了人工智能研發(fā)、使用和治理應(yīng)遵循的“有益于人類命運(yùn)共同體的構(gòu)建和社會(huì)發(fā)展”的15條原則。2019年8月，深圳人工智能行業(yè)協(xié)會(huì)與曠視科技、科大訊飛等數(shù)十家企業(yè)聯(lián)合發(fā)布《新一代人工智能行業(yè)自律公約》。百度、騰訊等主要科技企業(yè)也提出了企業(yè)自身的AI倫理準(zhǔn)則；曠視科技還在制定準(zhǔn)則的基礎(chǔ)上，成立了人工智能道德委員會(huì)，以推動(dòng)“可持續(xù)、負(fù)責(zé)任、有價(jià)值的人工智能生態(tài)”。
第三章 技術(shù)發(fā)展表：自然語言處理重要科研進(jìn)展
資料來源：千際投行，資產(chǎn)信息網(wǎng)，智譜AI
3.1 自然語言處理的范式遷移范式是建模一類任務(wù)的通用框架。過去幾年隨著神經(jīng)網(wǎng)絡(luò)架構(gòu)逐漸向Transformer統(tǒng)一以及大規(guī)模預(yù)訓(xùn)練模型的普及，大多數(shù)自然語言處理（NLP）任務(wù)的建模已經(jīng)收斂到幾種主流的范式。
任務(wù)定義和目標(biāo)
NLP任務(wù)中廣泛使用的范式歸為以下7類，即分類（Class）、匹配（Matching）、序列標(biāo)注（Seq Lab）、閱讀理解（MRC）、序列到序列（Seq2Seq）、序列到動(dòng)作序列（Seq2ASeq）和語言模型（(M)LM）。
具體的范式描述如下：
分類范式（Class）為文本指定預(yù)定義的標(biāo)簽。文本分類通常將文本輸入一個(gè)基于深度神經(jīng)網(wǎng)絡(luò)的編碼器來提取特征，然后將其輸入一個(gè)淺層分類器來預(yù)測(cè)標(biāo)簽，如=CLS(ENC())。可以是獨(dú)熱編碼，ENC(?)通常是卷積網(wǎng)絡(luò)、循環(huán)網(wǎng)絡(luò)或Transformers，CLS(?)常由一個(gè)簡(jiǎn)單的多層感知器和匯聚層實(shí)現(xiàn)。
匹配范式（Matching）是預(yù)測(cè)兩個(gè)文本語義相關(guān)性的一種范式。Matching范式可以簡(jiǎn)單地表述為=CLS(ENC(,))，和是被預(yù)測(cè)的兩段文本，可以是離散或連續(xù)的。
序列標(biāo)注范式（Seq Lab）可用于模擬各種任務(wù)，如詞性標(biāo)注（POS）、命名實(shí)體識(shí)別（NER）和組塊分析。傳統(tǒng)的基于神經(jīng)網(wǎng)絡(luò)的序列標(biāo)注模型由編碼器和解碼器組成，如1,?,=DEC(ENC(1,?,))。1,?,是1,?,對(duì)應(yīng)的標(biāo)簽。
機(jī)器閱讀理解范式（MRC）從輸入序列中提取連續(xù)詞元序列（span）來回答給定的問題。MRC范式可以描述為?+=DEC(ENC(,))，和表示篇章和問題，?+是從或中獲得span。
序列到序列范式（Seq2Seq）是一種通用且功能強(qiáng)大的范式，可以處理各種NLP任務(wù)。Seq2Seq范式通常由編碼器—解碼器框架實(shí)現(xiàn)，如1,?,=DEC(ENC(1,?,))。與Seq Lab不同，這里輸入和輸出的長(zhǎng)度不需要相同。
序列到動(dòng)作序列范式（Seq2ASeq）是一種廣泛使用的結(jié)構(gòu)化預(yù)測(cè)范式。Seq2ASeq范式的例子通常被稱為基于轉(zhuǎn)移的模型，可規(guī)范為=CLS(ENC(),)，=1,?,是動(dòng)作序列，=1,?,?1是狀態(tài)序列。
語言模型范式（LM）估計(jì)給定單詞序列出現(xiàn)在句子中的概率。它可以被簡(jiǎn)單表示為=DEC(1,?,?1)，DEC可以是任何自回歸的模型。一種LM的變體ML可以被規(guī)范為：=DEC(ENC(?))，?由將的一些詞元（token）替換為特殊詞元[MASK]得到，表示待預(yù)測(cè)的詞元。
圖：自然語言處理中的七種主流范式
資料來源：千際投行，資產(chǎn)信息網(wǎng)，中國中文信息學(xué)會(huì)
技術(shù)方法與研究現(xiàn)狀
傳統(tǒng)的文本分類任務(wù)可以通過Class范式很好地解決。但其變體（如多標(biāo)簽分類）可能具有挑戰(zhàn)性。為此，Yang et al.采用Seq2Seq范式，以更好地捕捉多標(biāo)簽分類任務(wù)中標(biāo)簽之間的相互作用。Sun et al.采用Matching范式預(yù)測(cè)輸入對(duì)(,)是否匹配，是原文本，是類的描述。
自然語言推理（NLI）通常在Matching范式中進(jìn)行建模，兩個(gè)輸入文本(,)被編碼并互相作用，再連接分類器預(yù)測(cè)它們的關(guān)系。隨著BERT等功能強(qiáng)大的編碼器出現(xiàn)，NLI任務(wù)可以通過將兩個(gè)文本連接為一個(gè)文本在Class范式中解決。
命名實(shí)體識(shí)別（NER）可以被分為3類：常規(guī)NER、嵌套NER和非連續(xù)NER。傳統(tǒng)的方法基于Seq Lab、Class和Seq2ASeq來分別解決3個(gè)任務(wù)。Li et al.提出將常規(guī)NER和嵌套NER規(guī)范為MRC任務(wù)。Yan et al.使用一種基于Seq2Seq范式的統(tǒng)一模型來解決所有3種子任務(wù)。
方面級(jí)情感分析（ABSB）是一種細(xì)粒度的情感分析，可以分為7種子任務(wù)以被不同的范式處理。Mao et al.采用MRC范式處理所有的ABSB子任務(wù)。Yan et al.通過將任務(wù)的標(biāo)簽轉(zhuǎn)化為詞元序列，再使用Seq2Seq范式來處理。
關(guān)系抽取（RE）主要有兩個(gè)子任務(wù)：關(guān)系預(yù)測(cè)和三元組抽取。前者主要通過Class范式解決，而后者常以流水線方式處理：首先使用Seq Lab范式提取實(shí)體，再使用Class范式預(yù)測(cè)實(shí)體間關(guān)系。Zeng et al.使用Seq2Seq范式處理三元組抽取任務(wù)，Levy et al.使用MRC范式處理RE任務(wù)。此外，三元組抽取也可以通過轉(zhuǎn)化為多輪對(duì)話后用MRC范式處理。
解決文本摘要任務(wù)有兩種不同的方法：抽取式摘要和生成式摘要。前者通常使用Seq Lab范式，而后者常通過Seq2Seq范式直接生成。Mc Cann et al.將其規(guī)范為一個(gè)問答任務(wù)，并使用Seq2Seq模型解決；Zhong et al.提出用Matching范式處理抽取式摘要。
語法分析在機(jī)器翻譯和問答等應(yīng)用中有重要作用?；谵D(zhuǎn)移和基于圖的方法是兩種常用的手段。前者通常使用Seq2ASeq范式，而后者使用Class范式解決。通過將目標(biāo)樹結(jié)構(gòu)線性化為一個(gè)序列，該任務(wù)可以通過Seq2Seq范式解決。此外，Gan et al.使用MRC范式來解決依存分析任務(wù)。
技術(shù)展望與發(fā)展趨勢(shì)
一些范式已經(jīng)顯示出將各種NLP任務(wù)規(guī)范為統(tǒng)一框架的潛在能力，提供了將單個(gè)模型作為不同NLP任務(wù)的統(tǒng)一解決方案的可能性。單個(gè)統(tǒng)一模型的優(yōu)勢(shì)可以概括為：不再需要大量標(biāo)注數(shù)據(jù)、泛化能力強(qiáng)以及部署便捷。
主要探討以下4種可能統(tǒng)一不同NLP任務(wù)的范式：(M)LM、Matching、MRC和Seq2Seq。將下游任務(wù)規(guī)范為(M)LM任務(wù)是利用預(yù)訓(xùn)練語言模型的自然方式。(M)LM可使用無監(jiān)督數(shù)據(jù)處理理解和生成任務(wù)。另一個(gè)可能的統(tǒng)一范式是Matching。Matching的優(yōu)勢(shì)在于只需要設(shè)計(jì)標(biāo)簽描述，工程量較小。但Matching需要大量NLI數(shù)據(jù)進(jìn)一步訓(xùn)練，領(lǐng)域遷移受限，且無法做生成任務(wù)。MRC范式通過生成任務(wù)特定的問題并訓(xùn)練MRC模型，從輸入文本中根據(jù)問題選擇正確的span。MRC的框架模型十分通用，但難以發(fā)揮已有訓(xùn)練模型的能力。Seq2Seq是一個(gè)通用且靈活的范式，非常適用于復(fù)雜任務(wù)，但也受限于自回歸生成導(dǎo)致較慢的推理速度。
最近，基于提示的微調(diào)（prompt-based tuning）迅速流行起來。相比之下，其他潛在的統(tǒng)一范式?jīng)]有得到充分的探索。通過預(yù)訓(xùn)練或其他技術(shù)探索更強(qiáng)大的Matching、MRC或Seq2Seq模型或許應(yīng)受到更多的重視。
3.2 詞法、句法分析任務(wù)簡(jiǎn)介、目標(biāo)及意義
詞法分析和句法分析是自然語言處理的基礎(chǔ)任務(wù)，可以被應(yīng)用到許多自然語言處理下游任務(wù)中去，例如機(jī)器翻譯和文本摘要。
詞法分析主要包括詞性標(biāo)注這一任務(wù)。詞性標(biāo)注指基于詞性含義以及詞的上下文來為輸入文本中的每個(gè)詞進(jìn)行詞性標(biāo)注的過程，常見的詞性標(biāo)簽有名詞、動(dòng)詞、形容詞等。詞性標(biāo)注一般沒有直接應(yīng)用場(chǎng)景，但它卻能為許多下游任務(wù)提供幫助，例如，在詞義消歧任務(wù)當(dāng)中，詞義和詞性常常是相關(guān)聯(lián)的，比如“翻譯”一詞既可指職業(yè)也可指行為，這兩個(gè)詞義的一大區(qū)別即為其詞性不同：前者為名詞而后者為動(dòng)詞。
句法分析旨在對(duì)輸入的文本句子進(jìn)行分析以得到句子的句法結(jié)構(gòu)。常見的句法分析有依存句法分析和成分句法分析。依存句法分析識(shí)別句子中詞與詞之間的相互依存關(guān)系，而成分句法分析識(shí)別句子中的層次化短語語法結(jié)構(gòu)。句法分析在諸多自然語言處理下游任務(wù)中都有應(yīng)用，例如在嵌套命名實(shí)體識(shí)別任務(wù)中，由于實(shí)體間存在相互嵌套現(xiàn)象，因此非常適合和成分句法分析中的層次化短語語法結(jié)構(gòu)共同建模。
技術(shù)方法和研究現(xiàn)狀
詞法分析：最簡(jiǎn)單的詞性標(biāo)注器是使用字典中最常見的詞性作為當(dāng)前詞的詞性，但這種簡(jiǎn)單的規(guī)則只可以解決大約85%的詞性標(biāo)注問題。為了解決詞性歧義的問題，研究者們使用機(jī)器學(xué)習(xí)算法進(jìn)行詞性預(yù)測(cè)。在基于統(tǒng)計(jì)方法的時(shí)代，研究人員手動(dòng)提取字詞特征，例如字母大小寫、前綴、后綴等特征，并使用隱馬爾可夫、條件隨機(jī)場(chǎng)等模型計(jì)算可能的標(biāo)簽序列的概率分布，并選擇最佳標(biāo)簽序列作為輸出。進(jìn)入神經(jīng)網(wǎng)絡(luò)時(shí)代后，常見的做法是使用LSTM、Transformer等編碼器對(duì)輸入文本進(jìn)行編碼，并使用Softmax或者CRF進(jìn)行解碼預(yù)測(cè)，這種方法在基于《華爾街日?qǐng)?bào)》的WSJ數(shù)據(jù)集上取得了超過97%的準(zhǔn)確率。近幾年以來，為了進(jìn)一步提升性能和魯棒性，研究人員嘗試在詞性標(biāo)注模型上展開編碼長(zhǎng)距離標(biāo)簽依賴關(guān)系等工作。
句法分析：主流的句法分析方法主要分為兩種：基于轉(zhuǎn)移的方法和基于圖的方法?；谵D(zhuǎn)移的方法通過預(yù)測(cè)一系列轉(zhuǎn)移操作來構(gòu)建合法的句法樹結(jié)構(gòu)，這種方法需要同時(shí)建模緩存區(qū)（已經(jīng)生成的部分樹結(jié)構(gòu)）、堆棧區(qū)（等待輸入的文本序列）和已經(jīng)預(yù)測(cè)出來的轉(zhuǎn)移操作序列，其中常見的緩存區(qū)和堆棧區(qū)的建模方法為stack-LSTM，轉(zhuǎn)移操作序列的建模方法常用LSTM；基于圖的方法首先編碼輸入、給文本局部打分，而后采用動(dòng)態(tài)規(guī)劃等算法來恢復(fù)句法樹結(jié)構(gòu)，該種方法采用的主流編碼器包括LSTM和Transformer，解碼器一般基于最大生成樹算法（依存句法分析）或CKY算法（成分句法分析）。
近幾年來，隨著大規(guī)模預(yù)訓(xùn)練語言模型的出現(xiàn)，BERT、XLNET等預(yù)訓(xùn)練語言模型也常被用作句法分析器的編碼器。當(dāng)前最佳的依存句法分析器是基于圖的方法，使用BERT后可以在基于《華爾街日?qǐng)?bào)》來標(biāo)注的賓夕法尼亞大學(xué)樹庫數(shù)據(jù)集上取得了超過96%的有標(biāo)簽F-1分?jǐn)?shù)；最佳的成分句法分析器亦采用了基于圖的方法，在使用BERT的情況下在賓大樹庫上取得了接近96%的F-1值。與此同時(shí)，句法分析領(lǐng)域也有新的模型架構(gòu)、轉(zhuǎn)移范式不斷涌現(xiàn)，例如，Zhang et al.提出了一種可以批處理的基于CRF的成分句法分析器，Yang et al.提出一種基于連結(jié)（attach）和并列（juxtapose）的新轉(zhuǎn)移范式。
聯(lián)合建模：為了解決錯(cuò)誤傳播問題、進(jìn)一步提高詞法分析和句法分析模型的表現(xiàn)，一個(gè)常見方法是將詞性標(biāo)注和句法分析進(jìn)行聯(lián)合建模。具體來說，詞性標(biāo)注、依存句法分析和成分句法分析這三個(gè)任務(wù)中，任意兩個(gè)任務(wù)或者全部三個(gè)任務(wù)均可組合起來進(jìn)行聯(lián)合建模。研究人員發(fā)現(xiàn)，聯(lián)合建?？梢杂行嵘齾⑴c建模的各個(gè)任務(wù)的準(zhǔn)確率，例如，Zhou et al.在賓大樹庫上進(jìn)行依存句法分析和成分句法分析的聯(lián)合建模，在兩個(gè)任務(wù)上的錯(cuò)誤率分別比單獨(dú)建模減少了16%和3%。
發(fā)展趨勢(shì)
在詞法和句法分析任務(wù)上，隨著在新聞?lì)I(lǐng)域（賓大樹庫所基于的領(lǐng)域）內(nèi)模型的表現(xiàn)接近理論上限，研究人員們將視線轉(zhuǎn)向了更加具有實(shí)用性、同時(shí)也富有挑戰(zhàn)性的跨領(lǐng)域和多語言場(chǎng)景中去，具體來說，研究人員們?cè)噲D探究在低資源、零資源的情景下如何使得詞法、句法分析器仍舊得以應(yīng)用，沿著這個(gè)研究方向，近期工作包括了跨語言、跨領(lǐng)域詞法分析器的設(shè)計(jì)、新領(lǐng)域樹庫的構(gòu)建和跨領(lǐng)域、跨語言句法分析器的構(gòu)建等工作。
3.3 語義分析任務(wù)簡(jiǎn)介、目標(biāo)及研究意義
語義分析（semantic analysis）是生成意義表示并將這些意義指派給語言輸入的過程。根據(jù)語言輸入的粒度不同，語義分析又可進(jìn)一步分為詞匯級(jí)語義分析、句子級(jí)語義分析和篇章級(jí)語義分析。通常，詞匯級(jí)語義分析主要關(guān)注如何區(qū)分和獲取單個(gè)詞語的語義，經(jīng)典任務(wù)是詞義消歧（Word Sense Disambiguation, WSD），即在特定的語境中，識(shí)別出某個(gè)歧義詞的正確詞義；句子級(jí)語義分析主要關(guān)注解析由詞語所組成的句子的語義，根據(jù)分析的深淺程度又分為淺層語義分析和深層語義分析，其中淺層語義分析的經(jīng)典任務(wù)是語義角色標(biāo)注（Semantic Role Labeling, SRL），即識(shí)別出給定句子的謂詞及謂詞的相應(yīng)語義角色成分。
深層語義分析，又稱為語義解析，即將輸入的句子轉(zhuǎn)換為計(jì)算機(jī)可識(shí)別、可計(jì)算的語義表示，語義解析又根據(jù)應(yīng)用情境的不同，可分為自然語言到結(jié)構(gòu)化查詢（language to query）、語言到代碼（language to code）和語言到機(jī)器操作指令（language to instruction）；篇章級(jí)語義分析主要關(guān)注由句子組成的篇章的內(nèi)在結(jié)構(gòu)并理解各個(gè)句子的語義以及句子與句子之間的語義關(guān)系，進(jìn)而理解整個(gè)篇章的語義。詞語級(jí)語義分析是句子、篇章語義分析的基礎(chǔ)，句子級(jí)語義分析又是篇章語義分析的基礎(chǔ)。
語義分析是自然語言處理的核心任務(wù)，其目標(biāo)是實(shí)現(xiàn)對(duì)語言輸入的語義理解，進(jìn)而支撐后續(xù)的操作和處理。在理論上，語義分析涉及語言學(xué)、計(jì)算語言學(xué)、認(rèn)知科學(xué)、神經(jīng)科學(xué)等多個(gè)學(xué)科，語義分析的研究和進(jìn)展可推動(dòng)多個(gè)相關(guān)學(xué)科的發(fā)展。在應(yīng)用上，語義分析對(duì)自然語言處理領(lǐng)域的其他任務(wù)都有一定的促進(jìn)作用。
如現(xiàn)代機(jī)器翻譯，雖然目前的神經(jīng)機(jī)器翻譯系統(tǒng)已取得媲美人類甚至超過人類的翻譯效果，但要真正達(dá)到“信、達(dá)、雅”的標(biāo)準(zhǔn)，還需要有語義分析的參與。如現(xiàn)代的語義搜索引擎，從以前的匹配查詢與文檔轉(zhuǎn)變?yōu)榱死斫庥脩籼峤坏牟樵兊囊鈭D，能夠更精準(zhǔn)的向用戶返回最符合需求的搜索結(jié)果。另外，知識(shí)獲取方面，它與語義分析是相互促進(jìn)的，一方面，語義分析需要知識(shí)的支撐，更大、更全、更準(zhǔn)確的知識(shí)庫對(duì)語義分析有著至關(guān)重要的作用；另一方面，為了從自由文本中獲取更多結(jié)構(gòu)化的知識(shí)，語義分析又是必不可少的技術(shù)。
目前，語義分析的研究吸引了國內(nèi)外大批學(xué)者，但大部分都集中于句子級(jí)語義分析方向上，詞匯級(jí)和篇章級(jí)的研究工作甚少。主要因?yàn)樵~匯級(jí)語義分析，如詞義消歧，已發(fā)展多年，技術(shù)已趨成熟，研究的重心轉(zhuǎn)向句子級(jí)的語義分析；而篇章級(jí)語義分析由于完全體的篇章理解過于困難，因此衍生了多個(gè)與之相關(guān)的任務(wù)，如篇章的結(jié)構(gòu)分析、話語分割、指代消解、共指消解等，任務(wù)分散且偏邊緣，導(dǎo)致得到的研究關(guān)注很少，進(jìn)展也緩慢。整體來說，語義分析雖然已取得了一定的進(jìn)展，但技術(shù)還遠(yuǎn)未成熟完美。
研究進(jìn)展與影響
在深度神經(jīng)網(wǎng)絡(luò)模型崛起之前，語義分析領(lǐng)域基于文法和組合規(guī)則的模型占據(jù)主流。近5年來，隨著神經(jīng)網(wǎng)絡(luò)模型的興起，特別是序列到序列模型（Seq2Seq）在自然語言處理多個(gè)任務(wù)上的成功，如機(jī)器翻譯，語義分析任務(wù)上也開始嘗試將語義分析問題建模為序列到序列的問題。近2年，隨著像BERT、GPT這樣的大規(guī)模預(yù)訓(xùn)練語言模型的提出，并在自然語言處理的多個(gè)任務(wù)上面取得SOTA，整個(gè)NLP領(lǐng)域都轉(zhuǎn)型采用預(yù)訓(xùn)練+精調(diào)的新研究范式。為了更好的利用大模型里面的知識(shí)，NLP領(lǐng)域還興起了基于提示語（prompt）的方法浪潮。深度語義分析領(lǐng)域也緊跟整個(gè)NLP領(lǐng)域的大潮，與之對(duì)應(yīng)的先后出現(xiàn)了基于序列到序列的語義分析方法面向語義分析的預(yù)訓(xùn)練方法和基于大模型受限生成的方法。
其中基于序列到序列的語義分析方法的核心在于將結(jié)構(gòu)化的語義表示序列化，把語義表示看成一系列的語義單元。相比基于文法和組合規(guī)則的方法，Seq2Seq方法非常簡(jiǎn)單，是端到端的，不需要人工設(shè)計(jì)特征，也不需要學(xué)習(xí)文法和組合規(guī)則。然而，Seq2Seq的方法也忽略了一個(gè)問題，不同于機(jī)器翻譯，語義分析的目標(biāo)語言不是一種自然語言，而是一種形式化語言，它具有層次結(jié)構(gòu)，Seq2Seq方法只是簡(jiǎn)單地將語義表示偏平序列化，忽略了語義表示的層次結(jié)構(gòu)信息，基于此，Dong et al.提出了Seq2Tree的方法，其核心是一個(gè)層次化的解碼器，解碼時(shí)不再生成偏平化的語義表示序列，而是生成層次結(jié)構(gòu)化的語義表示，簡(jiǎn)而言之，用一個(gè)層次樹結(jié)構(gòu)的形式來表征語義，序列化時(shí)，采用層次結(jié)構(gòu)樹的廣度優(yōu)先遍歷的形式。
考慮到Seq2Seq和Seq2Tree方法都忽略了語義表示token之間的緊密聯(lián)系，Chen et al.提出了一種Seq2Action的方法，該方法采用語義圖作為語義表示，然后將語義圖進(jìn)行原子級(jí)分解，用設(shè)計(jì)好的動(dòng)作序列來表示語義圖的構(gòu)建，進(jìn)而用編碼器-解碼器模型框架來生成動(dòng)作序列，并利用到語義表示token之間存在嚴(yán)格的句法和語義約束，提出了一種受限的解碼方法?；谛蛄械叫蛄械恼Z義分析方法由于其簡(jiǎn)單而有效的特點(diǎn)，成為了目前語義分析領(lǐng)域最常用的基線模型。
與其它面向特定任務(wù)的預(yù)訓(xùn)練模型方法類似，面向語義分析的預(yù)訓(xùn)練模型也包含兩個(gè)關(guān)鍵：收集數(shù)據(jù)和設(shè)計(jì)自監(jiān)督學(xué)習(xí)任務(wù)。針對(duì)text-to-sql的語義分析問題，典型的預(yù)訓(xùn)練模型是GraPPa，其采用了兩種常用的用于text-to-sql問題的數(shù)據(jù)收集方法，一是從已有的跟表格有關(guān)的數(shù)據(jù)中抽取表格與自然語言對(duì)，二是利用同步文法在新采樣的表格上自動(dòng)生成（表格，自然語言，sql）數(shù)據(jù)對(duì)。預(yù)訓(xùn)練模型的輸入不同于預(yù)訓(xùn)練語言模型的輸入，這里的輸入是將自然語言查詢與表格的表頭拼接起來的。
自監(jiān)督學(xué)習(xí)任務(wù)方面，為了在表示層面簡(jiǎn)歷自然語言詞語與表頭的交互，設(shè)計(jì)掩碼任務(wù)，即對(duì)輸入進(jìn)行隨機(jī)的掩碼，再進(jìn)行復(fù)原，最后計(jì)算損失函數(shù)。為了進(jìn)一步在表示層面學(xué)習(xí)表，通過預(yù)測(cè)表頭的語義標(biāo)簽來實(shí)現(xiàn)。由于是預(yù)訓(xùn)練模型，使用方面可以像使用BERT一樣方便，可適用于所有語義分析模型。
基于大模型的受限生成的方法啟發(fā)于像T5在text-to-text任務(wù)上的成功，以及GPT在文本生成任務(wù)上的成功。考慮到語義分析任務(wù)與text-to-text問題的不同：語義分析生成的不是自然語言，而是形式化的語義表示，需要滿足一定的文法約束，研究者們引入了一種中間語言：經(jīng)典句式，它是一種介乎于自然語言與語義表示之間的一種語言，又與自然語言類似，但又符合確定性的文法，它與語義表示之間可以通過同步文法進(jìn)行確定性的轉(zhuǎn)換。
基于經(jīng)典句式，語義分析可以轉(zhuǎn)換成一種受限的復(fù)述生成。即給定輸入句子，大模型利用復(fù)述生成其經(jīng)典句式，在解碼生成過程中可以利用約束來減小解碼空間。這類模型的關(guān)鍵在于解碼過程中約束的確定，目前一般采用啟發(fā)式的基于文法的形式引入約束條件。由于大模型，如T5、BART和GPT在few-shot和zero-shot問題上都表現(xiàn)出色，基于大模型的受限生成語義分析方法在few-shot和無監(jiān)督的設(shè)定下也取得了很好的成績(jī)。
技術(shù)展望和發(fā)展趨勢(shì)
語義分析技術(shù)發(fā)展迅速，整體上，緊跟自然語言處理領(lǐng)域的發(fā)展大潮，一方面部分方法啟發(fā)于其他任務(wù)的先進(jìn)技術(shù)，如基于序列到序列的語義分析方法，另一方面部分方法也啟發(fā)了其他領(lǐng)域，如基于受限解碼的事件抽取方法。
基于對(duì)現(xiàn)有技術(shù)的分析和總結(jié)，語義分析后續(xù)的研究發(fā)展趨勢(shì)主要包括：
（1）通用的面向自然語言理解的預(yù)訓(xùn)練模型
目前的面向語義分析的預(yù)訓(xùn)練模型由于高質(zhì)量的標(biāo)注數(shù)據(jù)難以獲取的問題，預(yù)訓(xùn)練模型還只在text-to-sql和code generation等數(shù)據(jù)相對(duì)容易獲取的問題上得以實(shí)現(xiàn)。接下來，可以嘗試同時(shí)面向更加通用的語義分析情境，如面向開放域的問答，語言到機(jī)器執(zhí)行指令等，一個(gè)預(yù)訓(xùn)練模型，適用所有的語義分析任務(wù)。
（2）自學(xué)習(xí)的控制生成
目前，研究者都已意識(shí)到大模型加受限解碼在語義分析問題上的威力。但整個(gè)過程還需要人工參與，如約束條件需要人來參與設(shè)計(jì)，用于經(jīng)典句式與語義表示之間互相轉(zhuǎn)換的同步文法需要人工定義。如何將這些人工參與的部分交給模型自主學(xué)習(xí)，實(shí)現(xiàn)自學(xué)習(xí)的soft的同步文法和自學(xué)習(xí)的soft的條件約束是下一步可研究的點(diǎn)。
（3）狀態(tài)感知的預(yù)訓(xùn)練模型
目前的大模型與世界沒有太多交互。而語義分析任務(wù)中有些情境需要與世界進(jìn)行交互，如基于對(duì)話執(zhí)行查詢，基于對(duì)話執(zhí)行指令操作等。如何訓(xùn)練一個(gè)面向自然語言理解的能與世界進(jìn)行交互的大模型，即當(dāng)世界的狀態(tài)因?yàn)楫?dāng)前的動(dòng)作發(fā)生改變時(shí)，大模型能否及時(shí)的感知到狀態(tài)的變化，并在理解下個(gè)輸入的過程中是基于已更新過的世界狀態(tài)的，也是一個(gè)可探究的點(diǎn)。
3.4 信息抽取任務(wù)定義和目標(biāo)
信息抽?。↖nformation Extraction）的目標(biāo)是從非結(jié)構(gòu)化文本中抽取出結(jié)構(gòu)化的信息，主要包括實(shí)體抽取、實(shí)體關(guān)系抽?。≧elation Extraction，RE）、事件抽?。‥vent Extraction，EE）和事件關(guān)系抽取（Event Relation Extraction,ERE）等任務(wù)。實(shí)體主要是指文本中名詞性的短語，比如人名、地名、機(jī)構(gòu)名、時(shí)間、日期、數(shù)字等。實(shí)體抽取也稱為命名實(shí)體識(shí)別（Named Entity Recognition，NER），包括實(shí)體的識(shí)別和分類。實(shí)體識(shí)別就是從文本中找出哪個(gè)片段是一個(gè)實(shí)體。實(shí)體的分類就是判斷找出的實(shí)體屬于什么類別，比如：人名、地名等。實(shí)體關(guān)系抽取則是判斷兩個(gè)實(shí)體之間的語義關(guān)系，比如“姚明”和“上海市”這兩個(gè)實(shí)體之間是“出生于”的關(guān)系，而“北京”與“中國”則是“首都”的關(guān)系。事件抽取任務(wù)是識(shí)別特定類型的事件，并把事件中擔(dān)任既定角色的要素找出來，該任務(wù)可進(jìn)一步分解為4個(gè)子任務(wù)：觸發(fā)詞識(shí)別、事件類型分類、論元識(shí)別和角色分類任務(wù)。
信息抽取技術(shù)是中文信息處理和人工智能的核心技術(shù)，具有重要的科學(xué)意義。通過將文本所表述的信息結(jié)構(gòu)化和語義化，信息抽取技術(shù)提供了分析非結(jié)構(gòu)化文本的有效手段，是實(shí)現(xiàn)大數(shù)據(jù)資源化、知識(shí)化和普適化的核心技術(shù)。被抽取出來的信息通常以結(jié)構(gòu)化的形式描述，可以為計(jì)算機(jī)直接處理，從而實(shí)現(xiàn)對(duì)海量非結(jié)構(gòu)化數(shù)據(jù)的分析、組織、管理、計(jì)算、查詢和推理，并進(jìn)一步為更高層面的應(yīng)用和任務(wù)（如自然語言理解、知識(shí)庫構(gòu)建、智能問答系統(tǒng)、輿情分析系統(tǒng)）提供支撐。
技術(shù)方法和研究現(xiàn)狀
信息抽取的核心是將自然語言表達(dá)映射到目標(biāo)知識(shí)結(jié)構(gòu)上，并轉(zhuǎn)換為可供計(jì)算機(jī)處理的知識(shí)。然而，自然語言表達(dá)具有多樣性、歧義性和結(jié)構(gòu)性，其中蘊(yùn)含的知識(shí)具有復(fù)雜性、開放性以及規(guī)模巨大的特點(diǎn)，進(jìn)而導(dǎo)致信息抽取任務(wù)極具挑戰(zhàn)性。自上世紀(jì)80年代被提出以來，信息抽取一直是自然語言處理的研究熱點(diǎn)。
在早期，大部分信息抽取系統(tǒng)（如MUC評(píng)測(cè)中的信息抽取系統(tǒng)）都采用基于規(guī)則的方法，該類方法依靠人工制定規(guī)則，其優(yōu)點(diǎn)是可預(yù)判和解釋，但面臨著移植性差，很多場(chǎng)景很難甚至無法總結(jié)有效的規(guī)則。自90年代以來，統(tǒng)計(jì)模型成為信息抽取的主流方法，通常將信息抽取任務(wù)形式化為從文本輸入到特定目標(biāo)結(jié)構(gòu)的預(yù)測(cè)，使用統(tǒng)計(jì)模型來建模輸入與輸出之間的關(guān)聯(lián)，并使用機(jī)器學(xué)習(xí)方法來學(xué)習(xí)模型的參數(shù)，經(jīng)典的方法包括使用條件隨機(jī)場(chǎng)（CRF）將實(shí)體識(shí)別問題轉(zhuǎn)化為序列標(biāo)注問題。近年來，隨著深度學(xué)習(xí)時(shí)代來臨，研究者主要聚焦于如何使用深度神經(jīng)網(wǎng)絡(luò)自動(dòng)學(xué)習(xí)有區(qū)分性的特征，進(jìn)而避免使用傳統(tǒng)自然語言處理工具抽取特征時(shí)存在的錯(cuò)誤累積問題。隨著研究的深入，特別是大規(guī)模預(yù)訓(xùn)練語言模型的引入，基于深度神經(jīng)網(wǎng)絡(luò)的信息抽取模型在公開數(shù)據(jù)集上達(dá)到了不錯(cuò)的成績(jī)，但是在實(shí)際應(yīng)用場(chǎng)景效果還不盡人意。
理想設(shè)定與實(shí)際場(chǎng)景存在巨大鴻溝，近期越來越多的工作針對(duì)實(shí)際應(yīng)用中的挑戰(zhàn)展開。真實(shí)場(chǎng)景中實(shí)體、關(guān)系、事件具有長(zhǎng)尾分布特點(diǎn)，許多關(guān)系和實(shí)體對(duì)的示例較少。對(duì)于金融、醫(yī)療等垂直領(lǐng)域，缺失標(biāo)注數(shù)據(jù)現(xiàn)象更為明顯，甚至數(shù)據(jù)的獲取也很困難,而神經(jīng)網(wǎng)絡(luò)作為典型的“數(shù)據(jù)饑渴”模型，在訓(xùn)練樣例過少時(shí)性能會(huì)受到極大影響。針對(duì)小樣本任務(wù)，Ding等發(fā)布了包含8種粗粒度和66種細(xì)粒度實(shí)體類的少樣本命名實(shí)體識(shí)別；Han等發(fā)布了小樣本關(guān)系抽取數(shù)據(jù)集Few Rel，Gao等在Few Rel數(shù)據(jù)集的基礎(chǔ)上提出了FewRel2.0，增加了領(lǐng)域遷移（domain adaptation）和“以上都不是”檢測(cè)（noneof-the-above detection）。利用海量無監(jiān)督數(shù)據(jù)得到的預(yù)訓(xùn)練模型得到有效的語義特征是少量樣本快速學(xué)習(xí)知識(shí)的代表性方法，Baldini等使用BERT來對(duì)文本關(guān)系進(jìn)行表示，并且提出了Matching the blanks的方法來預(yù)訓(xùn)練任務(wù)不可知（task agnostic）的關(guān)系抽取模型。
真實(shí)場(chǎng)景中的信息抽取還面臨著復(fù)雜的語境，例如大量的實(shí)體間關(guān)系是通過多個(gè)句子表達(dá)的，同一個(gè)文檔中的多個(gè)事件相互影響，文檔級(jí)的信息抽取最近也收到廣泛的關(guān)注，代表性的方法是使用圖神經(jīng)網(wǎng)絡(luò)融合分布在文檔中不同位置的實(shí)體的信息，并利用圖算法進(jìn)行信息的傳遞。Quirk等最早嘗試構(gòu)建文檔級(jí)圖，捕獲相鄰句子之間的關(guān)系。Christopoulou等構(gòu)建以實(shí)體、實(shí)體提及（Mention）和句子為節(jié)點(diǎn)的文檔圖，并通過圖上的迭代算法得到邊的表示進(jìn)行關(guān)系分類，之后有大量的研究者采用類似的方法對(duì)文檔建模。除了使用圖網(wǎng)絡(luò)外，研究者也開始嘗試直接使用大規(guī)模語言模型建模文檔，Xu等將Mention是否在同一個(gè)句子中、是否指向同一個(gè)實(shí)體編碼作為實(shí)體結(jié)構(gòu)信息送入到BERT編碼層。Zhou等提出自適應(yīng)閾值代替用于多標(biāo)簽分類的全局閾值，并直接利用預(yù)訓(xùn)練模型的自注意力得分找到有助于確定關(guān)系的相關(guān)上下文特征。在大規(guī)模預(yù)訓(xùn)練語言模型的研究上，研究者也嘗試著加入知識(shí)增強(qiáng)語義表示，例如ERNIE中字、短語和實(shí)體三個(gè)級(jí)別的遮罩（MASK）訓(xùn)練，Qin等通過對(duì)比學(xué)習(xí)的方式將實(shí)體判別、關(guān)系判別作為輔助任務(wù)幫助模型的訓(xùn)練。
發(fā)展趨勢(shì)
信息抽取技術(shù)研究蓬勃發(fā)展，已經(jīng)成為了自然語言處理和人工智能等領(lǐng)域的重要分支。這一方面得益于系列國際權(quán)威評(píng)測(cè)和會(huì)議的推動(dòng)，如消息理解系列會(huì)議（MUC，Message Understanding Conference），自動(dòng)內(nèi)容抽取評(píng)測(cè)（ACE，Automatic Content Extraction）和文本分析會(huì)議系列評(píng)測(cè)（TAC，Text Analysis Conference）。另一方面也是因?yàn)樾畔⒊槿〖夹g(shù)的重要性和實(shí)用性，使其同時(shí)得到了研究界和工業(yè)界的廣泛關(guān)注。信息抽取技術(shù)自身的發(fā)展也大幅度推進(jìn)了中文信息處理研究的發(fā)展，迫使研究人員面向?qū)嶋H應(yīng)用需求，開始重視之前未被發(fā)現(xiàn)的研究難點(diǎn)和重點(diǎn)。
縱觀信息抽取研究發(fā)展的態(tài)勢(shì)和技術(shù)現(xiàn)狀，信息抽取的發(fā)展方向如下：
(1) 高效的小樣本學(xué)習(xí)能力
目前的小樣本學(xué)習(xí)設(shè)定需要用一個(gè)巨大的訓(xùn)練集訓(xùn)練的，測(cè)試時(shí)只給出N-way Kshot，在這N*K個(gè)樣本上學(xué)習(xí)并預(yù)測(cè)。真實(shí)場(chǎng)景下的小樣本學(xué)習(xí)不存在巨大的訓(xùn)練集，從GPT3開始，預(yù)訓(xùn)練-提示(Prompt)學(xué)習(xí)范式受到研究者的關(guān)注，該范式將下游任務(wù)也建模成語言模型任務(wù)，在只給出幾條或幾十條樣本作為訓(xùn)練集，借助與大規(guī)模預(yù)訓(xùn)練語言模型中蘊(yùn)含的大量知識(shí)，取得了不錯(cuò)的小樣本學(xué)習(xí)效果取得了。此外，相對(duì)于傳統(tǒng)的Pretrain+Finetune范式，Prompt有得天獨(dú)厚的，可以擺脫指數(shù)級(jí)的預(yù)訓(xùn)練參數(shù)量對(duì)巨大計(jì)算資源的需求，高效的利用預(yù)訓(xùn)練模型。基于上述分析，信息抽取的發(fā)展方向之一是利用預(yù)訓(xùn)練—提示學(xué)習(xí)范式進(jìn)行高效的小樣本學(xué)習(xí)。具體包括：1）提示學(xué)習(xí)中信息抽取任務(wù)模板的設(shè)計(jì)；2）模板的自動(dòng)學(xué)習(xí)與挖掘；3）預(yù)訓(xùn)練-提示學(xué)習(xí)范式進(jìn)行信息抽取的理論分析。
(2) 多模態(tài)信息融合
目前信息抽取主要針對(duì)的是純文本數(shù)據(jù)，而常見的文檔具有多樣的布局且包含豐富的信息，以富文本文檔的形式呈現(xiàn)包含大量的多模態(tài)信息，從認(rèn)知科學(xué)的角度來說，人腦的感知和認(rèn)知過程是跨越多種感官信息的融合處理，如人可以同時(shí)利用視覺和聽覺信息理解說話人的情感、可以通過視覺信息補(bǔ)全文本中的缺失信息等，信息抽取技術(shù)的進(jìn)一步發(fā)展也應(yīng)該是針對(duì)多模態(tài)的富文檔?；谏鲜龇治?，信息抽取的發(fā)展方向之一是多模態(tài)信息的融合。具體包括：1）多模態(tài)預(yù)訓(xùn)練模型的設(shè)計(jì)；2）多模態(tài)信息抽取框架中跨模態(tài)對(duì)齊任務(wù)設(shè)計(jì)；3）多模態(tài)信息的提取和表示。
(3) 數(shù)據(jù)驅(qū)動(dòng)和知識(shí)驅(qū)動(dòng)融合
現(xiàn)有的神經(jīng)網(wǎng)絡(luò)信息抽取方法依靠深度學(xué)習(xí)以數(shù)據(jù)驅(qū)動(dòng)的方式得到各種語義關(guān)系的統(tǒng)計(jì)模式，其優(yōu)勢(shì)在于能從大量的原始數(shù)據(jù)中學(xué)習(xí)相關(guān)特征，比較容易利用證據(jù)和事實(shí)，但是忽略了怎樣融合專家知識(shí)。單純依靠神經(jīng)網(wǎng)絡(luò)進(jìn)行信息抽取，到一定準(zhǔn)確率之后，就很難再改進(jìn)。從人類進(jìn)行知識(shí)獲取來看，很多決策的時(shí)候同時(shí)要使用先驗(yàn)知識(shí)以及證據(jù)。數(shù)據(jù)驅(qū)動(dòng)和知識(shí)驅(qū)動(dòng)結(jié)合是模擬人腦進(jìn)行信息抽取的關(guān)鍵挑戰(zhàn)?；谏鲜龇治?，信息抽取的發(fā)展方向之一是構(gòu)建數(shù)據(jù)驅(qū)動(dòng)和知識(shí)驅(qū)動(dòng)融合抽取技術(shù)。具體包括：1）神經(jīng)符號(hào)學(xué)習(xí)信息抽取框架的構(gòu)建；2）學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)到邏輯符號(hào)的對(duì)應(yīng)關(guān)系；3）神經(jīng)網(wǎng)絡(luò)對(duì)于符號(hào)計(jì)算過程進(jìn)行模擬。
3.5 基于知識(shí)的自然語言處理任務(wù)定義和目標(biāo)
基于知識(shí)的NLP，是指利用人類各類型結(jié)構(gòu)化知識(shí)（如語言知識(shí)圖譜、世界知識(shí)圖譜、常識(shí)知識(shí)圖譜等）提升NLP模型語言處理能力的相關(guān)處理方法。通過融合符號(hào)表示的人類結(jié)構(gòu)化知識(shí)及其帶來的認(rèn)知推理能力，賦予語言深度學(xué)習(xí)模型更好的可解釋性與認(rèn)知推理能力，突破當(dāng)前NLP領(lǐng)域中廣泛使用的深度學(xué)習(xí)技術(shù)所面臨的可解釋性差、可擴(kuò)展性差和魯棒性差等瓶頸問題。
研究?jī)?nèi)容和技術(shù)現(xiàn)狀
完成知識(shí)圖譜到NLP深度學(xué)習(xí)模型的融合，涉及知識(shí)表示學(xué)習(xí)、融合知識(shí)的預(yù)訓(xùn)練語言模型等關(guān)鍵技術(shù)。
（1）面向NLP的知識(shí)表示學(xué)習(xí)(KRL)
離散符號(hào)表示的知識(shí)圖譜，在計(jì)算上存在計(jì)算效率低下和數(shù)據(jù)稀疏等挑戰(zhàn)問題。近年來，人們提出了基于深度學(xué)習(xí)的KRL的技術(shù)方案，并被廣泛研究與應(yīng)用。
語言知識(shí)圖譜的KRL：語言知識(shí)圖譜，描述的是以形式化和結(jié)構(gòu)化語言表達(dá)的語言學(xué)知識(shí)，可以輕松植入各種NLP系統(tǒng)，代表性有How Net、WordNet等。詞表示學(xué)習(xí)是許多NLP任務(wù)的基礎(chǔ)步驟，代表性方法有Word2Vec、GloVe等，但這些方法都是將每個(gè)詞映射成一個(gè)向量，不能夠解決一詞多義的問題。為解決該問題，許多學(xué)者提出利用語言知識(shí)圖譜指導(dǎo)的詞表示學(xué)習(xí)，通過其細(xì)粒度語言學(xué)知識(shí)增強(qiáng)詞的語義表示。例如，1）基于How Net義原編碼的詞表示學(xué)習(xí)方法(SE-WRL)，將每個(gè)詞看成一組義原的組合，將詞義消歧和融合義原、義項(xiàng)、詞的Skip-gram詞表示學(xué)習(xí)進(jìn)行聯(lián)合建模。2）將詞向量改造為語義詞典的Retrofitting方法，給出了通過鼓勵(lì)鏈接詞具有相似的向量表示來使用WordNet等語義詞典中的關(guān)系信息來細(xì)化向量空間表示。近幾年隨著基于預(yù)訓(xùn)練模型的背景表示學(xué)習(xí)的興起，相關(guān)研究開始聚焦于如何利用語言知識(shí)圖譜增強(qiáng)詞的上下文表示。
世界知識(shí)圖譜的KRL：世界知識(shí)圖譜，指以結(jié)構(gòu)化符號(hào)表示的實(shí)體及其關(guān)系的知識(shí)庫，代表性有Wiki Data、DBpedia等，其表示學(xué)習(xí)的核心問題是學(xué)習(xí)實(shí)體和關(guān)系的低維分布式表示。相關(guān)研究圍繞的核心問題有：1）如何度量事實(shí)三元組的合理性；2）何種編碼模型建模關(guān)系交互；3）如何融合異構(gòu)信息。
度量函數(shù)，用于衡量事實(shí)的合理性。目前有兩種典型的度量函數(shù)：1）基于距離的度量函數(shù)，通過計(jì)算實(shí)體之間的距離來衡量事實(shí)的合理性，其中+≈關(guān)系的上平移被廣泛使用，代表方法有Trans E、Trans H、Trans R等。2）基于語義相似性的度量函數(shù)，通過語義匹配來衡量事實(shí)的合理性。它通常采用乘法公式?≈，代表方法有RESCAL、Dist Mult、ComplEx等。
編碼模型，即對(duì)實(shí)體和關(guān)系的交互編碼使用的具體模型架構(gòu)，包括線性/雙線性模型、分解模型和神經(jīng)網(wǎng)絡(luò)模型。線性模型通過將頭部實(shí)體投影到靠近尾部實(shí)體的表示空間中，將關(guān)系表述為線性/雙線性映射，代表方法有DistMult, ComplEx等。分解模型旨在將關(guān)系數(shù)據(jù)分解為低秩矩陣以進(jìn)行表征學(xué)習(xí)，代表方法有RESCAL、Tuck ER等。神經(jīng)網(wǎng)絡(luò)模型通過用更復(fù)雜的網(wǎng)絡(luò)結(jié)構(gòu)對(duì)關(guān)系數(shù)據(jù)進(jìn)行編碼，如R-GCN、KG-BERT等，其中KG-BERT借鑒PLM思想，用BERT作為實(shí)體和關(guān)系的編碼器。
異構(gòu)信息，在知識(shí)圖譜中除了實(shí)體和關(guān)系本身信息之外，還包含其他類型信息，如文本描述、實(shí)體屬性、類別約束、關(guān)系路徑、視覺信息等。利用這些額外信息增強(qiáng)實(shí)體和關(guān)系的知識(shí)語義表示，主要挑戰(zhàn)在于異構(gòu)信息編碼和異構(gòu)信息融合等問題。KEPLER給出了預(yù)訓(xùn)練語言表示和知識(shí)表示聯(lián)合學(xué)習(xí)的統(tǒng)一模型，如圖所示，其通過聯(lián)合學(xué)習(xí)不僅能夠?qū)⑹聦?shí)知識(shí)信息更好的嵌入到預(yù)訓(xùn)練語言模型中，同時(shí)通過預(yù)訓(xùn)練語言模型可以得到文本語義增強(qiáng)的知識(shí)表示。
圖：KEPLER模型框架
資料來源：千際投行，資產(chǎn)信息網(wǎng)，中國中文信息學(xué)會(huì)
（2）融合知識(shí)的預(yù)訓(xùn)練語言模型(PLM)
目前PLM主要采用互聯(lián)網(wǎng)獲取的海量通用文本語料訓(xùn)練得到，實(shí)現(xiàn)了對(duì)文本豐富語義模式的編碼，但由于沒有自覺運(yùn)用結(jié)構(gòu)化知識(shí)，依然嚴(yán)重缺乏知識(shí)運(yùn)用和推理能力，缺乏可解釋性和魯棒性。為此，許多學(xué)者研究了融合結(jié)構(gòu)化知識(shí)的PLM及其學(xué)習(xí)框架，融合方法大致分為以下4種：
知識(shí)增廣：從輸入端增強(qiáng)模型，有兩種主流的方法：一種方式是直接把知識(shí)加到輸入，另一方法是設(shè)計(jì)特定模塊來融合原輸入和相關(guān)的知識(shí)化的輸入表示。目前，基于知識(shí)增廣的方法已經(jīng)在不同任務(wù)上取得良好效果，如信息檢索、問答系統(tǒng)和閱讀理解。知識(shí)支撐：關(guān)注于對(duì)帶有知識(shí)的模型本身的處理流程進(jìn)行優(yōu)化。一種方式是在模型的底部引入知識(shí)指導(dǎo)層來處理特征，以便能得到更豐富的特征信息。例如，使用專門的知識(shí)記憶模塊來從PLM底部注入豐富的記憶特征。另一方面，知識(shí)也可以作為專家在模型頂層構(gòu)建后處理模塊，以計(jì)算得到更準(zhǔn)確和有效的輸出。例如，利用知識(shí)庫來改進(jìn)語言生成質(zhì)量。知識(shí)約束：利用知識(shí)構(gòu)建額外的預(yù)測(cè)目標(biāo)和約束函數(shù)，來增強(qiáng)模型的原始目標(biāo)函數(shù)。例如，遠(yuǎn)程監(jiān)督學(xué)習(xí)利用知識(shí)圖譜啟發(fā)式標(biāo)注語料作為新的目標(biāo)，并廣泛用于系列NLP任務(wù)，如實(shí)體識(shí)別、關(guān)系抽取和詞義消歧?；蛘呃弥R(shí)構(gòu)建額外的預(yù)測(cè)目標(biāo)，比如ERNIE, Co LAKE和KEPLER等工作，都是在原始的語言建模之外構(gòu)建了相應(yīng)額外的預(yù)訓(xùn)練目標(biāo)。知識(shí)遷移：則是從參數(shù)空間進(jìn)行考量，獲取一個(gè)知識(shí)指導(dǎo)的假設(shè)空間，從而讓模型更有效。遷移學(xué)習(xí)和自監(jiān)督學(xué)習(xí)分別關(guān)注從標(biāo)注數(shù)據(jù)和無標(biāo)注數(shù)據(jù)獲取遷移學(xué)習(xí)和自監(jiān)督學(xué)習(xí)分別關(guān)注從標(biāo)注數(shù)據(jù)和無標(biāo)注數(shù)據(jù)獲取知識(shí)。作為一個(gè)遷移模型知識(shí)的典型范式，微調(diào)PLM在絕大多數(shù)NLP任務(wù)都可以取得良好的效果。在中文信息處理領(lǐng)域，一些中文PLM也相繼被提出,如CPM-1、CPM-2、Pan Gu-等，也都在各種中文任務(wù)中展現(xiàn)了良好性能。技術(shù)展望和發(fā)展趨勢(shì)
結(jié)合國內(nèi)外相關(guān)的研究工作，下面概括性地總結(jié)基于知識(shí)的NLP的技術(shù)趨勢(shì)。一方面，面向NLP的深度學(xué)習(xí)技術(shù)能夠自動(dòng)學(xué)習(xí)語義的分布式表示，表達(dá)能力強(qiáng)，已在NLP多項(xiàng)重要任務(wù)中得到充分驗(yàn)證，為進(jìn)一步融入知識(shí)指導(dǎo)信息的方法研究奠定了堅(jiān)實(shí)基礎(chǔ)。另一方面，知識(shí)表示與推理技術(shù)已經(jīng)初步具備完整的方法體系，充分利用人類各類型結(jié)構(gòu)化知識(shí)賦予了人工智能不同的能力，為提升模型的可擴(kuò)展性和魯棒性提供了支撐。
盡管相關(guān)研究進(jìn)展顯著，但部分工作還非常初步，仍然有很多關(guān)鍵問題亟待解決，以下研究問題值得關(guān)注：
更大規(guī)模的知識(shí)表示：雖然已經(jīng)出現(xiàn)了Graph Vite、Open KE、DGL-KE等系統(tǒng)工具，但這些工具還主要針對(duì)小規(guī)模知識(shí)圖譜，這限制了大規(guī)模知識(shí)圖譜的應(yīng)用潛力。目前知識(shí)圖譜的規(guī)模越來越大，如Wiki data已經(jīng)含有了超過9千萬實(shí)體、14.7億的關(guān)系，而且這種規(guī)模仍然呈現(xiàn)快速增長(zhǎng)趨勢(shì)。如何將現(xiàn)有知識(shí)表示學(xué)習(xí)方法適配到億級(jí)實(shí)體規(guī)模的圖譜上仍然是一個(gè)挑戰(zhàn)。PLM的多元知識(shí)融合：目前在PLM中融合知識(shí)主要是圍繞實(shí)體、實(shí)體關(guān)系等相關(guān)事實(shí)知識(shí)圖譜，融合的知識(shí)類型和知識(shí)層次還比較單一，存在知識(shí)指導(dǎo)融合度低的問題。面向人類不同層次不同類型的豐富知識(shí)體系，探索融合這些多層次多類型知識(shí)的PLM框架和學(xué)習(xí)機(jī)制，是PLM技術(shù)未來研究的重要方向。PLM的持續(xù)知識(shí)增強(qiáng)：雖然PLM模型已經(jīng)在多項(xiàng)任務(wù)上取得了超越人類的表現(xiàn)，但是現(xiàn)在PLM的模型通用智能水平增長(zhǎng)仍遇到瓶頸。在可以預(yù)見的未來，PLM模型的性能將持續(xù)增長(zhǎng)。如何持續(xù)學(xué)習(xí)新知識(shí)、新數(shù)據(jù)提升模型語言處理能力，建立高效的知識(shí)持續(xù)植入的PLM學(xué)習(xí)機(jī)制，是PLM的關(guān)鍵研究方向。PLM的可靠知識(shí)編輯：PLM在訓(xùn)練中需要事實(shí)知識(shí)并將其存儲(chǔ)在模型參數(shù)中，以用于下游各種任務(wù)等，但大量事實(shí)知識(shí)存在時(shí)效性，隨著時(shí)間推移可能會(huì)存在不準(zhǔn)確或過時(shí)的問題。開發(fā)可靠的、無需重新訓(xùn)練的高效方法來修正模型中對(duì)應(yīng)知識(shí)，是實(shí)現(xiàn)高質(zhì)量可靠的PLM的關(guān)鍵問題。第四章 行業(yè)發(fā)展與市場(chǎng)競(jìng)爭(zhēng)4.1 行業(yè)財(cái)務(wù)分析圖：行業(yè)綜合財(cái)務(wù)分析
資料來源：千際投行，資產(chǎn)信息網(wǎng)，Wind
圖：行業(yè)歷史估值
資料來源：千際投行，資產(chǎn)信息網(wǎng)，Wind
圖：指數(shù)市場(chǎng)表現(xiàn)
資料來源：千際投行，資產(chǎn)信息網(wǎng)，Wind
圖：指數(shù)歷史估值
資料來源：千際投行，資產(chǎn)信息網(wǎng)，Wind
估值方法可以選擇市盈率估值法、PEG估值法、市凈率估值法、市現(xiàn)率、P/S市銷率估值法、EV/Sales市售率估值法、RNAV重估凈資產(chǎn)估值法、EV/EBITDA估值法、DDM估值法、DCF現(xiàn)金流折現(xiàn)估值法、NAV凈資產(chǎn)價(jià)值估值法等。
圖：主要上市公司
資料來源：千際投行，資產(chǎn)信息網(wǎng)，Wind
圖：機(jī)器人主營構(gòu)成
資料來源：千際投行，資產(chǎn)信息網(wǎng)，Wind
圖：科大訊飛主營構(gòu)成
資料來源：千際投行，資產(chǎn)信息網(wǎng)，Wind
4.2 驅(qū)動(dòng)因子自然語言處理要素演進(jìn)，行業(yè)迎來變更式發(fā)展
數(shù)據(jù)量、運(yùn)算力和算法模型是影響自然語言處理行業(yè)發(fā)展的三大要素。2012年以來，數(shù)據(jù)量的上漲、運(yùn)算力的提升和深度學(xué)習(xí)算法的出現(xiàn)促進(jìn)了自然語言處理行業(yè)的快速發(fā)展?；ヂ?lián)網(wǎng)、社交媒體、移動(dòng)設(shè)備的普及，使產(chǎn)生并存儲(chǔ)的數(shù)據(jù)量急劇增加，2020年全球?qū)⒂谐?00億的終端與設(shè)備聯(lián)網(wǎng)，產(chǎn)生的數(shù)據(jù)總量將大于40澤字節(jié)，人均每天產(chǎn)生的數(shù)據(jù)量預(yù)計(jì)達(dá)1.5GB。中國2020年的數(shù)據(jù)總量將達(dá)到全球數(shù)據(jù)總量的20.0%，聯(lián)網(wǎng)設(shè)備預(yù)計(jì)從2016年的8.4億個(gè)增長(zhǎng)至35.0億個(gè)，連接設(shè)備數(shù)的快速增長(zhǎng)產(chǎn)生了大量的應(yīng)用數(shù)據(jù)。數(shù)據(jù)的爆發(fā)式增長(zhǎng)有助于優(yōu)化自然語言處理算法，海量?jī)?yōu)質(zhì)的場(chǎng)景數(shù)據(jù)能夠幫助算法模型完成高效精準(zhǔn)的識(shí)別訓(xùn)練。
算法是計(jì)算機(jī)基于其所訓(xùn)練的數(shù)據(jù)集歸納出的識(shí)別邏輯，算法模型的優(yōu)化可使自然語言處理技術(shù)更精準(zhǔn)地理解與生成自然語言文本。深度學(xué)習(xí)算法通過使用復(fù)雜結(jié)構(gòu)設(shè)計(jì)和各種梯度技術(shù)，將多重非線性結(jié)構(gòu)變換成多個(gè)處理層，實(shí)現(xiàn)對(duì)大量數(shù)據(jù)樣本的抽象計(jì)算，擬合出一個(gè)可處理新輸入信息的函數(shù)模型，解決數(shù)據(jù)分類或預(yù)測(cè)問題。基于深層神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)方法從根本上改變了自然語言處理技術(shù)的面貌，改變了自然語言處理問題的定義，變更了自然語言處理所使用的數(shù)學(xué)工具，深度學(xué)習(xí)的出現(xiàn)突破了傳統(tǒng)淺層學(xué)習(xí)算法的局限，重塑了自然語言處理算法的設(shè)計(jì)思路，極大地促進(jìn)自然語言處理研究的發(fā)展。
運(yùn)算力方面，GPU、FPGA，ASIC等專用芯片的出現(xiàn)，緩解了自然語言數(shù)據(jù)處理速度難題，解決傳統(tǒng)的CPU芯片算力不足問題。新興的GPU、FPGA、ASIC等具有良好的并行計(jì)算能力，芯片性能大幅優(yōu)于CPU，算力比CPU芯片強(qiáng)數(shù)十倍甚至百倍，縮短了模型運(yùn)算時(shí)間，使得自然語言運(yùn)算模型的進(jìn)步速度加快。
傳統(tǒng)行業(yè)智能需求增長(zhǎng)，帶動(dòng)語言處理需求上漲
金融、醫(yī)療、法律等傳統(tǒng)行業(yè)的業(yè)務(wù)處理智能化水平要求上漲，加速自然語言處理技術(shù)在行業(yè)應(yīng)用中的落地進(jìn)程。例如，智能問答、資訊輿情分析、文檔信息抽取、文檔自動(dòng)生成等應(yīng)用逐漸在金融領(lǐng)域的智能投研、智能投顧、智能客服和智能運(yùn)營等場(chǎng)景實(shí)現(xiàn)應(yīng)用。在智能投研場(chǎng)景中，投研人員每天需要通過多渠道搜索大量金融資訊信息以掌握金融市場(chǎng)動(dòng)態(tài)，而金融資訊信息極為豐富（如涉及標(biāo)的公司重大新聞、公告、財(cái)務(wù)狀況，金融產(chǎn)品信息、宏觀經(jīng)濟(jì)狀況、政策法規(guī)變化、社交媒體評(píng)論等），數(shù)據(jù)量龐大，單靠投研人員從浩如煙海的資訊庫中搜索并閱讀分析相關(guān)內(nèi)容，時(shí)間精力耗費(fèi)嚴(yán)重，工作效率難以提高，在此種情況下，具備資訊分類（按公司、產(chǎn)品、行業(yè)范圍分類）、情感分析（分析新聞、公司或產(chǎn)品的正負(fù)面信息）、自動(dòng)文摘（分析文章的主要內(nèi)容）及資訊個(gè)性化推薦功能的資訊輿情分析應(yīng)用逐步受到投研人士和金融機(jī)構(gòu)的推崇，資訊輿情分析應(yīng)用對(duì)海量定性數(shù)據(jù)自動(dòng)摘要、歸納、縮簡(jiǎn)和抽取，為投研人員提供高效的信息展示，大幅縮短投研人員搜索以及摘取資訊的時(shí)間，提高其工作效率。
在法律領(lǐng)域，自然語言處理應(yīng)用可幫助法律從業(yè)人員進(jìn)行案例搜索、判決預(yù)測(cè)、法律文書自動(dòng)生成、法律文本翻譯等，實(shí)現(xiàn)事件預(yù)處理，減少從業(yè)人員相關(guān)案件處理耗費(fèi)時(shí)間。在醫(yī)療領(lǐng)域，病歷的輔助錄入、醫(yī)學(xué)資料的檢索與分析、輔助診斷等醫(yī)療步驟可由相關(guān)自然語言處理應(yīng)用輔助進(jìn)行?，F(xiàn)代醫(yī)學(xué)資料浩如煙海，新的醫(yī)學(xué)手段、方法發(fā)展迅猛，醫(yī)生和專家無法及時(shí)完全掌握所有的醫(yī)學(xué)發(fā)展動(dòng)態(tài)，相關(guān)自然語言處理應(yīng)用可幫助醫(yī)生快速準(zhǔn)確地尋找各種疑難病癥的最新研究進(jìn)展，為醫(yī)生的診斷提供及時(shí)有效的參考。
隨著自然語言處理技術(shù)的深入發(fā)展，自然語言處理應(yīng)用有望與更多傳統(tǒng)行業(yè)實(shí)現(xiàn)更深層次的結(jié)合，為人類帶來更多人工智能效應(yīng)。
4.3 制約因子自然語言處理存在技術(shù)難題
自然語言處理與語音識(shí)別以及圖像識(shí)別不同，自然語言處理不是單輪處理操作過程，算法模型對(duì)單一輸入進(jìn)行單輪分析無法輸出結(jié)果，自然語言的語義與上下文或前后輪對(duì)話語境有關(guān)，需要對(duì)輸入的自然語言進(jìn)行多輪分析方可得到結(jié)果。而目前的深度學(xué)習(xí)技術(shù)，多輪建模發(fā)展并不成熟，與語音識(shí)別以及圖像識(shí)別的單輪分析模型的成熟度無法相提并論。
此外，人類在語言交流過程中，使用的話語表達(dá)內(nèi)容通常暗含常識(shí)性表示（如嬰兒、小孩以及成人代表不同年齡段人群），話語表達(dá)風(fēng)格反應(yīng)用語者的個(gè)性化特征，不同的人對(duì)相同的內(nèi)容可有不同的表達(dá)方式?，F(xiàn)階段的自然語言處理模型未能解決常識(shí)問題和個(gè)性化問題，如手機(jī)語音助手聽到“查找附近的餐館”指令時(shí)，可在地圖上執(zhí)行查找附近餐館的任務(wù)，并顯示附近餐館信息，但若發(fā)號(hào)指令者說“我餓了”，手機(jī)語音助手則不會(huì)有任何反應(yīng)，因?yàn)檎Z音助手缺乏“餓了需要進(jìn)食”的常識(shí)，而人類聽了“我餓了”的話語，反應(yīng)一定是“需要進(jìn)食”。眾多潛藏在人類意識(shí)中的常識(shí)，計(jì)算機(jī)并不具備且無法學(xué)習(xí)，模型開發(fā)者亦不知道將常識(shí)知識(shí)用在機(jī)器問答和機(jī)器搜索中的效果如何，業(yè)內(nèi)尚待建立常識(shí)知識(shí)庫，測(cè)試訓(xùn)練模型。
自然語言處理模型通用性不強(qiáng)
自然語言使用情況復(fù)雜，不同場(chǎng)景、不同語種、不同專業(yè)的自然用語差異較大，所需要的自然語言處理層次不同，基于某一領(lǐng)域語料庫建立的自然語言處理模型不具通用性，應(yīng)用于其他領(lǐng)域時(shí)處理結(jié)果明顯較差，系統(tǒng)性能顯著下降。自然語言模型不具通用性限制了自然語言產(chǎn)品在不同應(yīng)用領(lǐng)域的推廣，大幅減緩了自然語言處理行業(yè)的發(fā)展進(jìn)程。
雖然近年來研究者們針對(duì)語言模型、語序模型、語調(diào)模型等問題對(duì)自然語言處理進(jìn)行了眾多領(lǐng)域自適應(yīng)的調(diào)試，但每種調(diào)試方法只能解決單方面的自適應(yīng)問題，通用性問題仍然無法解決。自然語言處理廠商無法用單一模型解決自然語言處理方面的所有問題，只能根據(jù)不同領(lǐng)域，開發(fā)相應(yīng)的自然語言模型，運(yùn)行相關(guān)領(lǐng)域的知識(shí)庫，處理特定領(lǐng)域的自然語言問題。但在目前行業(yè)應(yīng)用尚未普及，產(chǎn)品商業(yè)模式并不清晰的情況下，自然語言處理廠商缺乏動(dòng)力為少數(shù)應(yīng)用以及各種領(lǐng)域開發(fā)專用算法，導(dǎo)致自然語言處理技術(shù)難以大范圍推廣落地。
機(jī)器理解自然語言技術(shù)未有突破
自然語言理解結(jié)果不準(zhǔn)確，限制自然語言處理應(yīng)用推廣。自然語言理解與生成是機(jī)器在人工智能、大數(shù)據(jù)等技術(shù)指引下產(chǎn)生的機(jī)器行為。機(jī)器由于難以擁有生活常識(shí)、文化背景和人類風(fēng)俗習(xí)慣知識(shí)儲(chǔ)備，對(duì)于作為文化載體的自然語言，無法結(jié)合具體的語言環(huán)境、風(fēng)俗習(xí)慣等因素分析語言內(nèi)容，只能通過系統(tǒng)設(shè)定的規(guī)則機(jī)械地分析源語的語法結(jié)構(gòu)，語言邏輯無法處理，對(duì)于復(fù)雜句子結(jié)構(gòu)或?qū)訉泳涫角短椎那闆r，機(jī)器的自然語言理解準(zhǔn)確度不高。機(jī)器對(duì)自然語言長(zhǎng)句的理解能力以及全方位體會(huì)語用者的真實(shí)表達(dá)意圖的能力無法在短期內(nèi)得到明顯提高，與人類的語言理解能力相比，差距仍然存在較大。自然語言處理應(yīng)用暫時(shí)只能通過完善部分領(lǐng)域的知識(shí)庫和語料庫，優(yōu)化部分領(lǐng)域內(nèi)的自然語言處理應(yīng)用的用戶體驗(yàn)。
4.4 市場(chǎng)發(fā)展現(xiàn)狀早期的靜態(tài)詞向量預(yù)訓(xùn)練模型，以及后來的動(dòng)態(tài)詞向量預(yù)訓(xùn)練模型，特別2018年以來，以BERT、GPT為代表的超大規(guī)模預(yù)訓(xùn)練語言模型恰好彌補(bǔ)了自然語言處理標(biāo)注數(shù)據(jù)不足的缺點(diǎn)，幫助自然語言處理取得了一系列的突破，使得包括閱讀理解在內(nèi)的幾乎所有自然語言處理任務(wù)性能都得到了大幅提高，在有些數(shù)據(jù)集上甚至達(dá)到或超過了人類水平。
所謂預(yù)訓(xùn)練模型（Pre-trained Models），即首先在一個(gè)原任務(wù)上預(yù)先訓(xùn)練一個(gè)初始模型，然后在下游任務(wù)（也稱目標(biāo)任務(wù)）上繼續(xù)對(duì)該模型進(jìn)行精調(diào)（Fine-tune），從而達(dá)到提高下游任務(wù)準(zhǔn)確率的目的。本質(zhì)上，這也是遷移學(xué)習(xí)（Transfer Learning）思想的一種應(yīng)用。然而，由于同樣需要人工標(biāo)注，導(dǎo)致原任務(wù)標(biāo)注數(shù)據(jù)的規(guī)模往往也是非常有限的。那么，如何獲得更大規(guī)模的標(biāo)注數(shù)據(jù)呢？
其實(shí)文本自身的順序性就是一種天然的標(biāo)注數(shù)據(jù)，通過若干連續(xù)出現(xiàn)的詞語預(yù)測(cè)下一個(gè)詞語（又稱語言模型）就可以構(gòu)成一項(xiàng)源任務(wù)。由于圖書、網(wǎng)頁等文本數(shù)據(jù)規(guī)模近乎無限，這樣就可以非常容易地獲得超大規(guī)模的預(yù)訓(xùn)練數(shù)據(jù)。有人將這種不需要人工標(biāo)注數(shù)據(jù)的預(yù)訓(xùn)練學(xué)習(xí)方法稱為無監(jiān)督學(xué)習(xí)（Unsupervised Learning），其實(shí)這并不準(zhǔn)確，因?yàn)閷W(xué)習(xí)的過程仍然是有監(jiān)督的（Supervised），更準(zhǔn)確的叫法應(yīng)該是自監(jiān)督學(xué)習(xí)（Selfsupervised Learning）。
為了能夠刻畫大規(guī)模數(shù)據(jù)中復(fù)雜的語言現(xiàn)象，還要求所使用的深度學(xué)習(xí)模型容量足夠大?；谧宰⒁饬Φ腡ransformer模型顯著地提升了對(duì)于自然語言的建模能力，是近30年來具有里程碑意義的進(jìn)展之一。要想在可容忍的時(shí)間內(nèi)，在如此大規(guī)模的數(shù)據(jù)上訓(xùn)練一個(gè)超大規(guī)模的Transformer模型，也離不開以GPU、TPU為代表的現(xiàn)代并行計(jì)算硬件?？梢哉f，超大規(guī)模預(yù)訓(xùn)練語言模型完全依賴“蠻力”，在大數(shù)據(jù)、大模型和大計(jì)算資源的加持下，使自然語言處理取得了長(zhǎng)足的進(jìn)步。如Open AI推出的GPT-3，是一個(gè)具有1,750億參數(shù)的巨大規(guī)模，無需接受任何特定任務(wù)的訓(xùn)練，便可以通過小樣本學(xué)習(xí)完成十余種文本生成任務(wù)（如問答、風(fēng)格遷移、網(wǎng)頁生成、自動(dòng)編曲等）。目前，預(yù)訓(xùn)練模型已經(jīng)開啟了自然語言處理的新時(shí)代。
綜上，可以看出自然語言處理的發(fā)展歷史呈現(xiàn)了一種明顯的“同質(zhì)化”趨勢(shì)。早期的自然語言處理算法需要根據(jù)不同的任務(wù)編寫特定的邏輯將輸入文本轉(zhuǎn)換為更高級(jí)別的特征，然后使用相對(duì)同質(zhì)化的機(jī)器學(xué)習(xí)算法（如支持向量機(jī)）進(jìn)行結(jié)果預(yù)測(cè)；此后，深度學(xué)習(xí)技術(shù)能夠使用更加同質(zhì)化的模型架構(gòu)（如卷積神經(jīng)網(wǎng)絡(luò)），在輸入文本上直接進(jìn)行學(xué)習(xí)，并在學(xué)習(xí)的過程中自動(dòng)“涌現(xiàn)”出用于預(yù)測(cè)的更高級(jí)別的特征；而預(yù)訓(xùn)練模型同質(zhì)化的特性更加明顯，目前幾乎所有最新的自然語言處理模型都源自少數(shù)大規(guī)模預(yù)訓(xùn)練模型（如BERT、Ro BERTa、BART、T5等）。GPT-3模型更是能夠做到一次預(yù)訓(xùn)練，即可直接（或僅使用極少量訓(xùn)練樣本）完成特定的下游任務(wù)。
截至2020年，全球自然語言處理的市場(chǎng)規(guī)模為118億2000萬美元，預(yù)計(jì)將于2026年增長(zhǎng)至530億8000萬美元?，F(xiàn)階段，我國自然語言處理技術(shù)商業(yè)化并不成熟，部分已實(shí)現(xiàn)商業(yè)化應(yīng)用的自然語言處理技術(shù)相關(guān)產(chǎn)品（如智能客服、搜索引擎等）均無法將收益直接歸因于自然語言處理技術(shù)，單獨(dú)運(yùn)用自然語言處理技術(shù)的產(chǎn)品應(yīng)用（文檔分類、輿情分析等）尚未產(chǎn)生明顯受益，因此自然語言處理技術(shù)產(chǎn)生的市場(chǎng)營收規(guī)模仍然較小，2020年，我國人工智能核心產(chǎn)業(yè)及帶動(dòng)產(chǎn)業(yè)規(guī)模分別為1512.5億元和5725.7億元，預(yù)計(jì)至2021年將分別達(dá)到1898.1億元和7442.1億元，年均復(fù)合增長(zhǎng)率分別為32%和19.5%。但自然語言處理技術(shù)是眾多人工智能設(shè)備（如智能家居設(shè)備、智能機(jī)器人、智能助手等）不可或缺的核心技術(shù)，隨著智能設(shè)備數(shù)量增長(zhǎng)以及行業(yè)智能化業(yè)務(wù)處理水平要求的提高，自然語言處理市場(chǎng)有望得到進(jìn)一步拓展，自然語言處理市場(chǎng)營收規(guī)模有望在2019-2023年間以48.2%的年復(fù)合增速實(shí)現(xiàn)快速增長(zhǎng)。
圖：2019-2022年中國人工智能市場(chǎng)規(guī)模預(yù)測(cè)趨勢(shì)圖
資料來源：千際投行，資產(chǎn)信息網(wǎng)，中商情報(bào)網(wǎng)
4.5 競(jìng)爭(zhēng)格局中國自然語言處理市場(chǎng)參與者可分為互聯(lián)網(wǎng)巨頭企業(yè)、自然語言處理技術(shù)研發(fā)企業(yè)以及自然語言處理創(chuàng)業(yè)企業(yè)，其中互聯(lián)網(wǎng)巨頭企業(yè)在自然語言處理行業(yè)占據(jù)約80%的市場(chǎng)份額，自然語言處理技術(shù)研發(fā)企業(yè)以及創(chuàng)業(yè)企業(yè)合計(jì)共占20%的市場(chǎng)份額。
互聯(lián)網(wǎng)巨頭企業(yè)通過資金、技術(shù)、數(shù)據(jù)資源等實(shí)力，實(shí)現(xiàn)自然語言處理的基礎(chǔ)軟、硬件層、技術(shù)層以及應(yīng)用層全產(chǎn)業(yè)鏈布局，如百度開發(fā)了自然語言處理應(yīng)用平臺(tái)，為眾多自然語言研發(fā)企業(yè)開源提供底層研發(fā)架構(gòu)支持，同時(shí)百度自主研發(fā)自然語言處理基礎(chǔ)算法、問答系統(tǒng)、閱讀理解等核心技術(shù)，并將核心技術(shù)應(yīng)用于百度搜索、百度新聞、百度翻譯、百度助手等C端產(chǎn)品中，提升了自有產(chǎn)品的智能水平。
自然語言處理技術(shù)研發(fā)企業(yè)在自然語言處理技術(shù)方面積累深厚，拓展了穩(wěn)定的B端業(yè)務(wù)市場(chǎng)，典型代表有搜狗和科大訊飛。例如，科大訊飛推出完善智能硬件語音交互解決方案，幫助企業(yè)用戶解決語音交互、語義理解等技術(shù)研發(fā)難題。B端市場(chǎng)的定制化需求高，對(duì)自然語言處理廠商的研發(fā)能力以及資金投入要求高，導(dǎo)致缺乏資金、技術(shù)積累的自然語言處理創(chuàng)業(yè)企業(yè)難以大范圍拓展B端市場(chǎng)。
自然語言創(chuàng)業(yè)企業(yè)多以具體的自然語言處理場(chǎng)景、垂直細(xì)分的應(yīng)用場(chǎng)景切入自然語言處理市場(chǎng)，為下游用戶提供單一類型的行業(yè)應(yīng)用解決方案或消費(fèi)級(jí)產(chǎn)品，如智齒科技為企業(yè)用戶提供專門的智能客服解決方案。
互聯(lián)網(wǎng)巨頭有深厚的資源積累，技術(shù)研發(fā)實(shí)力雄厚，自然語言處理技術(shù)的迭代將長(zhǎng)期由互聯(lián)網(wǎng)巨頭主導(dǎo)。然而互聯(lián)網(wǎng)巨頭的技術(shù)研發(fā)多以業(yè)務(wù)布局為導(dǎo)向，旗下產(chǎn)品生態(tài)不包含的領(lǐng)域，互聯(lián)網(wǎng)巨頭一般不會(huì)涉足，因此為自然語言處理技術(shù)研發(fā)企業(yè)以及創(chuàng)業(yè)企業(yè)留下市場(chǎng)空間，自然語言處理技術(shù)研發(fā)企業(yè)以及創(chuàng)業(yè)企業(yè)能從細(xì)分領(lǐng)域開拓市場(chǎng)，避開與互聯(lián)網(wǎng)巨頭企業(yè)的直接競(jìng)爭(zhēng)。
4.6 中國主要參與者中國參與者主要有：百度（09888）、科大訊飛（002230）、搜狗（00700）、云知聲、新譯信息、思必馳、智齒科技、達(dá)觀數(shù)據(jù)、北京紫平方、追一科技、玻森數(shù)據(jù)、武漢烽火普天、北京嘿哈科技、拓爾思（300229）、智言科技、明略數(shù)據(jù)、今日頭條、蘇州馳聲信息等。
新譯信息科技（深圳）有限公司
企業(yè)簡(jiǎn)介
新譯科技成立于2014年12月，是一家研發(fā)人工智能技術(shù)的科技公司，以機(jī)器翻譯和語音識(shí)別等技術(shù)為基礎(chǔ)，向用戶提供在線機(jī)器翻譯、在線輔助翻譯平臺(tái)和互聯(lián)網(wǎng)語言服務(wù)平臺(tái)等一系列關(guān)于翻譯領(lǐng)域的產(chǎn)品和服務(wù)。新譯科技以軟、硬件智能翻譯為承載體，服務(wù)于國家“一帶一路”多語傳播平臺(tái)建設(shè)，為金融、專利、法律、醫(yī)學(xué)等垂直領(lǐng)域提供全球化基礎(chǔ)性多語溝通服務(wù)。
產(chǎn)品研發(fā)
（1）B端和G端產(chǎn)品：
新譯科技的B端和G端產(chǎn)品包括軟件和硬件產(chǎn)品，主要面向大型央企、軍工企業(yè)、互聯(lián)網(wǎng)媒體及政府機(jī)關(guān)等企業(yè)和政府機(jī)構(gòu)提供服務(wù)。
①定制化機(jī)器翻譯是一個(gè)混合神經(jīng)網(wǎng)絡(luò)翻譯引擎，該服務(wù)能統(tǒng)一管理企業(yè)語料，給企業(yè)特定的數(shù)據(jù)和管理賬號(hào)，滿足企業(yè)個(gè)性化、精細(xì)化、專業(yè)性的需求，達(dá)到保護(hù)企業(yè)數(shù)據(jù)隱私和數(shù)據(jù)的效果。
②智能翻譯插件包括辦公翻譯插件和網(wǎng)頁翻譯插件，辦公翻譯插件可以在WPS和Office兩大辦公系統(tǒng)上使用，滿足多語言文檔的快速轉(zhuǎn)換和閱讀；網(wǎng)頁翻譯插件支持各大瀏覽器網(wǎng)頁翻譯，一鍵轉(zhuǎn)化母語閱讀。
（2）C端產(chǎn)品：
新譯科技主要向個(gè)人消費(fèi)者提供在線文檔翻譯、PC端翻譯、智譯APP服務(wù)以及可穿戴式翻譯產(chǎn)品。智譯APP可實(shí)現(xiàn)語音和文本的多種語言智能翻譯，適用于旅游、社交、住宿、商務(wù)等領(lǐng)域。在線文檔翻譯支持10種常用文檔格式輸入，可應(yīng)用于通用或?qū)I(yè)領(lǐng)域的文檔翻譯，翻譯質(zhì)量較高。
競(jìng)爭(zhēng)優(yōu)勢(shì)
新譯科技擁有較強(qiáng)的技術(shù)優(yōu)勢(shì)，同時(shí)擁有澳門大學(xué)自然語言處理與葡中智能翻譯（NLP2CT）實(shí)驗(yàn)室、葡萄牙里斯本L2F語音實(shí)驗(yàn)室、美國卡耐基梅隆大學(xué)LTI實(shí)驗(yàn)室以及新譯-澳大-清華人工智能研究院四所優(yōu)質(zhì)自然語言研究實(shí)驗(yàn)室提供的技術(shù)人才和原創(chuàng)技術(shù)支持，公司所研發(fā)的智能翻譯產(chǎn)品于2017年通過國家科技成果認(rèn)定，并獲得深圳青年技術(shù)獎(jiǎng)以及吳文俊人工智能科學(xué)技術(shù)獎(jiǎng)。新譯科技目前擁有近百人的團(tuán)隊(duì)，核心技術(shù)研發(fā)人員主要在清華大學(xué)自然語言處理研究中心，澳門團(tuán)隊(duì)主要開發(fā)機(jī)器翻譯的各個(gè)衍生品，深圳團(tuán)隊(duì)做自然語言處理底層設(shè)計(jì)，北京團(tuán)隊(duì)負(fù)責(zé)前端、產(chǎn)品和銷售。新譯科技未來將會(huì)著力提升限定性神經(jīng)網(wǎng)絡(luò)翻譯技術(shù)、增強(qiáng)交互式輔助翻譯水平、提高語義翻譯的技術(shù)、改進(jìn)自動(dòng)修正技術(shù)提高后編譯能力水平。
蘇州思必馳信息科技有限公司
企業(yè)簡(jiǎn)介
思必馳成立于2007年，是研發(fā)智能語音交互技術(shù)的智能語音服務(wù)商，為企業(yè)和開發(fā)者提供自然語言交互解決方案，包括DUI開放平臺(tái)、企業(yè)級(jí)智能服務(wù)、人機(jī)對(duì)話操作系統(tǒng)、人工智能芯片模組等。思必馳已于2018年5月完成由元禾控股、中民投領(lǐng)投，深創(chuàng)投、富士康、聯(lián)發(fā)科跟投的5億元人民幣D輪融資。
產(chǎn)品研發(fā)
（1）語音交互
思必馳為用戶提供移動(dòng)端的語音交互技術(shù)支持，適用于Android、iOS等系統(tǒng)，可應(yīng)用于語音助手、智能客服、地圖導(dǎo)航等領(lǐng)域，具備語音喚醒、識(shí)別、合成以及語義理解等多種能力。在智能車載場(chǎng)景中，思必馳為用戶提供“云+端”解決方案，利用智能語音操作系統(tǒng)控制智能后視鏡、智能車機(jī)、便攜式導(dǎo)航儀等設(shè)施，實(shí)現(xiàn)雙手解放。
（2）智能家居
思必馳擁有軟硬一體化的智能家居解決方案，為智能家居產(chǎn)品提供高性能、低成本的聲源定位、個(gè)性喚醒、語音識(shí)別、語義理解、對(duì)話交互等功能，使家居產(chǎn)品可適應(yīng)近場(chǎng)、遠(yuǎn)場(chǎng)的語音交互，方便用戶控制，提高家居產(chǎn)品的智能化水平。
競(jìng)爭(zhēng)優(yōu)勢(shì)
思必馳擁有自主知識(shí)產(chǎn)權(quán)的人機(jī)對(duì)話、語音識(shí)別、語義理解、語音合成、聲紋識(shí)別等綜合語音技術(shù)，其智能人機(jī)對(duì)話技術(shù)突破了傳統(tǒng)語音技術(shù)不能很好支持復(fù)雜語音交互功能的難題，使語音輸入不再局限于呆板簡(jiǎn)單的句式，在復(fù)雜環(huán)境和自然口語交流的情況下，能保證優(yōu)異的語音分析精度和穩(wěn)健的人機(jī)對(duì)話性能。其智能人機(jī)對(duì)話技術(shù)能夠提供基于不完整或不準(zhǔn)確的語音識(shí)別結(jié)果進(jìn)行智能語義推理，通過針對(duì)特定領(lǐng)域特定應(yīng)用需求、對(duì)話目標(biāo)、對(duì)話行為、對(duì)話狀態(tài)和對(duì)話上下文的統(tǒng)計(jì)建模，解決傳統(tǒng)系統(tǒng)設(shè)計(jì)中規(guī)則無法覆蓋實(shí)際對(duì)話狀態(tài)的問題，同時(shí)增強(qiáng)系統(tǒng)對(duì)于錯(cuò)誤識(shí)別結(jié)果和錯(cuò)誤推理結(jié)果的自適應(yīng)性，大幅度提升用戶的語音交互體驗(yàn)。
思必馳語音識(shí)別技術(shù)解決了大量的詞典和語言模型的識(shí)別問題，采用了魯棒特征提取的方法，能夠有效降低噪聲環(huán)境下的錯(cuò)誤率，并用動(dòng)態(tài)噪聲自適應(yīng)來使統(tǒng)一的模型適用于各種噪聲環(huán)境，支持全國各地方不同口音普通話識(shí)別，在用戶實(shí)際使用環(huán)境下，引擎的識(shí)別率能保持較高水準(zhǔn)。
北京智齒博創(chuàng)科技有限公司
企業(yè)簡(jiǎn)介
智齒科技成立于2014年5月，是一家提供智能客服服務(wù)的互聯(lián)網(wǎng)創(chuàng)業(yè)企業(yè)。智齒科技將自然語言理解、機(jī)器學(xué)習(xí)及大數(shù)據(jù)技術(shù)進(jìn)行有效整合，構(gòu)建了包括云呼叫中心、智能機(jī)器人客服、人工在線客服、工單系統(tǒng)、智齒360、智能外呼機(jī)器人在內(nèi)的智能全客服平臺(tái)和智能外呼平臺(tái)，為企業(yè)用戶提供多樣化的智能客服服務(wù)，為用戶解決移動(dòng)時(shí)代、體驗(yàn)經(jīng)濟(jì)環(huán)境下傳統(tǒng)客服所不能解決的企業(yè)客服痛點(diǎn)。智齒科技于2018年4月獲得由云啟資本領(lǐng)投，耀途資本、上海原龍投資和博雅盛景等機(jī)構(gòu)跟投的1.5億元人民幣B+輪融資。
產(chǎn)品研發(fā)
智齒科技推出云呼叫中心、客服機(jī)器人、在線客服、工單系統(tǒng)、外呼機(jī)器人等SaaS客服產(chǎn)品，為金融、教育、電商、企服、生活消費(fèi)、互娛、政企等領(lǐng)域的客戶提供一站式客服解決方案，同時(shí)構(gòu)建了多元豐富的統(tǒng)計(jì)分析報(bào)表，幫助企業(yè)用戶分析顧客關(guān)注焦點(diǎn)、營銷活動(dòng)結(jié)果驗(yàn)收、客服人工工作量及效率，為客服主管提供數(shù)據(jù)支撐，輔助企業(yè)科學(xué)經(jīng)營決策。
智齒客服產(chǎn)品支持桌面網(wǎng)站、移動(dòng)網(wǎng)站、微信、微博、APP等接入方式，用戶只需把代碼復(fù)制到網(wǎng)站上即可將多平臺(tái)顧客匯集于同一平臺(tái)管理，操作簡(jiǎn)便。
競(jìng)爭(zhēng)優(yōu)勢(shì)
智齒科技的智能客服業(yè)務(wù)行業(yè)服務(wù)經(jīng)驗(yàn)豐富。智齒科技在26個(gè)行業(yè)構(gòu)建知識(shí)圖譜，其中16個(gè)行業(yè)構(gòu)建了40個(gè)細(xì)分場(chǎng)景知識(shí)圖譜，提供行業(yè)知識(shí)庫及行業(yè)客服機(jī)器人問答，問答語料庫內(nèi)容覆蓋面廣，能為眾多領(lǐng)域行業(yè)用戶提供智能客服問答服務(wù)，目前智齒科技服務(wù)過的企業(yè)數(shù)量超5萬家，覆蓋電商、互聯(lián)網(wǎng)金融、生活服務(wù)、企業(yè)服務(wù)、在線教育、互動(dòng)娛樂等多個(gè)細(xì)分行業(yè)，包括用友、富士康、滴滴出行、趣分期、新東方、搜狐、銷售易等知名企業(yè)用戶。
智齒客服率先將自然語言處理技術(shù)及機(jī)器學(xué)習(xí)引入客服產(chǎn)品，實(shí)現(xiàn)精準(zhǔn)理解用戶問題并匹配最佳答案，反饋答案準(zhǔn)確率高達(dá)98%。智齒客服支持的機(jī)器人客服與人工客服自由切換模式，可解決80%人工客服的同質(zhì)化回復(fù)問題，同時(shí)機(jī)器人客服可自動(dòng)組織標(biāo)準(zhǔn)答案，幫助客服人員大幅提升客服回復(fù)質(zhì)量和效率。
北京搜狗科技發(fā)展有限公司
搜狗知音自然語言處理平臺(tái)
憑借著搜狗互聯(lián)網(wǎng)公司文字信息獲取的天然優(yōu)勢(shì)以及多年來的數(shù)據(jù)和技術(shù)積累，搜狗從2012年開始布局自然語言處理領(lǐng)域，并于2016年推出搜狗知音自然語言處理平臺(tái)。搜狗知音自然語言處理平臺(tái)主要聚焦于提供模塊化的產(chǎn)品服務(wù)以及解決方案。目前，該平臺(tái)以囊括語音識(shí)別、語音合成、語音分析、機(jī)器翻譯等通用模塊，以便讓平臺(tái)用戶進(jìn)行自由組合，從而構(gòu)建符合其行業(yè)以及業(yè)務(wù)場(chǎng)景的客制化解決方案。近幾年，通過客戶的反饋，搜狗知音自然語言平臺(tái)已形成針對(duì)文體娛樂、企業(yè)服務(wù)、科研教育等領(lǐng)域的專有解決方案，并推出了搜狗分身，搜狗同傳等泛化行業(yè)垂直領(lǐng)域性解決方案以加快平臺(tái)用戶落地腳步。目前，搜狗分身與搜狗同傳在傳媒、教育、金融等領(lǐng)域都有離散應(yīng)用落地。
央視財(cái)經(jīng)與搜狗合作利用搜狗知音的搜狗分身所推出的AI主播“姚小松”，是基于央視主持人姚雪松的形象和聲音，用人工智能技術(shù)合成的仿真AI主播。AI主播的背后，是搜狗分身通過語音合成技術(shù)模仿真實(shí)主持人的聲音，通過文本語音轉(zhuǎn)化技術(shù)，實(shí)現(xiàn)真人般的主播發(fā)聲，并結(jié)合平臺(tái)上的模型優(yōu)化，使唇形、面部表情等與真人完全吻合，實(shí)現(xiàn)主播的“克隆”。除了“姚小松”外，同樣基于搜狗分身的虛擬主播不僅在傳媒領(lǐng)域被廣泛應(yīng)用，還在教育、金融以及社會(huì)服務(wù)領(lǐng)域都有相關(guān)應(yīng)用案例。
科大訊飛（002230）
科大訊飛股份有限公司成立于1999年，是一家專業(yè)從事智能語音及語言技術(shù)、人工智能技術(shù)研究、軟件及芯片產(chǎn)品開發(fā)、語音信息服務(wù)及電子政務(wù)系統(tǒng)集成的國家級(jí)骨干軟件企業(yè)。科大訊飛作為中國智能語音與人工智能產(chǎn)業(yè)領(lǐng)導(dǎo)者，在語音合成、語音識(shí)別、口語評(píng)測(cè)、自然語言處理等多項(xiàng)技術(shù)上擁有國際領(lǐng)先的成果。
訊飛開放自然語言處理平臺(tái)
2010年科大訊飛率先對(duì)外發(fā)布訊飛開放平臺(tái)，利用本身的技術(shù)及數(shù)據(jù)優(yōu)勢(shì)，搭建訊飛開放平臺(tái)并提供相對(duì)完善的AI產(chǎn)品體系，提供語音識(shí)別、語音合成以及語義理解等AI技術(shù)接入。訊飛開放平臺(tái)依托本身技術(shù)優(yōu)勢(shì)，針對(duì)不同行業(yè)以及服務(wù)場(chǎng)景都推出了豐富的技術(shù)模塊產(chǎn)品與解決方案。平臺(tái)不光有成熟的技術(shù)產(chǎn)品模塊化服務(wù)（包括語音識(shí)別、語音合成、情感分析、關(guān)鍵字提取等），還可針對(duì)上述模塊提供對(duì)應(yīng)的管理軟件以及硬件等一攬子服務(wù)。目前，科大訊飛不僅正在尋求通過自然語言處理平臺(tái)構(gòu)建覆蓋該領(lǐng)域上、中、下游的全套解決方案，還希望該全套解決方案可以適應(yīng)如健康醫(yī)療、文體娛樂、及企業(yè)服務(wù)等傳統(tǒng)領(lǐng)域，從而進(jìn)一步增強(qiáng)平臺(tái)客戶的粘著性。
科大訊飛利用訊飛開放平臺(tái)開發(fā)語音電子病歷輸入系統(tǒng)落地上海瑞金醫(yī)院，通過將自然語言處理技術(shù)與前端醫(yī)生佩戴的麥克風(fēng)硬件對(duì)接，在醫(yī)生隨身佩戴麥克風(fēng)時(shí)能夠分析來自醫(yī)生和患者交流過程中的語音信息，自動(dòng)過濾無關(guān)的閑聊語句，并將病情信息結(jié)構(gòu)化的錄入病例表格，正常情況下，醫(yī)生問完診，病歷記錄也基本完成了?；谟嶏w開放平臺(tái)的語音電子病歷系統(tǒng)，總體上節(jié)省醫(yī)生40%的病歷書寫時(shí)間。該系統(tǒng)輸入高達(dá)1分鐘400字，且系統(tǒng)內(nèi)置百萬級(jí)醫(yī)學(xué)詞匯，支持40種以上的標(biāo)點(diǎn)符號(hào)的口述或自動(dòng)生成。
騰訊（00700）
AI Lab是騰訊的人工智能實(shí)驗(yàn)室，研究領(lǐng)域包括計(jì)算機(jī)視覺、語音識(shí)別、自然語言處理、機(jī)器學(xué)習(xí)等。其研發(fā)的騰訊文智自然語言處理基于并行計(jì)算、分布式爬蟲系統(tǒng)，結(jié)合獨(dú)特的語義分析技術(shù)，可滿足自然語言處理、轉(zhuǎn)碼、抽取、數(shù)據(jù)抓取等需求。
在機(jī)器翻譯方面，2017年騰訊宣布翻譯君上線“同聲傳譯”新功能，用戶邊說邊翻的需求得到滿足，語音識(shí)別+NMT等技術(shù)的應(yīng)用保證了邊說邊翻的速度與精準(zhǔn)性。
騰訊知文自然語言處理平臺(tái)
騰訊知文自然語言處理平臺(tái)的初衷是試圖打造服務(wù)于企業(yè)內(nèi)部的智能問答平臺(tái)，隨著自然語言處理技術(shù)的逐步成熟，該平臺(tái)也開始兼容更多模塊。目前，騰訊知文平臺(tái)具有三層架構(gòu)，由下至上分別為：基礎(chǔ)會(huì)話模塊，分析用戶閑聊、以及用戶間的情感聯(lián)系分析；問答系統(tǒng)模塊，提供智能搜索以及所需的會(huì)話模型；任務(wù)導(dǎo)向型會(huì)話模塊，包括詞槽填充、多輪對(duì)話以及對(duì)話管理。上述模塊與架構(gòu)讓騰訊知文具備了從基礎(chǔ)到高級(jí)的智能文本處理能力，可廣泛應(yīng)用于多行業(yè)以及領(lǐng)域針對(duì)用戶評(píng)論情感分析、資訊熱點(diǎn)挖掘、電話投訴分析等場(chǎng)景的需求。該平臺(tái)已被應(yīng)用于，通訊、金融、文體娛樂等多個(gè)行業(yè)，并與多家全球500強(qiáng)企業(yè)展開合作。
中國銀行利用騰訊知文平臺(tái)構(gòu)建了支持電子渠道和電話渠道全系列的智能客服系統(tǒng)。該系統(tǒng)由全媒體坐席平臺(tái)、運(yùn)營監(jiān)控、多媒體接入與統(tǒng)一路由、智能工單、智能門戶、智能知識(shí)庫、客戶之聲等模塊組成，將手機(jī)銀行、電話銀行等服務(wù)功能整合。基于騰訊知文平臺(tái)本身的技術(shù)優(yōu)勢(shì)，對(duì)于語音、文本及視頻信息進(jìn)行智能處理等項(xiàng)服務(wù)，開發(fā)基于自然語言識(shí)別的服務(wù)機(jī)器人，并與平安金服提供的智能知識(shí)庫結(jié)合，為打造下一代虛擬銀行、遠(yuǎn)程銀行打下基礎(chǔ)。自動(dòng)服務(wù)機(jī)器人在平安銀行營業(yè)廳投產(chǎn)后，有效的替代了繁瑣的人工服務(wù)，方便顧客自動(dòng)辦理。
云知聲智能科技股份有限公司
云知聲智能開放平臺(tái)
云知聲的智能開放平臺(tái)，從物聯(lián)網(wǎng)數(shù)據(jù)出發(fā)，逐步構(gòu)建了符合自身用戶群特點(diǎn)的自然語言處理開放平臺(tái)。該平臺(tái)高度集成語音識(shí)別、自然語言理解、語音合成等技術(shù)，以深度學(xué)習(xí)、超級(jí)計(jì)算和認(rèn)知計(jì)算為基礎(chǔ)，構(gòu)建其完整的AI體系，并可有效服務(wù)物聯(lián)網(wǎng)領(lǐng)域的多項(xiàng)應(yīng)用。目前，云知聲依靠其平臺(tái)優(yōu)勢(shì)，打造基于智能開放平臺(tái)的語音互動(dòng)機(jī)器人服務(wù)于多個(gè)場(chǎng)景，包括智能醫(yī)療、智能車載、智能教育等。除此之外，云知聲推出通用行業(yè)服務(wù)機(jī)器人，除依賴本身平臺(tái)的自然語言處理技術(shù)外，結(jié)合仿生肢體及視覺圖形技術(shù)，應(yīng)用于零售營銷、餐飲住宿、金融、交通出行等行業(yè)中更細(xì)化的垂直領(lǐng)域。對(duì)于不同行業(yè)用戶更加客制化的要求，云知聲開放平臺(tái)借助其與計(jì)算平臺(tái)的計(jì)算能力和移動(dòng)互聯(lián)網(wǎng)技術(shù)，能夠?qū)崿F(xiàn)用戶與設(shè)備之間更緊密智能的人機(jī)交互，幫助傳統(tǒng)行業(yè)實(shí)現(xiàn)的聯(lián)網(wǎng)化。
云知聲為兒童早教公司所開發(fā)的教育機(jī)器人“聰聰”整合了云知聲智能開放平臺(tái)云因識(shí)別模塊以及人機(jī)交互技術(shù)?，F(xiàn)階段，聰聰可以實(shí)現(xiàn)聲紋+人臉認(rèn)主、聲源定位+人臉跟隨，情感分析等功能，實(shí)現(xiàn)更個(gè)性化的人機(jī)交互。同時(shí)，聰聰還依托平臺(tái)的KEROS2.0系統(tǒng)可實(shí)現(xiàn)讀書互動(dòng)、識(shí)物互動(dòng)、口語學(xué)習(xí)等高難度自然語言處理應(yīng)用任務(wù)。
武漢烽火普天信息技術(shù)有限公司
武漢烽火普天Image Q大數(shù)據(jù)語義分析應(yīng)用平臺(tái)
烽火普天推出的Image Q互聯(lián)網(wǎng)大數(shù)據(jù)語義分析應(yīng)用平臺(tái)專注中文自然語言處理和深度學(xué)習(xí)技術(shù)。其基于上述技術(shù)所構(gòu)建的文本信息要素提取模塊與數(shù)據(jù)挖掘模塊，可適應(yīng)多個(gè)行業(yè)的文本數(shù)據(jù)情報(bào)挖掘分析任務(wù)。由于武漢烽火普天的客戶多為黨政機(jī)關(guān)和國企，所以其Image Q平臺(tái)的發(fā)展策略在注重自然語言處理模塊構(gòu)建的同時(shí)，更著重于信息安全與可靠性驗(yàn)證相關(guān)技術(shù)的發(fā)展。目前，Image Q平臺(tái)的合作伙伴已覆蓋中國超過半數(shù)的地區(qū)黨媒，主要關(guān)注于輿情演練和媒體數(shù)據(jù)挖掘場(chǎng)景。與此同時(shí)，由于該平臺(tái)的安全性，公共安全與安防領(lǐng)域的落地案例也與日俱增。
在安防領(lǐng)域，公安系統(tǒng)非結(jié)構(gòu)化數(shù)據(jù)占比高且傳統(tǒng)偵防工作高度依賴人工，案例由大量的文字描述構(gòu)成，為了獲取關(guān)鍵線索，不得不依靠人工檢閱海量案卷數(shù)據(jù)。ImageQ通過挖掘業(yè)務(wù)過程中產(chǎn)生的非結(jié)構(gòu)化文檔數(shù)據(jù)中案件要素、特征及線索，從過去的案件語料中提取語義要素，然后進(jìn)行語義關(guān)聯(lián)，在進(jìn)行深度挖掘便可應(yīng)用在刑偵情報(bào)中，同時(shí)結(jié)合公安系統(tǒng)的大數(shù)據(jù)數(shù)據(jù)庫，為偵查人員提供智能的分析手段。此類解決方案已經(jīng)在湖北公安，湖南公安等多個(gè)省級(jí)公安系統(tǒng)得到了落地。
北京紫平方信息技術(shù)股份有限公司
紫平方語音交互智能機(jī)器人平臺(tái)
紫平方自然語言處理平臺(tái)的側(cè)重點(diǎn)主要是在語音交互方向，并試圖實(shí)現(xiàn)針對(duì)企業(yè)級(jí)用戶的自動(dòng)化解決方案。為了能夠提高自身語音交互平臺(tái)中對(duì)語義理解的準(zhǔn)確度，紫平方同時(shí)也構(gòu)建了不同細(xì)分行業(yè)的知識(shí)圖譜，自主提升意圖判斷的學(xué)習(xí)能力。同時(shí)，紫平方平臺(tái)還應(yīng)用TTS文本轉(zhuǎn)語音技術(shù)，實(shí)現(xiàn)全變量模擬真人發(fā)聲，提升服為不同垂直場(chǎng)景中的合作方提供智能交互、情感問答的對(duì)話系統(tǒng)，有效的滿足用戶多元化對(duì)話的需求。目前，平臺(tái)集成了完整的自然語言處理、機(jī)器學(xué)習(xí)、知識(shí)挖掘等技術(shù)，并覆蓋了兒童教育、銀行服務(wù)、市場(chǎng)營銷等多個(gè)行業(yè)的眾多垂直領(lǐng)域，以幫助用戶通過前端與后臺(tái)業(yè)務(wù)意圖搭建客制化自然語言處理自動(dòng)化解決方案。
中財(cái)訊智能科技股份有限公司基于紫平方語音交互智能機(jī)器人平臺(tái)推出了智能財(cái)稅機(jī)器人“i財(cái)”，是中國同類機(jī)器人中首臺(tái)具有深度學(xué)習(xí)能力的人工智能財(cái)稅機(jī)器人?！癷財(cái)”機(jī)器人借助紫平方平臺(tái)的自然語言處理模塊，能夠?qū)崿F(xiàn)數(shù)據(jù)實(shí)時(shí)抓取，數(shù)據(jù)挖掘分析，基于其對(duì)文本數(shù)據(jù)的自動(dòng)化處理，并可自主完成賬務(wù)處理、財(cái)務(wù)狀況分析、納稅風(fēng)險(xiǎn)評(píng)估、等多項(xiàng)人機(jī)交互任務(wù)。
阿里巴巴（09988）
阿里自然語言處理為其產(chǎn)品服務(wù)，在電商平臺(tái)中構(gòu)建知識(shí)圖譜實(shí)現(xiàn)智能導(dǎo)購，同時(shí)進(jìn)行全網(wǎng)用戶興趣挖掘，在客服場(chǎng)景中也運(yùn)用自然語言處理技術(shù)打造機(jī)器人客服。例如螞蟻金融智能小寶、淘寶賣家的輔助工具千牛插件等，同時(shí)進(jìn)行語音識(shí)別以及后續(xù)分析。
阿里的機(jī)器翻譯主要與其國家化電商的規(guī)劃相聯(lián)系，2017年初阿里正式上線了自主開發(fā)的神經(jīng)網(wǎng)絡(luò)翻譯系統(tǒng)，進(jìn)一步提升了其翻譯質(zhì)量。
圖：阿里機(jī)器翻譯
資料來源：千際投行，資產(chǎn)信息網(wǎng)，阿里巴巴
AliNLP自然語言處理平臺(tái)
阿里巴巴為了適應(yīng)自己復(fù)雜的電商生態(tài)推出了AliNLP自然語言處理平臺(tái)。該平臺(tái)框架可分為三層：底層是各種基礎(chǔ)數(shù)據(jù)庫；中間層包含基本的詞法分析，句法分析，文檔分析等基礎(chǔ)自然語言處理技術(shù)；而上層則是針對(duì)不同行業(yè)垂直場(chǎng)景的大業(yè)務(wù)單元，例如智能交互，輿情監(jiān)控等。同時(shí)，AliNLP自然語言處理平臺(tái)還將著重發(fā)展服務(wù)于通用場(chǎng)景的應(yīng)用服務(wù)模塊，以便更好的切入傳統(tǒng)行業(yè)領(lǐng)域。
淘寶網(wǎng)“阿里小蜜”是基于阿里巴巴的AliNLP自然語言處理平臺(tái)所開發(fā)的人工智能客服。整個(gè)阿里小蜜系統(tǒng)由三個(gè)服務(wù)模塊構(gòu)成：助手服務(wù)、用戶服務(wù)、聊天服務(wù)，并可根據(jù)數(shù)據(jù)與對(duì)應(yīng)知識(shí)庫有效自主服務(wù)于客戶與商家之間。系統(tǒng)可通過知識(shí)圖譜內(nèi)容抽取以及形成開放域?qū)υ捪到y(tǒng)解決零售服務(wù)中近95%的客服用戶請(qǐng)求。目前，阿里小蜜已替代大部分的淘寶人工客服，實(shí)現(xiàn)了從純?nèi)肆Φ街悄?人力的客服場(chǎng)景轉(zhuǎn)型。
4.7 全球主要參與者全球參與者主要有：蘋果Apple（AAPL）、谷歌Google（GOOG）、臉書Facebook（FB）、微軟（MSFT）、亞馬遜Amazon（AMZN）、英特爾Intel（INTC）、三星Samsung（005930.KS）、雅虎Yahoo（YHOO）、Beyond Verbal、EI Technology、Telegram（SAS）、Powerset、Inxight（SAP）、Systran（SYTN）、Autonomy（AUTN）、Metaweb、Language Weaver（SDL）等。
蘋果APPLE（AAPL）
蘋果公司（Apple Inc.）是美國一家高科技公司。蘋果營收達(dá)到3658億美元，由史蒂夫·喬布斯、斯蒂夫·蓋瑞·沃茲尼亞克和羅納德·杰拉爾德·韋恩（RonWayne）等人于1976年4月1日創(chuàng)立，并命名為美國蘋果電腦公司（Apple Computer Inc.），2007年1月9日更名為蘋果公司，總部位于加利福尼亞州的庫比蒂諾。
蘋果收購Siri、Novauris，組建基于神經(jīng)網(wǎng)絡(luò)算法的語音識(shí)別團(tuán)隊(duì)
2010年4月，蘋果公司以1.5-2.5億美元收購了Siri。在2013年，蘋果收購了自動(dòng)語音識(shí)別公司Novauris Technologies。Novauris是英國研究機(jī)構(gòu)Dragon Systems旗下的附屬公司，以語音聽寫識(shí)別著稱，成立于2012年。
2014年7月，有消息稱，蘋果正在聯(lián)系多位語音識(shí)別技術(shù)的專家，正在招聘經(jīng)理、小組負(fù)責(zé)人、研究員，很可能將成立一支強(qiáng)大的語音識(shí)別團(tuán)隊(duì)，并最終取代現(xiàn)在的Siri技術(shù)服務(wù)商N(yùn)uance。過去幾年中，蘋果招聘了多名此前供職于Nuance的高層次語音技術(shù)研究員，包括前研究副總裁拉里·吉利克(Larry Gillick)、Siri的項(xiàng)目經(jīng)理貢納爾·艾弗曼（Gunnar Evermann）、微軟語音識(shí)別項(xiàng)目高管亞歷克斯·阿賽洛（Alex Acero）。
谷歌GOOGLE（GOOG）
谷歌公司（Google Inc.）成立于1998年9月4日，由拉里·佩奇和謝爾蓋·布林共同創(chuàng)建，被公認(rèn)為全球最大的搜索引擎公司。谷歌是一家位于美國的跨國科技企業(yè)，業(yè)務(wù)包括互聯(lián)網(wǎng)搜索、云計(jì)算、廣告技術(shù)等，同時(shí)開發(fā)并提供大量基于互聯(lián)網(wǎng)的產(chǎn)品與服務(wù)，其主要利潤(rùn)來自于AdWords等廣告服務(wù)。2017年12月13日，谷歌正式宣布谷歌AI中國中心（Google AI China Center）在北京成立。
2015年8月，Google聯(lián)合創(chuàng)始人兼CEO拉里·佩奇宣布公司重組消息。他與另一位聯(lián)合創(chuàng)始人謝爾蓋·布林創(chuàng)辦新控股公司Alphabet。Alphabet取代Google在納斯達(dá)克上市，而Google則成為Alphabet的一部分。
Google收購多項(xiàng)語音識(shí)別技術(shù)專利、Say Now、Phonetic Arts
Google在2014年收購了SR Tech Group的多項(xiàng)語音識(shí)別相關(guān)的專利，其中包括“搜索引擎語音界面”和“修改、更新語音識(shí)別項(xiàng)目系統(tǒng)”的專利。Google一直致力于投資語音搜索技術(shù)，以期與蘋果公司的Siri展開競(jìng)爭(zhēng)。2011年，Google收購語音通信技術(shù)公司Say Now和語音合成技術(shù)Phonetic Arts。其中，Say Now創(chuàng)建于2005年，可以把語音通信、點(diǎn)對(duì)點(diǎn)對(duì)話、以及群組通話和社交應(yīng)用整合在一起，支持的設(shè)備包括PC瀏覽器、智能手機(jī)乃至座機(jī)。被收購時(shí)，有1500萬用戶，旗下產(chǎn)品包括Say Now Phone，Say Now廣播，Big Call以及Chit Chat等。
Google Dialogflow自然語言處理平臺(tái)
DialogFlow是Google提供的自然語言處理服務(wù)平臺(tái)，其前身為Api.ai，通過谷歌的深度學(xué)習(xí)技術(shù)以及谷歌云的支持，平臺(tái)已構(gòu)建可實(shí)現(xiàn)對(duì)文本語義理解，文字轉(zhuǎn)化，以及文字處理等多項(xiàng)功能模塊。目前，Dialogflow自然語言處理平臺(tái)可適用于針對(duì)網(wǎng)站、移動(dòng)應(yīng)用、熱門消息傳遞平臺(tái)和物聯(lián)網(wǎng)(IoT)設(shè)備創(chuàng)建對(duì)話界面的聊天機(jī)器人以及語音交互功能的開發(fā)。近幾年，DialogFlow已被成為多個(gè)行業(yè)另有構(gòu)建自有聊天機(jī)器人、對(duì)話個(gè)人助理等系統(tǒng)的自然語言處理服務(wù)供應(yīng)商。
荷蘭皇家航空公司利用Dialogflow自然語言處理服務(wù)平臺(tái)的語音與文字文本處理推出了自己在Facebook Messenger上的首個(gè)預(yù)定機(jī)器人——Blue Bot。Blue Bot可基于Dialogflow的人機(jī)交互功能模塊實(shí)現(xiàn)與潛在客戶的文字聊天交流和客戶需求梳理。Blue Bot還可利用文本處理模塊實(shí)現(xiàn)信息歸類，并將有價(jià)值信息直接發(fā)送至荷蘭皇家航空的CRM系統(tǒng)。
臉書Facebook（FB）
Facebook（臉書）公司創(chuàng)立于2004年2月4日，總部位于美國加利福尼亞州門洛帕克。2012年3月6日發(fā)布Windows版桌面聊天軟件Facebook Messenger。主要?jiǎng)?chuàng)始人馬克·扎克伯格（Mark Zuckerberg）。Facebook是世界排名領(lǐng)先的照片分享站點(diǎn)，截至2013年11月每天上傳約3.5億張照片。
2021年10月，扎克伯格在Facebook的Connect開發(fā)者大會(huì)上宣布，將公司名稱改為“Meta”。
Facebook收購Wit.ai和Mobile Technologies
語音交互解決方案服務(wù)商Wit.ai要做的就是重寫互聯(lián)網(wǎng)的語音層，簡(jiǎn)單地在第三方App中加入幾行代碼來為它生成一個(gè)語音交互界面，就能把語言轉(zhuǎn)化成可以操作的數(shù)據(jù)。正如移動(dòng)支付公司Stripe通過幾行代碼就為網(wǎng)站解決了線上支付問題一樣。Wit.ai稱，它比Siri更靈敏精確，不需要開發(fā)者先期投資，或訓(xùn)練數(shù)據(jù)集，而且可以應(yīng)用在移動(dòng)應(yīng)用程序(iOS、Android等平臺(tái))、穿戴設(shè)備和機(jī)器人以及幾乎任何你可以想到的智能設(shè)備。被收購時(shí)，Wit.ai成立才18個(gè)月，吸引了6000多名開發(fā)者，創(chuàng)建的應(yīng)用超過了數(shù)百個(gè)。此次收購有助于提高Facebook整體對(duì)自然語言的理解能力。
除了Wit.ai，F(xiàn)acebook還在2013年收購了語音識(shí)別公司Mobile Technologies。MT創(chuàng)建于2001年，在2009年推出了Jibbigo應(yīng)用，允許用戶在25種語言中進(jìn)行選擇，使用一種語言進(jìn)行語音片段錄制或文本輸入，然后將翻譯顯示在屏幕上，根據(jù)你選擇的語言大聲讀出來。
亞馬遜Amazon（AMZN）
亞馬遜公司（Amazon，簡(jiǎn)稱亞馬遜；NASDAQ：AMZN），是美國最大的一家網(wǎng)絡(luò)電子商務(wù)公司，位于華盛頓州的西雅圖。是網(wǎng)絡(luò)上最早開始經(jīng)營電子商務(wù)的公司之一，亞馬遜成立于1994年，一開始只經(jīng)營網(wǎng)絡(luò)的書籍銷售業(yè)務(wù)，現(xiàn)在則擴(kuò)及了范圍相當(dāng)廣的其他產(chǎn)品，已成為全球商品品種最多的網(wǎng)上零售商和全球第二大互聯(lián)網(wǎng)企業(yè)，在公司名下，也包括了Alexa Internet、a9、lab126、和互聯(lián)網(wǎng)電影數(shù)據(jù)庫（Internet Movie Database，IMDB）等子公司。
Amazon收購語Yap、Evi、Ivona
2011年，Amazon收購語音識(shí)別公司Yap。Yap成立于2006年，主要提供語音轉(zhuǎn)文本服務(wù)，代表應(yīng)用是Yap語音郵件。利用Yap的技術(shù)亞馬遜建立自己的語音技術(shù)平臺(tái)，服務(wù)于亞馬遜的網(wǎng)上搜索和客戶服務(wù)等領(lǐng)域。
2012年，Amazon收購語音技術(shù)公司Evi。Evi是一家應(yīng)該創(chuàng)業(yè)公司，原名True Knowledge，在獲得了Nuance語音識(shí)別技術(shù)的授權(quán)后，基于自主的自然語言搜索引擎開發(fā)了一款與蘋果Siri類似的應(yīng)用。
2013年，Amazon收購語音技術(shù)公司Ivona Software。Ivona是一家波蘭公司，是Nuance的競(jìng)爭(zhēng)對(duì)手，主要做文本語音轉(zhuǎn)換，被收購時(shí)支持17種語言44種聲音。
Amazon Alexa自然語言處理平臺(tái)
Alexa是亞馬遜為了支持其智能音箱硬件推出的開放性自然語言處理平臺(tái)，Alexa框架分為三部分：Alexa平臺(tái)框架是亞馬遜的語音服務(wù)框架，是整個(gè)Alexa最核心的部分；Alexa Skill Kit作為亞馬遜提供給語音服務(wù)應(yīng)用開發(fā)者的工具包，能夠吸引個(gè)體開發(fā)者對(duì)Alexa的功能模塊進(jìn)行補(bǔ)充；Alexa Voice Service需要集成在物聯(lián)網(wǎng)終端設(shè)備中，是亞馬遜提供給終端設(shè)備的服務(wù)。Alexa通過自動(dòng)會(huì)話識(shí)別和自然語言理解引擎，可以對(duì)語音請(qǐng)求及時(shí)識(shí)別和回應(yīng)，目前，Alexa已經(jīng)與多家通訊、電子消費(fèi)產(chǎn)品廠商達(dá)成合作，將使用其自然語言處理平臺(tái)進(jìn)行相關(guān)產(chǎn)品開發(fā)。
利用Alexa平臺(tái)及與其搭配的硬件設(shè)施，amazon推出了一系列語音處理相關(guān)的附屬功能，針對(duì)多個(gè)行業(yè)的不同垂直領(lǐng)域。Alexa for business是Alexa在企業(yè)服務(wù)領(lǐng)域的一個(gè)典型應(yīng)用，主要針對(duì)企業(yè)會(huì)議場(chǎng)景。Energy BBDO公司購買Alexa for business服務(wù)后，通過智能語音識(shí)別及人機(jī)交互系統(tǒng)實(shí)現(xiàn)了公司會(huì)議全場(chǎng)景自動(dòng)化、智能化。系統(tǒng)能夠更直接的預(yù)定會(huì)議室并啟動(dòng)電話會(huì)議，通過分析獲取的環(huán)境聲音信息自動(dòng)取消已預(yù)訂但無人參加的會(huì)議室。同時(shí)在企業(yè)會(huì)議期間，alexa for business還可以對(duì)會(huì)議內(nèi)容進(jìn)行記錄整理。目前。這一系統(tǒng)已經(jīng)在多家企業(yè)落地，例如Energy BBDO和Gildewell Dental等。
第五章 未來趨勢(shì)多模態(tài)語言處理融合
深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的引進(jìn)使得語言模態(tài)、文字模態(tài)、圖像模態(tài)、視頻模態(tài)的編碼和解碼可在同一個(gè)深度學(xué)習(xí)框架下統(tǒng)一運(yùn)行。不同模態(tài)的對(duì)象可被同一模式編碼與解碼，同一模式的編碼與解碼即可使不同模態(tài)對(duì)象隨意融合，各種語言分析的結(jié)果可與語音分析、圖像分析結(jié)果結(jié)合應(yīng)用，產(chǎn)生更多的產(chǎn)品應(yīng)用模式，如科大訊飛推出的語音交互系統(tǒng)AIUI，融合了語音技術(shù)和語義理解技術(shù)，使智能助手如同人類大腦能多功能區(qū)域協(xié)同工作，提升了應(yīng)用的智能化水平以及人機(jī)交互效果。
機(jī)器的各方面智能不應(yīng)是相互獨(dú)立的，應(yīng)像人類大腦般同時(shí)處理聽覺、視覺以及觸覺認(rèn)知與感知信息，未來的自然語言處理技術(shù)必定與語音處理技術(shù)、圖像處理技術(shù)等人工智能技術(shù)相互融合，賦予AI高度智能。
自然語言處理應(yīng)用逐漸成熟
隨著自然語言處理技術(shù)研究的不斷深入，自然語言處理應(yīng)用逐步得到推廣，尤其在知識(shí)圖譜、機(jī)器翻譯、閱讀理解和智能創(chuàng)作等方面開始產(chǎn)生較成熟的應(yīng)用。
知識(shí)圖譜已在科研、金融、醫(yī)療、互聯(lián)網(wǎng)服務(wù)、汽車等領(lǐng)域得到廣泛應(yīng)用。2018年以來，百度搜索引擎構(gòu)建知識(shí)圖譜，為用戶提供全面的智能搜索服務(wù)。阿里健康與國家級(jí)醫(yī)療健康大數(shù)據(jù)平臺(tái)啟動(dòng)建立醫(yī)學(xué)知識(shí)圖譜“醫(yī)知鹿”，并在醫(yī)療領(lǐng)域逐步推廣。騰訊推出醫(yī)療AI引擎“騰訊睿知”，發(fā)力智能導(dǎo)診。美團(tuán)通過構(gòu)建生活知識(shí)圖譜為用戶提供智能化的生活服務(wù)。汽車之家構(gòu)建汽車領(lǐng)域的知識(shí)圖譜幫助旗下APP“家家小秘”實(shí)現(xiàn)圖譜問答。
智能創(chuàng)作應(yīng)用方面，百度推出人工智能寫作輔助平臺(tái)“創(chuàng)作大腦”，其語義智能糾錯(cuò)功能識(shí)別準(zhǔn)確率超95%，達(dá)到大學(xué)生寫作糾錯(cuò)能力的平均水平，能為人類作者提供良好的糾錯(cuò)、提取信息等輔助寫作服務(wù)，提高寫作者的寫作效率。微軟的智能助手小冰開始向作詞、作曲、演唱方面發(fā)展，能輔助音樂創(chuàng)作者進(jìn)行音樂創(chuàng)作。IBM推出的智能辯手曾與以色列國際辯論協(xié)會(huì)主席以及以色列國家辯論冠軍進(jìn)行辯論比賽，IBM智能辯手通過處理大量文本，就特定主題構(gòu)建出有良好結(jié)構(gòu)的演講，清晰明了地反駁了這兩位辯論對(duì)手。智能創(chuàng)作應(yīng)用需要運(yùn)用到目前業(yè)內(nèi)研發(fā)的各種自然語言處理技術(shù)，是業(yè)界自然語言處理技術(shù)水平的良好體現(xiàn)，智能創(chuàng)作應(yīng)用的成熟表現(xiàn)，有效地反映了業(yè)內(nèi)自然語言處理技術(shù)良好的發(fā)展成果。
Cover Photo by Michael Dziedzic on Unsplash
以上就是關(guān)于pos機(jī)廣告語搞笑,2022年自然語言處理行業(yè)研究報(bào)告的知識(shí)，后面我們會(huì)繼續(xù)為大家整理關(guān)于pos機(jī)廣告語搞笑的知識(shí)，希望能夠幫助到大家！
