自然語言處理(NLP):斷開中文的鎖鍊! | 合法藥品大搜索
2018年7月3日—問如何教電腦學會一種語言?...若要讓電腦理解人類的語言,以中文來說,分成兩步驟:.第一步是斷詞、理解詞;第二步則是分析句子,包含語法及 ...
如何理解一種語言?小時候學習中文,會背誦課文詞彙的注釋,在作業簿練習這個詞的寫法。到了國中時期學英文,面對像天書般的英文文章,會把不懂的單字圈起來,拿出字典查這個字的意思。為什麼這樣做?
然而,中文有一個特殊現象,就是「詞」和「詞」之間沒有邊界,整句串起來像條鎖鏈,不像英文有空格將每個字斷開。所以,若要理解一篇中文文章,必須先學會斷詞,而要學會斷詞,必須先知道這是一個詞、以及這個詞的意思。否則可能會產生這種令人「難過」的情況:
那麼,問題來了,如果聰明的人類都會誤解複雜的語言,那麼只懂 011000110 的電腦有可能學會斷詞、甚至理解同一個詞在不同上下文的意思嗎?其實,這就是自然語言處理[1] (Natural Language Processing) 的研究目標。本文專訪中研院中文詞知識庫[2]小組計畫主持人馬偉雲,聊聊自然語言處理究竟是什麼。
簡要來說,程式語言是人類為了與計算機溝通,而設計的人工語言;而自然語言的自然,是相對於「人工」語言的「自然」,換句話說,自然語言是人們溝通時自然地發展出來的語言。「自然語言處理」的目標,就在於讓電腦理解、或是運用人類語言。
自然語言處理透過這兩個步驟,將複雜的語言轉化為電腦容易處理、計算的形式。早期是人工訂定規則,現在則是讓機器自己學習。
早期的方式是基於一套詞彙資料庫,用程式語言寫好人工訂定的規則,讓電腦依指令做出反應。但這種人工方式不可能包含所有語言的歧異性,例如,當同樣的詞在不同上下文產生不同意思,就會和原本的人工規則相互牴觸。
1980 年代末期,自然語言處理引進機器學習[3] (Machine Learning) 的演算法,不再用程式語言命令電腦所有規則,而是建立演算法模型,讓電腦學會從訓練的資料中,尋找資料所含的特定模式和趨勢。我們實驗室——中研院的「中文詞知...
8 個日常自然語言處理(NLP) 範例 | 合法藥品大搜索
NLP自然語言處理– 技術原理與其產業應用 | 合法藥品大搜索
中文自然語言處理(NLP) 的進展與挑戰 | 合法藥品大搜索
中文自然語言處理整理| 深度學習| 文字分析| NLP | 合法藥品大搜索
博客來 | 合法藥品大搜索
斷開中文的鎖鍊!自然語言處理(NLP)是什麼? | 合法藥品大搜索
深度學習:自然語言處理的秘密武器 | 合法藥品大搜索
自然語言處理(NLP):斷開中文的鎖鍊! | 合法藥品大搜索
自然語言處理 | 合法藥品大搜索
進入NLP 世界的最佳橋樑:寫給所有人的自然語言 ... | 合法藥品大搜索
【"台耀"西蓓可娜布芬】解除中度到嚴重疼痛、也可作為平衡麻醉的補助劑。如手術前後之麻醉,及在分娩陣痛過程中的產科麻醉。
藥品名稱:"台耀"西蓓可娜布芬許可證字號:衛部藥製字第059233號許可證種類:原料藥適應症:解除中度到嚴重疼痛、也可作為平衡麻...
【"吉力" 東昇腦沙高軟膏】切傷、刀傷、創傷、火傷、蟲咬傷、頭暈。
藥品名稱:"吉力"東昇腦沙高軟膏許可證字號:衛署成製字第010149號許可證種類:製 劑適應症:切傷、刀傷、創傷、火傷、蟲咬傷、...