文本分類的6類方法

發(fā)布時間：2025-11-29 | 來源：互聯(lián)網(wǎng)轉(zhuǎn)載和整理

一、中文分詞：

針對中文文本分類時，很關(guān)鍵的一個技術(shù)就是中文分詞。特征粒度為詞粒度遠遠好于字粒度，其大部分分類算法不考慮詞序信息，基于字粒度的損失了過多的n-gram信息。下面簡單總結(jié)一下中文分詞技術(shù):基于字符串匹配的分詞方法、基于理解的分詞方法和基于統(tǒng)計的分詞方法[1]。

1，基于字符串匹配的分詞方法：

過程：這是一種基于詞典的中文分詞，核心是首先建立統(tǒng)一的詞典表，當(dāng)需要對一個句子進行分詞時，首先將句子拆分成多個部分，將每一個部分與字典一一對應(yīng)，如果該詞語在詞典中，分詞成功，否則繼續(xù)拆分匹配直到成功。

核心：字典，切分規(guī)則和匹配順序是核心。

分析：優(yōu)點是速度快，時間復(fù)雜度可以保持在O（n）,實現(xiàn)簡單，效果尚可；但對歧義和未登錄詞處理效果不佳。

2，基于理解的分詞方法：基于理解的分詞方法是通過讓計算機模擬人對句子的理解，達到識別詞的效果。其基本思想就是在分詞的同時進行句法、語義分析，利用句法信息和語義信息來處理歧義現(xiàn)象。它通常包括三個部分：分詞子系統(tǒng)、句法語義子系統(tǒng)、總控部分。在總控部分的協(xié)調(diào)下，分詞子系統(tǒng)可以獲得有關(guān)詞、句子等的句法和語義信息來對分詞歧義進行判斷，即它模擬了人對句子的理解過程。這種分詞方法需要使用大量的語言知識和信息。由于漢語語言知識的籠統(tǒng)、復(fù)雜性，難以將各種語言信息組織成機器可直接讀取的形式，因此目前基于理解的分詞系統(tǒng)還處在試驗階段。

3，基于統(tǒng)計的分詞方法：

過程：統(tǒng)計學(xué)認(rèn)為分詞是一個概率最大化問題，即拆分句子，基于語料庫，統(tǒng)計相鄰的字組成的詞語出現(xiàn)的概率，相鄰的詞出現(xiàn)的次數(shù)多，就出現(xiàn)的概率大，按照概率值進行分詞，所以一個完整的語料庫很重要。

主要的統(tǒng)計模型有：N元文法模型（N-gram），隱馬爾可夫模型（HiddenMarkovModel，HMM），最大熵模型（ME），條件隨機場模型（ConditionalRandomFields，CRF）等。

二、文本預(yù)處理：

1，分詞：中文任務(wù)分詞必不可少，一般使用jieba分詞，工業(yè)界的翹楚。

2，去停用詞：建立停用詞字典，目前停用詞字典有2000個左右，停用詞主要包括一些副詞、形容詞及其一些連接詞。通過維護一個停用詞表，實際上是一個特征提取的過程，本質(zhì)上是特征選擇的一部分。

3，詞性標(biāo)注：在分詞后判斷詞性（動詞、名詞、形容詞、副詞…），在使用jieba分詞的時候設(shè)置參數(shù)