基于逆向最大化词表中文分词法。

以前做知识管理系统的时候,由于需要建立全文检索和统计词频，需要对中文文本进行分词。对于中文分词,

国内做到好的应该是中科院自然研究所,但是相对比较复杂,我看了几次没有看明白. :) ,由于平常我们的知识系统

对分词的要求没有这么高,所以就选择了最大化的词表分词法. 词表选择的是人民日报97版的词表.

实际效果可以达到90%以上,基本可以满足需要。支持 Lucene.net分词，词表是启动时一次性载入；

具体代码如下:

public sealed class LtWordTokenizer : Tokenizer
{
private String bufferText;
private ArrayList wordArray;
private int intIndex=0;
public static Hashtable hsDic=new Hashtable();

public LtWordTokenizer(TextReader _in)
{
input = _in;
bufferText=input.ReadToEnd().ToLower();
wordArray=new ArrayList();
wordSegment(bufferText);

}

public void wordSegment(String Sentence)
{
int senLen = Sentence.Length;
int i=0, j=0;
int M=12;
string word;
while(i < senLen)
{
int N= i+M

 1<senlen :="" ?="" bfind="false;" bool="" for(j="N-1;" i+m="" j="" senlen+1;="">i; j--)   
 2{   
 3word = Sentence.Substring(i, j-i).Trim();   
 4if(hsDic.ContainsKey(word.Trim()))   
 5{   
 6wordArray.Add(new Token(word,i,i+word.Length));   
 7bFind=true;   
 8i=j;   
 9break;   
10}   
11}   
12if(!bFind)   
13{   
14word = Sentence.Substring(i, 1).Trim();   
15i=j+1;   
16if(word.Trim()!="")   
17{   
18wordArray.Add(new Token(word,i,i+word.Length));   
19}   
20}   
21}   
22} 
23
24  
25  
26public override Token Next()   
27{   
28  
29if(intIndex&lt;wordArray.Count)   
30{   
31intIndex++;   
32return (Token)(wordArray[intIndex-1]);   
33}   
34else   
35return null;   
36}   
37  
38}   
39} 
40
41下次可以在分词的时候更改一下，不必先分好保存到arraylist,动态速度更好。</senlen>