Lucene的索引文件格式

Lucene 的索引里面存了些什么,如何存放的,也即Lucene 的索引文件格式,是读懂 Lucene 源代码的一把钥匙。

当我们真正进入到 Lucene 源代码之中的时候,我们会发现:

Lucene 的索引过程,就是按照全文检索的基本过程,将倒排表写成此文件格式的过程。
Lucene 的搜索过程,就是按照此文件格式将索引进去的信息读出来,然后计算每篇文档打分(score)的过程。

Lucene 的索引结构是有层次结构的,主要分以下几个层次:

索引(Index):

索引(Index):在 Lucene 中一个索引是放在一个文件夹中的。

同一文件夹中的所有的文件构成一个Lucene 索引。

段(Segment):

一个索引可以包含多个段,段与段之间是独立的,添加新文档可以生成新的段,不同的段可以合并。

具有相同前缀文件的属同一个段,段可以有下面的前缀,如两个段 "_0" 和 "_1"。

segments.gen 和segments_5 是段的元数据文件,也即它们保存了段的属性信息。

文档(Document):

文档是我们建索引的基本单位,不同的文档是保存在不同的段中的,一个段可以包含多篇文档。

新添加的文档是单独保存在一个新生成的段中,随着段的合并,不同的文档合并到同一个段中。

域(Field):

一篇文档包含不同类型的信息,可以分开索引,比如标题,时间,正文,作者等,都可以保存在不同的域里。

不同域的索引方式可以不同。

词(Term):

词是索引的最小单位,是经过词法分析和语言处理后的字符串。

Lucene 的索引结构中,即保存了正向信息,也保存了反向信息。

所谓正向信息:

按层次保存了从索引,一直到词的包含关系:索引(Index) –> 段(segment) –> 文档 (Document) –> 域(Field) –> 词(Term)。
既然是层次结构,则每个层次都保存了本层次的信息以及下一层次的元信息,也即属性信息,比如一本介绍中国地理的书,应该首先介绍中国地理的概况,以及中国包含多少个省,每个省介绍本省的基本概况及包含多少个市,每个市介绍本市的基本概况及包含多少个县,每个县具体介绍每个县的具体情况。
包含正向信息的文件有
    segments_N 保存了此索引包含多少个段,每个段包含多少篇文档。
    XXX.fnm 保存了此段包含了多少个域,每个域的名称及索引方式。
    XXX.fdx,XXX.fdt 保存了此段包含的所有文档,每篇文档包含了多少域,每个域保存了那些信息。
    XXX.tvx,XXX.tvd,XXX.tvf 保存了此段包含多少文档,每篇文档包含了多少域,每个域包含了多少词,每个词的字符串,位置等信息。

所谓反向信息:

保存了词典到倒排表的映射:词(Term) –> 文档(Document)

包含反向信息的文件有:
    XXX.tis,XXX.tii 保存了词典(Term Dictionary),也即此段包含的所有的词按字典顺序的排序。
    XXX.frq 保存了倒排表,也即包含每个词的文档ID 列表。
    XXX.prx 保存了倒排表中每个词在包含此词的文档中的位置。

Lucene 原理与代码