欢迎来到专业的宏发范文网平台! 心得体会 党建材料 工作总结 工作计划 思想汇报 事迹材料 发言讲话 述职报告
当前位置:首页 > 范文大全 > 公文范文 > 正文

用于信息检索的贝叶斯网络模型扩展

时间:2022-03-13 15:54:46 浏览量:

(北京北大方正软件技术学院 软件技术系,河北 廊坊 065000)
摘 要:针对传统的信息检索方法采用基于关键词匹配的 模式,导致查询效率低下的问题,利用同义词对查询术语进行扩展,提出了一种用于信息检 索的贝叶斯网络模型扩展,并引入词共现的方法挖掘术语之间的相关关系。实验结果表明, 新模型能够有效地提高检索效率。
关键词:贝叶斯网络;信息检索;同义词;词共现
中图分类号:TP391  文献标识码:A  文章编号:1007—6921(2009)22—0090—02

贝叶斯网络检索模型可以计算术语与术语,术语与文档之间的条件概率,但是网络拓扑结构 显得很复杂,没有层次性。文献[1]给出了一种贝叶斯网络检索模型,该模型提出 了一种新的可以称为传播+估计的推理技术,能够提高一定的检索速率。为了更好地利用贝 叶斯网络,利用同义词扩展查询术语,并引入词共现的方法对基本的贝叶斯网络检索模型进 行扩展,有效地提高了检索效率。
1 相关知识
1.1 同义词介绍

同义词的概念并不等同于语言学和日常生活中的同义词,它不考虑感情色彩和语气,主要是 指能够相互替换、表达相同或相近概念的词汇[2]。同义词能从概念语义上表达用 户的查询意图,如“电脑”—“计算机”,“重构”—“重组”等。

由于自然语言中存在大量的同义词和近义词,用户检索时很难全部列举出表示同一概念的不 同词汇,因而造成了检索效率低下。为此,引入同义词扩展查询,可以检索到更多的文档。 
1.2 词共现方法

在信息检索中,如果两个词经常共同出现在文档的同一窗口单元(如章、节、段),就认为 两个词在意义上是相互关联的,并且共现的概率越高,其相互关联越紧密[3]。一 般情况下,选择整篇文档作为窗口单元。

这里采用的词共现方法是基于统计学的理论,在文档经过处理后,用公式(1)计算文档中 任意两个术语和之间的相关系数。
     

其中c(ti,tj)表示术语ti与tj共同出现的频率,c(ti)表示术语ti出现的频率 ,c(tj)表示术语tj出现的频率。
2 用于信息检索的贝叶斯网络模型扩展
2.1 模型的网络拓扑结构

文档集合d表示为d={d1,d2,…,dn};这些文档的索引术语集合t表示为t={t1,t2, …,tm}。 图1给出了贝叶斯网络模型扩展的拓扑结构,其中q被定义为查询术语节点,d k定义为文档节点,tj定义为索引术语节点,tj有一条指向被它索引的文档dk的弧。 采用两个术语层来挖掘文档索引术语之间的关系,完

2.2 同义词的获取

在贝叶斯网络模型扩展中,每个查询术语的同义词都用来扩展查询,即如果从查询术语节点 q有一条指向术语节点ti的弧,则表示ti是查询术语q的同义词。对每个查询术语q ,通过同义词词典的方法找出其同义词,并存入集合R(q)中。

2.3 术语之间关系 的挖掘

与tj最相关的术语集合R(tj)用词共现方法来确定,因为术语tj和ti的相关系数与 它们在文档中的权重有密切的联系,所以对公式(1)进行改进:

其中tfijk表示文档k中术语ti和tj同时出现的频率,dfij表示同时出现术 语ti和tj的文档数目,mtitj表示术语ti和tj所包含的单词个数。 
wjk表示术语tj在文档k中的权重,用公式(4)进行计算:

其中a是参数,满足0<a<1,用来控制考虑术语之间的 相关关系对tj的相关概率的影响程度。
2.4.1.3 术语tj的同义词或者相关词有可能是同一个术语,那么采用加权求均值的方 法计算。
2.4.2 索引术语和文档之间的条件概率计算:

对给定的查询q,计算文档dk的最终后验概率p(d+k|q):

根据以上推理,计算文档节点dk的后验概率P(d+k|q),整个的信息检索过程就完成 了,最后将文档按照概率大小降序返回给用户。
3 实验结果与分析

实验所用的文档来源于中国学术期刊网全文数据库,从该数据库中下载了300篇文档作为测 试集合,经过处理后得到437个代表文档主要内容特征的索引术语,并针对这些文档构造了3 个查询。在以上实验数据的基础上做基于贝叶斯网络模型的信息检索,表1中列出了采用不 同方法得到的检索结果。

方法1是基本贝叶斯网络模型的检索方法,方法2是基于查询扩展的贝叶斯网络模型的检索方 法,方法3为本文设计的贝叶斯网络扩展模型的检索方法,当参数α的取值为0.6时可以得 到比较理想的检索效果。

从表1可以看出,采用基于扩展的贝叶斯网络模型的方法都要优于方法1;方法2仅从单一的 查询扩展方面考虑,导致查准率不高;方法3要优于方法2,因为在查询扩展的基础上,又考 虑了术语之间的相关关系,所以本文设计的检索策略能够达到更好的检索效果。
[参考文献]
[1] L.M. DE CAMPOS, J.M. FERN′ANDZE-LUNA, J.F. HUETE. The BNR model:  fo undations and performance of a Bayesian network-based retrieval model[J]. Inte rnational Journal of Intelligent Systems, 2003, 18(2):251~265.
[2] 陆勇,侯汉清. 用于信息检索的同义词自动识别及其进展[J].南京农业大学 学报,2004, 4(3): 87~92.
[3] 吴光远,何丕廉,曹桂宏等. 基于向量空间模型的词共现研究及其在文本分类 中的应用[J].计算机应用,2003,(23):138~140.
[4] C. FABIO, L. M. DE CAMPOS, J. M. FERNANDEZ-LUNA, et al. A multi-l aye red Bayesian network model for structured document retrieval[J]. Lecture Notes  in Computer Science,2003,(2711):74~86.
[5] L.M. DE CAMPOS, J.M. FERN′ANDZE-LUNA, J.F. HUETE. Clustering term s  in the Bayesian network retrieval model: a new approach with two term-layers[J ]. Applied Soft Computing,2004,(4):149~158.

推荐访问:信息检索 模型 扩展 用于 网络

猜你喜欢