(佳木斯大学图书馆，黑龙江 佳木斯 154007)
摘 要：本文详细阐述了网络信息的检索系统——搜索引擎及其分类、原理与不足等，并对未来的发展趋势进行了展望。
关键词：搜索引擎；信息检索；网络信息
中图分类号：G252.7 文献标识码：A 文章编号：1007—6921(2007)07—0081—02
人类的信息检索方式大致经历了四个阶段：手工检索，通过目录、索引等工具对图书馆内的印刷型文献进行检索；机械检索，用一些简单的机械装置(如打孔机)来进行信息的记录与检索；计算机检索。通过计算机对数据库、光盘等存储设备内的信息进行检索；网络检索，通互联网对全球数以亿计的web服务器上的数据进行检索。
时代发展到今天，人们足不出户，就可以在瞬间检索到互联网上海量的数据，真正实现了“秀才不出门，能知天下事”的梦想。互联网上的数据是庞大的、无序的，要想真正利用好互联网上的数据，就必须利用好网上信息的检索工具——搜索引擎。本文对搜索引擎进行一个全面的阐述，以期读者对这个网络时代的检索系统有一个全面的了解。
1 搜索引擎及其分类
搜索引擎是一组对网络信息资源进行采集、标引，并根据用户检索要求进行查找的软件。搜索引擎按其工作方式主要可分为三种，分别是全文搜索引擎(Full Text Search Engine)、目录索引类搜索引擎(Search Index/Directory)和元搜索引擎(Meta Search Engine)。
1.1 全文搜索引擎
全文搜索引擎是名副其实的搜索引擎，国外具代表性的有Google、Fast/All The Web、AltaVista、Inktomi、Teoma、WiseNut等，国内著名的有百度(Baidu)。它们都是通过从互联网上提取的各个网站的信息(以网页文字为主)而建立的数据库，检索与用户查询条件匹配的相关记录，然后按一定的排列顺序将结果返回给用户，因此他们是真正的搜索引擎。
从搜索结果来源的角度，全文搜索引擎又可细分为两种，一种是拥有自己的检索程序(Indexer)，俗称“蜘蛛”(Spider)程序或“机器人”(Robot)程序，并自建网页数据库，搜索结果直接从自身的数据库中调用，如上面提到的7家引擎；另一种则是租用其他引擎的数据库，并按自定的格式排列搜索结果，如Lycos引擎。
1.2 目录索引
目录索引虽然有搜索功能，但在严格意义上算不上是真正的搜索引擎，仅仅是按目录分类的网站链接列表而已。用户完全可以不用进行关键词(Key words)查询，仅靠分类目录也可找到需要的信息。目录索引中最具代表性的莫过于大名鼎鼎的Yahoo雅虎。其他著名的还有Open Directory Project(DMOZ)、LookSmart、About等。国内的搜狐、新浪、网易搜索也都属于这一类。
1.3 元搜索引擎
元搜索引擎在接受用户查询请求时，同时在其他多个引擎上进行搜索，并将结果返回给用户。著名的元搜索引擎有InfoSpace、Dogpile、Vivisimo等，中文元搜索引擎中具代表性的有“搜星搜索”引擎。在搜索结果排列方面，有的直接按来源引擎排列搜索结果，如Dogpile，有的则按自定的规则将结果重新排列组合，如Vivisimo。
2 搜索引擎的工作原理
一个搜索引擎由搜索器、索引器、检索器和用户接口等四个部分组成。
2.1 搜索器
搜索器的功能是在互联网中漫游，发现和搜集信息。它常常是一个计算机程序，日夜不停地运行。它要尽可能多、尽可能快地搜集各种类型的新信息，同时因为互联网上的信息更新很快，所以还要定期更新已经搜集过的旧信息，以避免死连接和无效连接。目前有两种搜集信息的策略：
从一个起始URL集合开始，顺着这些URL中的超链(Hyperlink)，以宽度优先、深度优先或启发式方式循环地在互联网中发现信息。这些起始URL可以是任意的URL，但常常是一些非常流行、包含很多链接的站点(如Yahoo！)；将Web空间按照域名、IP地址或国家域名划分，每个搜索器负责一个子空间的穷尽搜索。
搜索器搜集的信息类型多种多样，包括HTML、XML、Newsgroup文章、FTP文件、字处理文档、多媒体信息。搜索器的实现常常用分布式、并行计算技术，以提高信息发现和更新的速度。商业搜索引擎的信息发现可以达到每天几百万网页。
2.2 索引器
索引器的功能是理解搜索器所搜索的信息，从中抽取出索引项，用于表示文档以及生成文档库的索引表。索引项有客观索引项和内容索引项两种：客观项与文档的语意内容无关，如作者名、URL、更新时间、编码、长度、链接流行度(Link Popularity)等等；内容索引项是用来反映文档内容的，如关键词及其权重、短语、单字等等。内容索引项可以分为单索引项和多索引项(或称短语索引项)两种。单索引项对于英文来讲是英语单词，比较容易提取，因为单词之间有天然的分隔符(空格)；对于中文等连续书写的语言，必须进行词语的切分。
在搜索引擎中，一般要给单索引项赋予一个权值，以表示该索引项对文档的区分度，同时用来计算查询结果的相关度。使用的方法一般有统计法、信息论法和概率法。短语索引项的提取方法有统计法、概率法和语言学法。
索引表一般使用某种形式的倒排表(Inversion List)，即由索引项查找相应的文档。索引表也可能要记录索引项在文档中出现的位置，以便检索器计算索引项之间的相邻或接近关系(proximity)。
索引器可以使用集中式索引算法或分布式索引算法。当数据量很大时，必须实现即时索引(Instant Indexing)，否则不能够跟上信息量急剧增加的速度。索引算法对索引器的性能(如大规模峰值查询时的响应速度)有很大的影响。一个搜索引擎的有效性在很大程度上取决于索引的质量。
2.3 检索器
检索器的功能是根据用户的查询在索引库中快速检出文档，进行文档与查询的相关度评价，对将要输出的结果进行排序，并实现某种用户相关性反馈机制。检索器常用的信息检索模型有集合理论模型、代数模型、概率模型和混合模型四种。
2.4 用户接口
用户接口的作用是输入用户查询、显示查询结果、提供用户相关性反馈机制。主要的目的是方便用户使用搜索引擎，高效率、多方式地从搜索引擎中得到有效、及时的信息。用户接口的设计和实现使用人机交互的理论和方法，以充分适应人类的思维习惯。
用户输入接口可以分为简单接口和复杂接口两种。简单接口只提供用户输入查询串的文本框；复杂接口可以让用户对查询进行限制，如逻辑运算(与、或、非)、相近关系(相邻、NEAR)、域名范围(如edu、.com)、出现位置(如标题、内容)、信息时间、长度等等。目前一些公司和机构正在考虑制定查询选项的标准。
与全文搜索引擎相比，目录索引则完全依赖手工操作。用户提交网站后，目录编辑人员会亲自浏览你的网站，然后根据一套自定的评判标准甚至编辑人员的主观印象，决定是否接纳你的网站。
目前，搜索引擎与目录索引有相互融合渗透的趋势。原来一些纯粹的全文搜索引擎现在也提供目录搜索，如Google就借用Open Directory目录提供分类查询。而像 Yahoo! 这些老牌目录索引则通过与Google等搜索引擎合作扩大搜索范围。在默认搜索模式下，一些目录类搜索引擎首先返回的是自己目录中匹配的网站，如国内搜狐、新浪、网易等；而另外一些则默认的是网页搜索，如Yahoo。
3 搜索引擎的使用
搜索引擎有两种使用方法：目录导航检索和关键词检索。
3.1 目录导航检索
目录导航检索是按照信息所属的类别层层点击查找信息，只要遵循一定的查询规律(与图书馆的图书分类法类似)，就能很快找到你需要的所有网站信息。用目录导航检索时最关键的是要考虑清楚想要查找的信息属于哪个类别。拿搜狐来说，比如查找“计算机杀毒软件”，首先浏览十八大类，看到“计算机与互联网”类目，应当是属于这个类目，点击进入下面有“软件”，点击“软件”进入下面有“病毒与安全”，再点击“病毒与安全”进入下面有“杀病毒软件”，最后点击进入“杀病毒软件”就会找到许多有关杀病毒软件的网站。
3.2 关键词检索
关键词检索就在检索框内输入关键词进行搜索，搜索结果会按相关度进行排列。多个关键词之间要用啊and(或“+”、空格)、 or (或“|”)、not(或“-”)连接，短语则要用引号引起来。此外有些搜索引擎还支持标题搜索(:title)、网站搜索(:site)、链接搜索(:link)文件类型(:filetype)、限定时间范围(:daterange)、查询电话(:phonebook)等一些特殊命令。
4 搜索引擎的缺陷与不足
由于网络信息具有多面杂、范围广、不稳定等特点，因此，想对其进行有效的采集、标引以及检索是非常困难的。所以，目前搜索引擎都存在或多或少的不足，这些不足主要表现在以下4个方面：
各独立搜索引擎的后台数据库收集的Web页面大而不足，严重影响检全率；基于关键词检索的搜索引擎误检率太高，信息噪音太大。由于汉语的特殊性，中文在切词方面还存在缺陷，以及汉语中的人名、地名、兼类词等很容易引起歧义理解，所以搜索引擎检索到的无用信息远远多于有用信息；基于分类目录的搜索引擎的分类目录编排不统一，其分类体系逻辑层次存在问题；基于关键词的搜索引擎返回给用户的结果不一定按相关程度进行排序。目前Google等搜索引擎采用PageRank算法，取得了一定效果。但对于一些新的、被链接较少的、故意增加本身PageRank值的网页，其排序结果不能令人满意。
5 搜索引擎的发展及未来
搜索引擎已成为一个新的研究、开发领域。因为它要用到信息检索、人工智能、计算机网络、分布式处理、数据库、数据挖掘、数字图书馆、自然语言处理等多领域的理论和技术，所以具有综合性和挑战性。又由于搜索引擎有大量的用户，有很好的经济价值，所以引起了世界各国计算机科学界和信息产业界的高度关注，目前的研究、开发十分活跃，并出现了很多值得注意的动向。
5.1 十分注意提高信息查询结果的精度，提高检索的有效性
用户在搜索引擎上进行信息查询时，并不十分关注返回结果的多少，而是看结果是否和自己的需求吻合。对于一个查询，传统的搜索引擎动辄返回几十万、几百万篇文档，用户不得不在结果中筛选。解决查询结果过多的现象目前出现了几种方法：一是通过各种方法获得用户没有在查询语句中表达出来的真正用途，包括使用智能代理跟踪用户检索行为，分析用户模型；使用相关度反馈机制，使用户告诉搜索引擎哪些文档和自己的需求相关(及其相关的程度)，哪些不相关，通过多次交互逐步求精。二是用正文分类(Text Categorization)技术将结果分类，使用可视化技术显示分类结构，用户可以只浏览自己感兴趣的类别。三是进行站点类聚或内容类聚，减少信息的总量。
5.2 基于智能代理的信息过滤和个性化服务
信息智能代理是另外一种利用互联网信息的机制。它使用自动获得的领域模型(如Web知识、信息处理、与用户兴趣相关的信息资源、领域组织结构)、用户模型(如用户背景、兴趣、行为、风格)知识进行信息搜集、索引、过滤(包括兴趣过滤和不良信息过滤)，并自动地将用户感兴趣的、对用户有用的信息提交给用户。智能代理具有不断学习、适应信息和用户兴趣动态变化的能力，从而歪供个性化的服务。智能代理可以在用户端进行，也可以在服务器端运行。
5.3 采用分布式体系结构提高系统规模和性能
搜索引擎的实现可以采用集中式体系结构和分布式体系结构，两种方法各有千秋。但当系统规模到达一定程度(如网页数达到亿级)时，必然要采用某种分布式方法，以提高系统性能。搜索引擎的各个组成部分，除了用户接口之外，都可以进行分布；搜索器可以在多台机器上相互合作、相互分工进行信息发现，以提高信息发现和更新速度；索引器可以将索引分布在不同的机器上，以减小索引对机器的要求；检索器可以在不同的机器上进行文档的并行检索，以提高检索的速度和性能。
5.4 重视交叉语言检索的研究和开发
交叉语言信息检索是指用户用母语提交查询，搜索引擎在多种语言的数据库中进行信息检索，返回能够回答用户问题的所有语言的文档。如再加上机器翻译，返回结果可以用母语显示。该技术目前还处于初步研究阶段，主要的困难在于语言之间，表达方式和语义对应上的不确定性。但对于经济全球化、互联网跨越国界的今天，无疑具有很重要的意义。
［参考文献］
［1］ 夏祖奇.基于分类目录的元搜索引擎的提出与实现.情报学报,2003,(4).
［2］ 徐海燕.互联网信息组织与检索初探.图书馆建设,2003,(4).
［3］ http://www.se-express.com/
［4］ http://www.sowang.com/
［5］ http://www.baidu.com
［6］ http://www.google.com
［7］ HYPERLINK “http://www.sohu.com” http://www.sohu.com
