资源大小: 639KB
发布时间: 2009-09-01
文件格式: zip
下载次数: 4
分享到:

下载地址:

下载地址1
(本站为飞网专业下载站,域名:down.cfei.net)

资源简介:

网啦搜索引擎系统由四个子系统构成,分别是:网页抓取子系统、数据搬运子系统、WEB搜索子系统、数据库引擎。• 网页抓取子系统:英文名Spider,用于抓取互联网上的网页,编码并存放到本地磁盘缓冲中。本子系统运行在多线程模式下,根据服务器性能,一次可以开启多达2000个线程(默认推荐10个),一个线程执行一个单独的抓取任务,多个线程就相当于多个抓取任务同时运行,大大提高抓取网页的效率。• 数据搬运子系统:英文名Carrier,把本地磁盘缓冲中存放的网页一次性加入到数据库中。本子系统通过BCP把所有网页批量存入数据库,根据实际测试,其执行效率是数据库插入操作的十倍,大大节省操作时间,并且大大降低数据库负荷。• WEB搜索子系统:英文名WEB Search Engine,用于全文检索数据库中的数据,检索速度快,数据库负荷小,支持多用户并发检索。• 数据库引擎:本部分由一个Sql Server 2008数据库系统


飞网下载站,免费下载共享资料,内容涉及教育资源、专业资料、IT资源、娱乐生活、经济管理、办公文书、游戏资料等。