资源大小: 2.42MB
发布时间: 2009-11-07
文件格式: rar
下载次数: 0
分享到:

下载地址:

下载地址1
(本站为飞网专业下载站,域名:down.cfei.net)

资源简介:

1.CSpider文件夹下是我开始编写前参考的开源代码,结构比较清晰。单线程2.任务概述是我这次写spider的过程的描述,我做这次spider的目的是完成一项课程设计。3.整个spider的开发过程为增量式,从最开始的单页搜索url到最后的多线程spider,这在版本规划中又很明显的体现。每个版本都有自己的readme,其中详细叙述了各个版本的不同4.由于是初学者,我在每个版本中都是边写边测试,以查找爬虫的bug,所以代码中有很多被注释的段落可能是测试使用。5.具体版本信息查看各自的readme另外,爬虫不止提取了url,同时提取了相应的锚文本。这个提取过程导致了爬虫速度的下降,但也是一个必须的开销


飞网下载站,免费下载共享资料,内容涉及教育资源、专业资料、IT资源、娱乐生活、经济管理、办公文书、游戏资料等。