最近一直在研究爬虫和Lucene，虽然开始决定选用Heritrix来执行爬虫操作，但是后来发现用它来做还是存在一定的问题，比如需要程序生成相应的XML文件，对于同一个Job，怎样才能保证重复运行该Job时文件夹始终是同一个（Heritrix为Job创建文件夹的规则是“Job名称-时间戳”）等等，都是需要考虑的问题，最终还是将其搁浅。 　　 后来google了一下，找到了一个简单爬虫的程序代码

网络信息检索 网络爬虫 倒排索引建立 C# 实现 两个程序 以及实验报告 绝对可以执行

用eclipse和hadoop0.19.2实现的分布式爬虫

LINUX下的网络爬虫。larbin应当是一个被广大搜索引擎爱好者应当引起注意的一个产品，虽然其功能逐渐被 Nutch 所接受和替代，但是其在爬虫上的优美设计的确值得称道。

红外遥控六足爬虫机器人设计红外遥控六足爬虫机器人设计

这是一个居于多线程的网络爬虫的设计与实现，实现语言为Java。

面向对象的搜索引擎的网络爬虫程序 由于Web海量的信息处于不断的变化中，搜索引擎己经很难再为用户提供一个高质量的、全面并且更新及时的信息搜索服务，其局限性在于它试图索引全部Web信息并服务于所有主题的查询请求。相比之下，面向主题的搜索引擎只覆盖与特定主题相关的Web区域，这样它搜索的内容可以更深，搜索的周期可以更短，因此能满足用户对快速、准确的获取信息资源的要求。 本文首先介绍了面向主题

网络爬虫之Java版.rar网络爬虫之Java版.rar网络爬虫之Java版.rar网络爬虫之Java版.rar

基于表单爬虫的Web 漏洞探测基于表单爬虫的Web 漏洞探测

网络爬虫源码网络爬虫源码网络爬虫源码网络爬虫源码网络爬虫源码网络爬虫源码网络爬虫源码网络爬虫源码网络爬虫源码