时间：2017-03-27 访问量：0
Apache Nutch 属性
软件大小：7.10M 软件语言：中文 软件类型：国产软件 软件类别：免费软件 / 编程工具 更新时间：2017-03-27 15:12 运行环境：WinAll, WinXP, Win7 软件等级： 软件厂商： 官方网站：暂无Apache Nutch 软件介绍
软件标签: ApacheNutch 编程工具Apache Nutch是一款用于java编程工具的搜索引擎软件，快速完成java数据编程，智能检索java资源便捷使用。快来绿色资源网下载体验吧！
软件介绍
Nutch是一个开源Java 实现的搜索引擎。它提供了我们运行自己的搜索引擎所需的全部工具。包括全文搜索和Web爬虫。Nutch诞生于2002年8月，是Apache旗下的一个用Java实现的开源搜索引擎项目，自Nutch1.2版本之后，Nutch已经从搜索引擎演化为网络爬虫，接着Nutch进一步演化为两大分支版本：1.X和2.X，这两大分支最大的区别在于2.X对底层的数据存储进行了抽象以支持各种底层存储技术。Nutch 致力于让每个人能很容易, 同时花费很少就可以配置世界一流的Web搜索引擎.
使用原理
在创建一个WebDB之后(步骤1), “产生/抓取/更新”循环(步骤3－6)根据一些种子URLs开始启动。当这个循环彻底结束，Crawler根据抓取中生成的segments创建索引（步骤7－10）。在进行重复URLs清除（步骤9）之前，每个segment的索引都是独立的（步骤8）。最终，各个独立的segment索引被合并为一个最终的索引index（步骤10）。
其中有一个细节问题，Dedup操作主要用于清除segment索引中的重复URLs，但是我们知道，在WebDB中是不允许重复的URL存在的，那么为什么这里还要进行清除呢？原因在于抓取的更新。比方说一个月之前你抓取过这些网页，一个月后为了更新进行了重新抓取，那么旧的segment在没有删除之前仍然起作用，这个时候就需要在新旧segment之间进行除重。
下载地址
⚠温馨提示⚠：资源来自于网络,仅供交流学习及信息展示之用,下载后请在24小时之内删除!如有侵犯您的权益，请联系我们删除。
上一篇：udk3引擎
下一篇：masm5.0 64位