根据抓取过程蜘蛛主要分为三个功能模块： 1、网页读取模块  主要是用来读取远程Web服务器上的网页内容。 2、超链分析模块  这个模块主要是分析网页中的超链接，将网页上的所有超链接提取出来，放入到待抓取URL列表中， 3、内容分析模块    这个模块主要是对网页内容进行分析，将网页中所有超标志去掉只留下网页文字内容。 蜘蛛的主要工作流程如下图所示： WWW数据库存储网页数据网页读取模块读取URL网页内容分析模块URL

"网络机器人"其实是一个网络应用，使用HTTP。如果互联网的浩瀚是一只巨大的蜘蛛网，这就是蜘蛛可以在网上爬来爬去。网络上的蜘蛛查看页面，阅读页面内容，在网络上存储更多地址，然后搜索它会一直运行下去直到它从网站上删除所有网页。蜘蛛搜索也不例外基本上，搜索引擎有如下功能:在网上发现和收集网页信息;建立和组织一个信息数据库;搜索引擎可以使用用户输入的搜索名快速搜索文档，然后将搜索结果反馈给用户。要在互联网上搜集信息，或在网上搜集信息，我们就需要一个提供最好的信息的“蜘蛛网程序”，这