搜索引擎网站收录提交入口

        我们都知道互联网的最基本元素是网页，各个网页之间有链接就形成了一个巨大的网络，蜘蛛这个程序会从一个起点出发无限次的打开链接把所打开的网页保存到本地服务器，然后再无限次的打开网页，这样的程序我们称为网络爬虫程序，俗称蜘蛛。

        其实写一个蜘蛛程序是很简单的，在我所熟知的任何一门语言里，从打开链接到请求到返回的html数据加起来的代码基本都不会超过十行，但是这里面有一些逻辑性问题，比如一些网站里的导出链接，这些都要在蜘蛛端分析抓取，因为蜘蛛在定向抓取的时候会先以网站为基本单位，等本网站的网页都抓取完毕之后再打开所连接的外部网页进行抓取，所以说蜘蛛在碰到外部连接的时候会把一些信息存储到本地数据库中，以便处理完网站信息之后再进行下个单元的抓取，还有通过这个信息计算网站权重。

         循环开始

         打开连接-->抓取数据-->提取连接-->存储

         循环结束