楼(lou)上说的(de)很(hen)多，我补充一(yi)下(xia)，正(zheng)确的应该叫网络蜘(zhi)蛛，又(you)称爬虫，本(ben)质是搜索引(yin)擎(qing)派出(chu)的一个(ge)执行抓取任务的程序(xu)蜘蛛池的(de)本质是大量的(de)网站互相链(lian)接(jie)，每(mei)个站单独产生大量的内(nei)容吸引(yin)蜘(zhi)蛛来(lai)爬，几千个网站(zhan)互链时，可以(yi)想象蜘蛛的链接