第一種是集中式網(wǎng)絡(luò)蜘蛛

集中式網(wǎng)絡(luò)蜘蛛的工作原理是:首先通過(guò)初始設(shè)定的種子URL爬取其所對(duì)應(yīng)的Web頁(yè)面,通過(guò)蜘蛛的解析模塊從Web頁(yè)面中提取內(nèi)容以及新的URL鏈接,保存新獲取的URL鏈接到指定URL集合中,以進(jìn)行后續(xù)抓取任務(wù)。其突出特點(diǎn)是運(yùn)行在某臺(tái)主機(jī)之上,從而開(kāi)始訪問(wèn)互聯(lián)網(wǎng)進(jìn)行網(wǎng)頁(yè)抓取任務(wù)。早期實(shí)現(xiàn)的網(wǎng)絡(luò)蜘蛛大多采用這種工作方式,但是如今,隨著互聯(lián)網(wǎng)規(guī)模的急劇膨脹,集中式的網(wǎng)絡(luò)蜘蛛往往受限于軟硬件資源的限制,其釆集效率往往難以滿(mǎn)足業(yè)務(wù)的需求。

 

第二是分布式網(wǎng)絡(luò)蜘蛛

分布式網(wǎng)絡(luò)蜘蛛的工作運(yùn)行原理實(shí)際上可以看作是多個(gè)集中式蜘蛛的協(xié)同合作,進(jìn)而彌補(bǔ)了集中式網(wǎng)絡(luò)蜘蛛所存在的缺陷。分布式網(wǎng)絡(luò)蜘蛛包含多個(gè)子網(wǎng)絡(luò)蜘蛛,其分布性體現(xiàn)在這些蜘蛛可以分布在不同的地理位置,每個(gè)子蜘蛛在執(zhí)行抓取任務(wù)的過(guò)程中與單個(gè)集中式蜘蛛基本一致,同樣是從互聯(lián)網(wǎng)上下載Web頁(yè)面,并將網(wǎng)頁(yè)數(shù)據(jù)保存到本地文件系統(tǒng)中,從頁(yè)面中解析出新的URL,并按照這些URL的指向繼續(xù)爬行,從而不斷抓取頁(yè)面。分布式蜘蛛需要額外處理的是分割下載任務(wù),并將分割的下載任務(wù)分配給各個(gè)子蜘蛛執(zhí)行,然后控制不同爬行器之間的數(shù)據(jù)交換,協(xié)調(diào)各個(gè)子蜘蛛的抓取進(jìn)度。