第一種是集中式網絡蜘蛛

集中式網絡蜘蛛的工作原理是:首先通過初始設定的種子URL爬取其所對應的Web頁面,通過蜘蛛的解析模塊從Web頁面中提取內容以及新的URL鏈接,保存新獲取的URL鏈接到指定URL集合中,以進行后續(xù)抓取任務。其突出特點是運行在某臺主機之上,從而開始訪問互聯網進行網頁抓取任務。早期實現的網絡蜘蛛大多采用這種工作方式,但是如今,隨著互聯網規(guī)模的急劇膨脹,集中式的網絡蜘蛛往往受限于軟硬件資源的限制,其釆集效率往往難以滿足業(yè)務的需求。

 

第二是分布式網絡蜘蛛

分布式網絡蜘蛛的工作運行原理實際上可以看作是多個集中式蜘蛛的協同合作,進而彌補了集中式網絡蜘蛛所存在的缺陷。分布式網絡蜘蛛包含多個子網絡蜘蛛,其分布性體現在這些蜘蛛可以分布在不同的地理位置,每個子蜘蛛在執(zhí)行抓取任務的過程中與單個集中式蜘蛛基本一致,同樣是從互聯網上下載Web頁面,并將網頁數據保存到本地文件系統(tǒng)中,從頁面中解析出新的URL,并按照這些URL的指向繼續(xù)爬行,從而不斷抓取頁面。分布式蜘蛛需要額外處理的是分割下載任務,并將分割的下載任務分配給各個子蜘蛛執(zhí)行,然后控制不同爬行器之間的數據交換,協調各個子蜘蛛的抓取進度。