所謂搜索引擎的工作原理，就是指它工作的一個流程，比如剛開始做什么，接著做什么，最后做什么。在這個流程里，最先做的就是爬行與抓取。下面就是詳細(xì)介紹一下關(guān)于這方面的知識。

1、蜘蛛：BaiduSpider SosoSpider Googlebot

什么叫蜘蛛呢？我們都知道，互聯(lián)網(wǎng)上的信息非常龐雜，這些信息基本是以站點(diǎn)的方式比如虛擬主機(jī)、空間、服務(wù)器等等來存放的。把每個服務(wù)器當(dāng)做一個點(diǎn)，點(diǎn)與點(diǎn)之間通過網(wǎng)線連接，錯綜復(fù)雜，有點(diǎn)蜘蛛織的網(wǎng)的感覺，搜索引擎的程序在這個網(wǎng)之間來回爬行，所以形象的把搜索引擎的程序稱之為蜘蛛。

2、跟蹤鏈接：深度優(yōu)先，廣度優(yōu)先

蜘蛛在網(wǎng)之間是怎么爬行的呢？有兩個原則，一個是深度優(yōu)先原則，一個是廣度優(yōu)先原則。深度優(yōu)先怎么理解呢？就比如說爬完A，A里面有個B，就繼續(xù)跟著B爬行，B里面有個C，就再跟著C爬行，以此類推。廣度優(yōu)先呢？指的是A里面有B、C、D，先把B、C、D爬完，再去爬B里面的D、E、F，然后再爬C里面的，再爬D里面的。

3、吸引蜘蛛：網(wǎng)站或頁面權(quán)重，頁面更新率，導(dǎo)入鏈接數(shù)，與首頁距離

因?yàn)榛ヂ?lián)網(wǎng)的信息太龐雜了，只靠幾個搜索引擎的爬行程序是遠(yuǎn)遠(yuǎn)不夠的，所以就需要主動的對搜索引擎的爬行程序示好，讓它來爬我們的網(wǎng)站?？梢酝ㄟ^四個方面來吸引蜘蛛，網(wǎng)站或頁面的權(quán)重越大，越可以吸引蜘蛛；頁面更新率越高，越能吸引蜘蛛；導(dǎo)入鏈接數(shù)越多，越能吸引蜘蛛；與首頁的深度距離越短，越能吸引蜘蛛。

4、地址庫：為了避免重復(fù)爬行

比如今天要爬一萬個鏈接，就可以把這一萬個鏈接放進(jìn)地址庫里，爬完一個刪除一個，可以很好的避免重復(fù)爬行。

5、文件存儲

把網(wǎng)頁爬完以后，放在哪里呢？可以把這些網(wǎng)頁放在一個文件里，把它存儲起來。

6、爬行簡單的內(nèi)容處理：蜘蛛來了不一定收錄

蜘蛛雖然不是人，它沒有思想，但它畢竟是人設(shè)計出來的，所以它不會機(jī)械的亂爬，也要看情況。比如雖然你的網(wǎng)站更新的很頻繁，但是內(nèi)容都是復(fù)制粘貼的，重復(fù)率比較高，質(zhì)量比較低，或者說雖然你的導(dǎo)入鏈接數(shù)比較多，但都是一些垃圾鏈接，這種情況的話蜘蛛來了就會走了，不會收錄。所以蜘蛛不會亂爬，它也會做個簡單的判斷。