我們在做網站優化的時候，經常聽有朋友說。網站做的好，有利于蜘蛛爬，有利于好的排名。那到底什么是搜索引擎的蜘蛛，又叫爬蟲呢。

  合肥網站建設今天就和大家說說GOOGLE的搜索引擎機器人對叫蜘蛛。google機器人是Google 的web 抓取漫游器。它從web上收集文檔，為Google搜索引擎建立可搜索的索引。 Googlebot是google的機器人的意思，俗稱google爬蟲

   把火狐偽裝成爬蟲有什么好處呢？對經常光顧verycd的朋友們非常有用。可以免登錄看貼。首先我們用火狐測試一下：打開這里是不是要求你登錄？

   繼續，設置方法，打開火狐，Ctrl+T新建一個瀏覽標簽，輸入：about:config，打開配置頁面，右鍵點擊頁面選擇“新建→字符串”，在彈出的窗口中輸入：general.useragent.override，確定之后，輸入：Googlebot/2.1 (+http://www.googlebot.com/bot.html)，繼續確定，關閉窗口。

   首先要介紹的是Google的"crawl caching proxy"（爬行緩存代理）。Matt舉了一個ISP與用戶的例子來說明它。用戶上網時，總是先通過ISP獲取網頁內容，然后ISP就會把用戶訪問過的網頁緩存起來備用。比如說，當用戶A訪問了www.seo39.com，那么中國電信（或網通等）就會把"幻滅的麥克風"發送給用戶A，然后將"幻滅的麥克風"緩存起來，當用戶B在下一秒鐘里再訪問www.seo39.com，那么中國電信就會把緩存里的"幻滅的麥克風"發送給用戶B，這樣就能節省了帶寬。 
   Google最新的軟件層面的升級（轉移至BigDaddy）已經接近完成，因此升級后的Google各方面的能力都將得到加強。這些加強包括了更智能化的googlebot爬行、改良的規范性以及更好的收錄網頁能力。而在Googlebot爬行抓取網頁方面，Google也采取了節省帶寬的方法。Googlebot也隨著BigDaddy的升級而得到了升級。新的Googlebot已經正式支持了gzip編碼，所以如果你的網站開啟了gzip編碼功能，那么就能節省Googlebot爬行你的網頁時所占的帶寬。