什么是 Googlebot？Google 的網(wǎng)頁(yè)抓取機(jī)器人
Googlebot 是 Google 的網(wǎng)頁(yè)抓取機(jī)器人（有時(shí)稱(chēng)為"信息采集軟件"）。抓取是 Googlebot 發(fā)現(xiàn)新網(wǎng)頁(yè)和更新的網(wǎng)頁(yè)以將這些網(wǎng)頁(yè)添加到 Google 索引中的過(guò)程。
我們使用許多計(jì)算機(jī)來(lái)提取（或"抓取"）網(wǎng)站上的大量網(wǎng)頁(yè)。Googlebot 使用算法確定抓取過(guò)程：計(jì)算機(jī)程序確定要抓取的網(wǎng)站、抓取頻率以及從每個(gè)網(wǎng)站抓取的網(wǎng)頁(yè)數(shù)量。
進(jìn)行抓取時(shí)，Googlebot 會(huì)先查看以前的抓取過(guò)程所生成的一系列網(wǎng)頁(yè)網(wǎng)址，包含網(wǎng)站站長(zhǎng)提供的站點(diǎn)地圖數(shù)據(jù)。Googlebot 在訪(fǎng)問(wèn)其中的每個(gè)網(wǎng)站時(shí)，會(huì)檢測(cè)各網(wǎng)頁(yè)上的鏈接（SRC 和 HREF），并將這些鏈接添加到要抓取的網(wǎng)頁(yè)列表。它會(huì)記錄新出現(xiàn)的網(wǎng)站、現(xiàn)有網(wǎng)站的更新以及無(wú)效鏈接，并據(jù)此更新 Google 索引。
致語(yǔ)網(wǎng)站站長(zhǎng)：Googlebot 和您的網(wǎng)站
Googlebot 如何訪(fǎng)問(wèn)您的網(wǎng)站
Googlebot 對(duì)大多數(shù)網(wǎng)站的平均訪(fǎng)問(wèn)頻率為幾秒鐘一次。但是，如果網(wǎng)絡(luò)有延遲，則訪(fǎng)問(wèn)頻率可能會(huì)在短時(shí)間內(nèi)有所提高。一般來(lái)說(shuō)，Googlebot 每次只會(huì)下載各網(wǎng)頁(yè)的一份副本。如果您發(fā)現(xiàn) Googlebot 多次下載同一網(wǎng)頁(yè)，可能是因?yàn)樽ト」ぞ咄Ｖ购笥种匦聠?dòng)所致。
我們將 Googlebot 分布在多臺(tái)計(jì)算機(jī)上，以便提高性能并隨著網(wǎng)絡(luò)規(guī)模的擴(kuò)大而擴(kuò)大。此外，為了降低帶寬占用，我們會(huì)在幾臺(tái)計(jì)算機(jī)上運(yùn)行多個(gè)抓取工具，而這些計(jì)算機(jī)通常位于他們正在網(wǎng)絡(luò)中編制索引的網(wǎng)站附近。因此，您的日志可能會(huì)顯示來(lái)自 google.com 上的多臺(tái)計(jì)算機(jī)的訪(fǎng)問(wèn)記錄，而且所有計(jì)算機(jī)使用的都是用戶(hù)代理 Googlebot。我們的目標(biāo)是：每次訪(fǎng)問(wèn)您的網(wǎng)站時(shí)，以您服務(wù)器的帶寬所允許的速度盡可能多地抓取網(wǎng)頁(yè)。請(qǐng)求更改抓取速度。
阻止 Googlebot 抓取您網(wǎng)站上的內(nèi)容
對(duì)于網(wǎng)絡(luò)服務(wù)器，要想通過(guò)不發(fā)布指向它的鏈接的方式來(lái)達(dá)到保密目的幾乎是不可能的。只要有人通過(guò)您"私密"服務(wù)器上的鏈接訪(fǎng)問(wèn)其他網(wǎng)絡(luò)服務(wù)器，您的"私密"網(wǎng)址就會(huì)出現(xiàn)在引用頁(yè)標(biāo)簽中，而其他網(wǎng)絡(luò)服務(wù)器也會(huì)存儲(chǔ)這些網(wǎng)址并將其發(fā)布在自己的引用頁(yè)日志中。同樣，網(wǎng)絡(luò)中包含許多過(guò)期和已損壞的鏈接。只要有人發(fā)布了指向您網(wǎng)站的不正確鏈接，或未能成功更新鏈接以反映您服務(wù)器的更改，Googlebot 就會(huì)嘗試從您的網(wǎng)站下載不正確的鏈接。
如果要阻止 Googlebot 抓取您網(wǎng)站上的內(nèi)容，您可以選擇使用多種方法，包括使用 robots.txt 阻止其訪(fǎng)問(wèn)您服務(wù)器上的文件和目錄。
您創(chuàng)建完 robots.txt 文件后，Googlebot 可能需要一段時(shí)間才能發(fā)現(xiàn)您的更改。如果 Googlebot 仍繼續(xù)抓取您在 robots.txt 文件中阻止的內(nèi)容，請(qǐng)檢查 robots.txt 文件的位置是否正確。該文件必須位于服務(wù)器的頂層目錄（例如：www.ygzc.net.cn/robots.txt）中；如果位于子目錄，則不會(huì)產(chǎn)生任何效果。
如果您只想阻止網(wǎng)絡(luò)服務(wù)器日志顯示"未找到文件"這樣一種錯(cuò)誤訊息，則可以創(chuàng)建名為 robots.txt 的空文件。如果您想阻止 Googlebot 跟蹤您網(wǎng)站上某網(wǎng)頁(yè)中的任何鏈接，則可以使用 nofollow 元標(biāo)記。要阻止 Googlebot 跟蹤某個(gè)鏈接，請(qǐng)?jiān)谠撴溄又刑砑?rel="nofollow" 屬性。
下面提供了更多相關(guān)提示：
- 測(cè)試 robots.txt 是否按照預(yù)期方式工作。使用網(wǎng)站站長(zhǎng)工具中的"測(cè)試 robots.txt"工具，您可以親眼看看 Googlebot 究竟是如何解析 robots.txt 文件中的內(nèi)容的。Google 用戶(hù)代理為
Googlebot，這再合適不過(guò)了。 - 使用網(wǎng)站站長(zhǎng)工具中的"Googlebot 抓取方式"工具，您可以了解 Googlebot 看到的網(wǎng)站究竟是什么樣子。對(duì)網(wǎng)站內(nèi)容或網(wǎng)站在搜索結(jié)果中的出現(xiàn)率進(jìn)行問(wèn)題排查時(shí)，此工具非常有用。
確保您的網(wǎng)站可被抓取
Googlebot 通過(guò)跟蹤指向網(wǎng)頁(yè)的各種鏈接抓取網(wǎng)站。在網(wǎng)站站長(zhǎng)工具的抓取錯(cuò)誤頁(yè)中，會(huì)列出 Googlebot 抓取您的網(wǎng)站時(shí)所發(fā)現(xiàn)的全部問(wèn)題。我們建議您定期查看這些抓取錯(cuò)誤，以識(shí)別您網(wǎng)站上出現(xiàn)的所有問(wèn)題。