很多天水SEO新手對于robots協(xié)議的了解還不是很到位，還有一些天水SEO或站長甚至不知道robots協(xié)議是什么東東。下面就隨天水網(wǎng)站優(yōu)化小編一起來了解什么是ROBOTS協(xié)議，Robots協(xié)議對網(wǎng)站SEO優(yōu)化排名的作用有哪些。

　　Robots協(xié)議也稱為爬蟲協(xié)議、爬蟲規(guī)則、機器人協(xié)議，是網(wǎng)站國際互聯(lián)網(wǎng)界通行的道德規(guī)范,其目的是保護網(wǎng)站數(shù)據(jù)和敏感信息、確保用戶個人信息和隱私不被侵犯?！耙?guī)則”中將搜索引擎抓取網(wǎng)站內(nèi)容的范圍做了約定,包括網(wǎng)站是否希望被搜索引擎抓取,哪些內(nèi)容不允許被抓取,而網(wǎng)絡(luò)爬蟲可以據(jù)此自動抓取或者不抓取該網(wǎng)頁內(nèi)容。如果將網(wǎng)站視為酒店里的一個房間,robots.txt就是主人在房間門口懸掛的“請勿打擾”或“歡迎打掃”的提示牌。這個文件告訴來訪的搜索引擎哪些房間可以進入和參觀,哪些不對搜索引擎開放。

　　robots.txt(統(tǒng)一小寫)是一種存放于網(wǎng)站根目錄下的ASCII編碼的文本文件，它通常告訴網(wǎng)絡(luò)搜索引擎的漫游器(又稱網(wǎng)絡(luò)蜘蛛)，此網(wǎng)站中的哪些內(nèi)容是不應(yīng)被搜索引擎的漫游器獲取的，哪些是可以被漫游器獲取的。因為一些系統(tǒng)中的URL是大小寫敏感的，所以robots.txt的文件名應(yīng)統(tǒng)一為小寫。robots.txt應(yīng)放置于網(wǎng)站的根目錄下。如果想單獨定義搜索引擎的漫游器訪問子目錄時的行為，那么可以將自定的設(shè)置合并到根目錄下的robots.txt，或者使用robots元數(shù)據(jù)。

　　下面我們就具體談?wù)剅obots協(xié)議對網(wǎng)站SEO優(yōu)化排名的影響和作用，其好處主要表現(xiàn)在這五個方面：

　　1、屏蔽網(wǎng)站的空、死鏈接

　　由于網(wǎng)站內(nèi)容的修改和刪除，很容易導(dǎo)致網(wǎng)站中的一些內(nèi)部鏈接變成空鏈或死鏈。通常我們會定期檢查網(wǎng)站的空鏈和死鏈，提取這些鏈接，將它們寫入robots文件中，防止搜索引擎抓取這些鏈接。這種方法是有效的，因為修改已經(jīng)收錄的內(nèi)容將使搜索引擎再次爬行修改過的頁面，并且再次判斷是否收錄，如果沒有的話就會繼續(xù)收錄，則會得不嘗失。

　　2、防止蜘蛛爬取網(wǎng)站的重復(fù)內(nèi)容

　　網(wǎng)站優(yōu)化切忌的就是重復(fù)頁面，但是不少人沒有重視，現(xiàn)在的主流網(wǎng)站程序都很容易自動產(chǎn)生一些沒用的頁面，比如緩存頁面，搜索頁面，等等，這些頁面內(nèi)容往往和主體內(nèi)容相重復(fù)，而且沒有什么用，如果被蜘蛛抓到，那么對網(wǎng)站排名會有非常嚴重的負面影響。因為很多網(wǎng)站上的動態(tài)頁面搜索引擎都不能收錄，所以很多時候我們需要為這些動態(tài)頁面開發(fā)一個靜態(tài)頁面，以幫助搜索引擎收錄。這是為了不讓搜索引擎抓取重復(fù)的內(nèi)容，減少站內(nèi)頁面的關(guān)鍵詞的權(quán)重競爭。

　　3、防止蜘蛛抓取無意義的內(nèi)容

　　網(wǎng)站上有很多無意義的內(nèi)容，如網(wǎng)站的各種腳本代碼、CSS文件和PHP文件等，這些文件對于網(wǎng)站優(yōu)化毫無意義，抓取這些網(wǎng)站不僅不會收錄，還會浪費服務(wù)器資源。再比如，E-MAIL這類搜索引擎對大多數(shù)網(wǎng)站是沒有意義的;再有像image strippers，對于大多數(shù)非圖形類網(wǎng)站來說也沒有太大的意義，但是卻耗用了大量的帶寬。

　　4、保護網(wǎng)站隱私內(nèi)容

　　網(wǎng)站上有很多的頁面都有一定程度的隱私，如用戶接受的推送或者推購物車等，雖然這些鏈接在一個頁面上，但顯然是不希望搜索引擎抓取的內(nèi)容。通過這個協(xié)議可以制止搜索引擎對非公開頁面的爬行與索引，如網(wǎng)站的后臺程序、隱私頁面、圖片目錄、管理程序，事實上，對于某些在運行中面臨頁面的網(wǎng)站來說，如果沒有配置robots協(xié)議，搜索引擎甚至?xí)饕切┡R時文件。

　　5、有利于網(wǎng)站的調(diào)試

　　網(wǎng)站在初次上線之前都會有一定的錯誤，需要一段時間的調(diào)試，然后再對搜索引擎開放爬行，在調(diào)試期間，你可以將robots文件設(shè)置成對所有的搜索引擎都處于拒絕爬行的狀態(tài)，等到所有的錯誤修改完成后在修改robots文件。

　　每次修改robots文件后都需要到搜索引擎站長平臺上提交robots文件更新提醒，因為搜索引擎更新網(wǎng)站的狀態(tài)是需要一定的時間，只有手工提交才能使更新后的robots文件生效。

　　所以，天水SEO認為，我們在做網(wǎng)站優(yōu)化時，一定要編輯好Robots協(xié)議，這樣就能讓搜索引擎能夠很好地抓取我們的網(wǎng)站，關(guān)于網(wǎng)站SEO優(yōu)化的展開是非常有利的，robots協(xié)議可以保護網(wǎng)絡(luò)安全，以免網(wǎng)絡(luò)陷入混亂的狀態(tài)，可以在信息多元化的時代為網(wǎng)絡(luò)傳播保駕護航。