robots.txt是一個(gè)協(xié)議，而不是一個(gè)命令。Robots協(xié)議(也稱(chēng)為爬蟲(chóng)協(xié)議、機(jī)器人協(xié)議等)的全稱(chēng)是“網(wǎng)絡(luò)爬蟲(chóng)排除標(biāo)準(zhǔn)”(Robots Exclusion Protocol)，網(wǎng)站通過(guò)Robots協(xié)議告訴搜索引擎哪些頁(yè)面可以抓取，哪些頁(yè)面不能抓取。

robots.txt是搜索引擎中訪問(wèn)網(wǎng)站的時(shí)候要查看的第一個(gè)文件，robots.txt文件是一個(gè)文本文件，使用任何一個(gè)常見(jiàn)的文本編輯器。

robots.txt文件應(yīng)該放置在網(wǎng)站根目錄下。舉例來(lái)說(shuō)，當(dāng)spider訪問(wèn)一個(gè)網(wǎng)站(比如 http://www.abc.com)時(shí)，首先會(huì)檢查該網(wǎng)站中是否存在http://www.abc.com/robots.txt這個(gè)文件，如果 Spider找到這個(gè)文件，它就會(huì)根據(jù)這個(gè)文件的內(nèi)容，來(lái)確定它訪問(wèn)權(quán)限的范圍。

例如：

User-agent: Baiduspider

Disallow: /

robots.txt文件的格式：

"robots.txt"文件包含一條或更多的記錄，這些記錄通過(guò)空行分開(kāi)

User-agent:

該項(xiàng)的值用于描述搜索引擎robot的名字。

Disallow表示：

說(shuō)明不允許robot訪問(wèn)該網(wǎng)站的所有url，在"/robots.txt"文件中，至少要有一條Disallow記錄。如果"/robots.txt"不存在或者為空文件，則對(duì)于所有的搜索引擎robot，該網(wǎng)站都是開(kāi)放的。

舉例：

"Disallow:/help" 禁止robot訪問(wèn)/help.html、/helpabc.html、/help 、/index.html

"Disallow:/help/" 則允許robot訪問(wèn)/help.html

Allow格式：

與Disallow項(xiàng)相似，這個(gè)值可以是一條完整的路徑，也可以是路徑的前綴，以Allow項(xiàng)的值開(kāi)頭的URL 是允許robot訪問(wèn)的。

以上就是對(duì)robots協(xié)議是什么意思?robots.txt文件放在哪里的全部介紹，如果您想了解更多有關(guān)SEO相關(guān)知識(shí)，請(qǐng)及時(shí)關(guān)注我們。