網(wǎng)站中robots文件是用來管理機(jī)器人抓取網(wǎng)站內(nèi)容的，而robots.txt文件則是放在我們網(wǎng)站根目錄下面的一個文本文件，用來規(guī)定什么蜘蛛可以抓取什么文件，不可以抓取什么文件。我們通常用robots來告訴搜索引擎，這個目錄你可以進(jìn)，哪個目錄你不可以進(jìn)。

那么robots文件應(yīng)該怎么設(shè)置呢，下面小編就來與大家一起學(xué)習(xí)下。

我們建議新網(wǎng)站千萬不要先把網(wǎng)站文件上傳到空間后加個robots.txt，然后填充信息，填充好了才開放抓取。如果可以在本地把長沙網(wǎng)站建設(shè)建立好，填充好內(nèi)容再上傳最好，否則上傳到空間加robots禁止抓取，等開放抓取的時候，百度蜘蛛很可能又會幾個月時間都反應(yīng)不過來。幾個月后網(wǎng)站才被收錄，對網(wǎng)站優(yōu)化的周期影響無疑是巨大的。因此建議大家多多注意robots的設(shè)置。