robots.txt文件[编辑]

一、robots.txt在哪

robots.txt是存放在网站根目录下的一个纯文本文件，而且该文件是可以通过互联网进行访问的。例如：网络营销教学网站的网址是http://www.wm23.com/，如果网络营销教学网站设置了robots.txt文件，那么，通过http://www.wm23.com/robots.txt是可以打开并看到里面的内容的。

二、robots.txt文件作用

robots.txt文件可以指定搜索引擎蜘蛛只抓取指定的内容，或者是禁止搜索引擎蜘蛛抓取网站的部分或全部内容。当网站包含不希望被搜索引擎收录的内容时，才需要使用robots.txt文件。如果希望搜索引擎收录网站上的所有内容，请勿建立robots.txt文件。

三、robots.txt文件设置

（1）先检查网站是否设置了robots.txt文件。检查方法是直接访问网站域名/robots.txt，例如wm23.com/robots.txt，如果能正常访问，说明该网站设置了robots.txt文件；反之，则没设置。

（2）如果没设置，可以新建一个txt格式的文本文档，文件名为robots.txt。

（3）借助站长工具的“robots文件生成”工具生成代码。

（4）将生成的代码复制到txt文件中，将robots.txt文件上传到FTP根目录。

（5）再次检查网站域名/robots.txt是否可以正常访问。

（6）如果网站有地图，可将网站地图网址空一行放在robots文件中。设置网站地图链接，方便引导搜索引擎蜘蛛爬取页面。

四、robots文件生成

robots文件生成工具：http://tool.chinaz.com/robots/

网络营销词典内容均由网友提供，仅供参考。如发现词条内容有问题，请发邮件至info # wm23.com。