robots协议是什么意思中文？

1、什么是robots

robots是网站跟爬虫间的协议，（相关知识：什么是网络爬虫）用简单直接的txt格式文本方式告诉对应的爬虫被允许的权限，也就是说robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。当一个百度蜘蛛（相关知识：什么是百度蜘蛛）搜索访问一个站点时，它会首先检查该站点根目录下是否存在robots.txt，如果存在，搜索机器人就会按照该文件中的内容来确定访问的范围；如果该文件不存在，所有的搜索蜘蛛将能够访问网站上所有没有被口令保护的页面。

2、robots是什么意思中文

robot就是机器人的意思，robots.txt就是关于机器人的一个协议文档，这个机器人指搜索引擎的蜘蛛，在《互联网搜索引擎服务自律公约》第七条有“遵循国际通行的行业惯例与商业规则，遵守机器人协议(robots协议）。这个文档是搜索引擎中访问网站的时候要查看的第一个文件，文件中会明确告诉搜索引擎允不允许访问这个网站。

3、robots协议的具体内容是什么

（1）英文“Robots Exclusion Protocol”这也是搜索引擎的国际默认公约。我们网站可以通过Robots协议从而告诉搜索引擎的蜘蛛哪些页面可以抓取，哪些页面不能抓取。Robots协议的本质是网站和搜索引擎爬虫的沟通方式，是用来指引搜索引擎更好地抓取网站里的内容。

（1）英文“Robots Exclusion Protocol”这也是搜索引擎的国际默认公约。我们网站可以通过Robots协议从而告诉搜索引擎的蜘蛛哪些页面可以抓取，哪些页面不能抓取。Robots协议的本质是网站和搜索引擎爬虫的沟通方式，是用来指引搜索引擎更好地抓取网站里的内容。

（2）比如说，一个搜索蜘蛛访问一个网站时，它第一个首先检查的文件就是该网站的根目录里有没有robots.txt文件。如果有，蜘蛛就会按照该文件中的条件代码来确定能访问什么页面或内容；如果没有协议文件的不存在，所有的搜索蜘蛛将能够访问网站上所有没有被协议限制的内容页面。

（3）而百度官方上的建议是：仅当您的网站包含不希望被搜索引擎收录的内容时，才需要使用robots.txt文件进行屏蔽。而如果您希望搜索引擎收录网站上所有内容，请勿建立robots.txt文件。

4、robots.txt不支持的代码为（）参考答案：D

　　A、Allow

　　B、Disallow

　　C、Crawl-delay

　　D、noindex

5、robots是什么意思中文总结：

Robots是一个英文单词，对英语比较懂的朋友相信都知道，Robots的中文意思是机器人。而我们通常提到的主要是Robots协议，Robots.txt被称之为机器人或Robots协议（也称为爬虫协议、机器人协议等）它的全称是“网络爬虫排除标准”

总结：以上就是站长分类目录网飞飞影视模板为大家搜集整理的关于：robots是什么意思中文？相关问题的解释和相关问题的回答，希望对你当前遇到的“robots.txt不支持的代码为”“什么是robots”“robots协议的具体内容是什么”“robots.txt不支持的代码为”等相关问题能够提供和得到一些帮助！更多请关注：站长分类目录网苹果cms安装使用教程.