robots协议文件作用以及写法详解 1、Robots协议，全称网络爬虫排除标准（Robots Exclusion Protocol），其目的是让网站明确告知搜索引擎哪些页面可以抓取，哪些不可以。Robots协议文件是一种ASCII编码的文本文件，通常位于网站...