robots.txt文件要怎么写
因为一些系统中的URL是大小写敏感的，所以robots.txt的文件名应统一为小写。robots.txt应放置于网站的根目录下。
需要注意的是，robotx.txt文件应该仅用于控制搜索引擎的访问，不应该包含敏感信息，例如用户密码和个人信息等。同时，网站管理员应该定期更新robotx.txt文件，以确保搜索引擎可以正确地识别新的内容。
robots.txt写好后，只需要上传到网站的根目录下即可。
robots.txt撰写方法：（1），允许所有的搜索引擎访问网站的所有部分或者建立一个空白的文本文档，命名为robots.txt。User-agent：*Disallow：或者User-agent：*Allow：/ （2），禁止所有搜索引擎访问网站的所有部分。
robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。robots.txt文件告诉蜘蛛程序在服务器上什么文件是可以被查看的。
如何访问b站的robots.txt?
robots.txt文件里还可以直接包括在sitemap文件的链接。就像这样：Sitemap： http：/sitemap.xml目 前对此表示支持的搜索引擎公司有Google， Yahoo， Ask and MSN。而中文搜索引擎公司，显然不在这个圈子内。
在抓取您的网站之前，Googlebot 会访问您的 robots.txt 文件，以确定您的网站是否会阻止 Google 抓取任何网页或网址。
如果你用域名后面加robots.txt无法访问的话，那说明根目录是真的没这个文件，那么剩下的可能性就是在你网页的代码中有 这样的代码了。
首先，我们需要创建一个robots.txt文本文件，然后在文档内设置好代码，告诉搜索引擎我网站的哪些文件你不能访问。
robots.txt文件中,允许所有搜索引擎访问所有url的
User杠agent：Disallow：或者User杠agent：Allow允许所有搜索引擎访问网站的所有部分。Disallow说明允许robot访问该网站的所有url，在robots.txt文件中，至少要有一条Disallow记录访问。
禁止所有搜索引擎访问网站的任何部分。用户代理：不允许：/ 允许所有机器人访问 用户代理：不允许：(或者可以构建空文件/robots.txt文件)禁止搜索引擎的访问。
Disallow： 说明允许 robot 访问该网站的所有 url，在 /robots.txt 文件中，至少要有一条 Disallow 记录。如果 /robots.txt 不存在或者为空文件，则对于所有的搜索引擎 robot，该网站都是开放的。
robot.txt的使用技巧
防止网站被恶意攻击：robotx.txt文件可以阻止恶意攻击者攻击网站，例如网站被入侵并包含恶意代码，通过robotx.txt文件可以阻止搜索引擎访问这些代码。
Disallow： 说明允许 robot 访问该网站的所有 url，在 /robots.txt 文件中，至少要有一条 Disallow 记录。如果 /robots.txt 不存在或者为空文件，则对于所有的搜索引擎 robot，该网站都是开放的。
网站必须要有一个robot.txt文件。文件名是小写字母。当需要完全屏蔽文件时，需要配合meta的robots属性。robots.txt的基本语法 内容项的基本格式：键： 值对。
txt的文件，用FTP上传到你网站的根目录就可以了！（切记，必须是名为robot.txt的文件）。
在该文件中可以使用#进行注解，具体使用方法和UNIX中的惯例一样。
如果你用的不是现成的建站CMS，而是自己开发的，只需要在网站下面新建一个名为robot.txt文件即可。robot.txt文件的详细使用教程 一般情况下robot.txt文件会以User-agent：开头，该项的值用于描述搜索引擎机器人robot的名字。
robots.txt错误是什么意思
1、TherequestedURLwasnotfoundonthisserver的意思是在此服务器上找不到所请求的URL。组织成正常的中文语序，意思就是：在该服务器上无法找到您想要浏览的这个URL（资源地址）下辖的‘item．htm’路径。
2、你是不是没有设置robots.txt或者设置有错误，检查一下。robots.txt 它是搜索引擎爬行到你网站的第一站，这个文件时让搜索引擎知道你的网站那些是可以收录的，那些的可以忽略不收录的。
3、您好：robots.txt文件，SEOER们都知道，就是可以设置你网站的哪些内容允许蜘蛛抓取，哪些不允许蜘蛛抓取的一个文件。今日，据百度站长平台最新消 息，用户在百度搜索网址或相关关键字时，网页搜索结果会出现robots提示。
4、说明你的robots.txt 可能填写得不正确。
5、说到robot.txt不得不提到robot（又称spider），robot就是搜索机器人，它能够自动访问互联网上的网页并获取网页信息。
什么是robots.txt文件
蜘蛛在爬去网站页面之前，会先去访问网站根目录下面的一个文件，就是robots.txt。这个文件其实就是给“蜘蛛”的规则，如果没有这个文件，蜘蛛会认为你的网站同意全部抓取网页。
Robots.txt 是个纯文本文件，当一个搜索robot访问一个站点时，他首先爬行来检查该站点根目录下是否存在robot.txt，如果存在，根据文件内容来确定访问范围，如果没有（为Null），搜索robot就沿着链接抓取。
robots.txt（统一小写）是一种存放于网站根目录下的ASCII编码的文本文件，它通常告诉网络搜索引擎的漫游器（又称网络蜘蛛），此网站中的哪些内容是不应被搜索引擎的漫游器获取的，哪些是可以被（漫游器）获取的。
robots是英语中的一个词汇，意思是“机器人（们）”。