如果网站没有robotstxt会怎么样

请问怎么把robotstxt文件上传到网站根目录下请详细解说谢谢了急
　　1.用记事本建立一个robots.txt文件2.打开ftp软件.连接到网站的主机空间.3.点击robots.txt就可以上传了.ftp软件是用来上传下载的.主要有leapftp.cuteftp，flashfxp等等.

网站到底需不需要写robotstxt于优化而言起多少作用谢谢了大神帮忙啊
　　网站是否需要写robots.txt文件，主要取决于网站的内容和结构。以下是几种可能的情况：如果你的网站结构简单，没有需要隐藏的页面：那么可能不需要写robots.txt文件。搜索引擎爬虫通常会尊重网站的默认设置，即抓取所有公开的页面。如果你的网站有不需要被抓取的页面：例如测试页。

robotstxt怎么上传啊网站制作商就给了一个后台在这里么
　　你这个要通过ftp上传到根目录，需要ip，用户名，密码。如果没给你，你就去找做网站的要。

网站的robotstxt文件是否要对Css文件夹Js文件夹进行disallow还有
　　要进行disallow屏蔽！给你个建议：对于不可能更新的文件或增加量特别少的文件，一定要disallow，比如网站后台，头部导航，底部版权等之类文件！对于经常更新的文件，比如文章、上传的图片等，均可设置为allow。

robotstxt怎么写我想禁止访问一个文件夹不是在根目录
　　要是不起作用这个要禁止得怎么写？。生动的叫做“蜘蛛”蜘蛛在爬去网站页面之前，会先去访问网站根目录下面的一个文件，就是robots.txt。这个文件。

由于该网站的robotstxt文件存在限制指令系统无法提供概页面的内容
　　robost是蜘蛛的抓去协议。就像签合同一样，你走你的路，我过我的独木桥，大家相互尊守合同协议。

网站无robotstxt文件为什么日志看到蜘蛛爬这个文件呢
　　robots.txt是告诉搜索引擎蜘蛛，哪些是不被抓取，哪些是能被抓取的

为什么我所有的站点都有robotstxt这样对抓取有影响吗
　　非常正常，这是为了不让收录，有些像后台什么，你让他收录，那不让黑客入侵了。为了安全起见。

搜索聚划算时显示由于该网站的robotstxt文件存在限制指令系统无法
　　这个是聚划算限制了搜索引擎的搜索和你的系统、电脑无关。出现这个提示，即表示聚划算已经限制百度爬虫去爬取该网站信息了。robots.txt的作用是实现Robot协议，用来告知搜索引擎你问题里就是百度哪些页面能被抓取，哪些页面不能被抓取。

网站的robotstxt文件如下这是造成网站不收录的原因么
　　不会，这个是正常的禁止，对于网站不收录的原因有很多，你可以更新下网站的内容，多一点内容吸引蜘蛛，可能你网站搭建不久，建议你在过一段时间看看。希望帮助到你，欢迎追问，望采纳，谢谢！