robots文件主要是要屏蔽网站的哪些页面

robotstxt设置禁止抓取的页面为何搜索引擎还在爬
　　这个百度已经解释了，估计是因为互联网上有你的外链，蜘蛛是通过其他网站爬行到你的网站的，，，这个没有关系的。吧404页面改善一下。麻烦采纳，谢谢！

如何屏蔽网站我有一个网站屏蔽不了
　　用robots文件屏蔽。把不想被收录的目录或链接利用robots文件屏蔽掉。在桌面新建一个TXT文件，把你想屏蔽的目录写进去，保存。然后把这个文件命名为robots.txt。打开FTP，上传到网站根目录即可。robots文件具体的书写请参考：http：//baike.baidu.**/link？url=Z1srA5eikmwPDUa_r_。

不怎么知道robots文件有没有大神解答下这样写对网站有没有危害
　　robots文件，只是针对搜索引擎蜘蛛的协议，如果你网站中没有一些不想让蜘蛛抓取的内容，就可以不用写robots文件，如果有的话，建议去百度一下怎么写屏蔽代码！

怎么用robots屏蔽掉47shopphpnickypiBlZndtfscatidpage
　　使用robots.txt文件屏蔽以shop.php？开头的链接要使用robots.txt文件屏蔽以shop.php？开头的链接，你需要在网站的根目录下创建或编辑一个名。并将其上传到网站的根目录。需要注意的是，robots.txt文件并不是一个安全措施，它只是提供了一个指导性的建议，告诉爬虫哪些页面可以被抓取。

网址是love**bkt我想屏蔽目录k在robotstxt里该怎么写啊
　　在robots.txt中屏蔽目录在您的网站根目录下找到或创建一个名为robots.txt的文件。使用任何文本编辑器打开这个文件，然后添加以下内容：Use。当有人尝试访问love.**/b/k/t时，他们将无法访问该页面。请注意，robots.txt文件仅作为一种指导，并不能完全阻止所有访问，但它可以有效地阻止。

利用robotstxt文件屏蔽DiscuzX所有动态地址收录
　　如果论坛开启了伪静态功能，并且收录较多的情况下可以屏蔽论坛的动态地址收录编辑网站根目录中的robots.txt文件添加以下内容Useragent：*Disallow：/*？*小编极力推荐：网页制作编辑器大全

请问网站日志返回的用户状态404需要用robots文件屏蔽吗
　　网站日志不能访问的，自己在检测一下是不是真正的404页面，能不能打开，然后再把这些错误页面搜集起来，然后制作死链，并提交给百度。而且你这些页面基本上都是一些压缩的文件，或者你是做软件下载网站？

我要屏蔽除了百度谷歌soso以外的所有搜索引擎如何写robotstxt呢
　　robot.txt

怎样在网站内做个隐藏页面
　　在网站内制作隐藏页面的方法有使用WordPress内置的页面可见性设置、使用插件隐藏页面、使用CSS隐藏页面元素、通过robots.txt文件隐藏页面。使用WordPress内置的页面可见性设置如果你想在WordPress网站上隐藏页面，可以使用WordPress提供的内置可见性选项。你可以将页。

sitemapxml需要使用robots屏蔽百度抓取吗
　　XML主要是给搜索引擎看的，无需放置网站上，可写在ROBOTS.TXT文件下就可以了，并提交到百度站平台即可.SEO研究中心祝你生活愉快！查看原帖>；>；