Robots.txt禁止收录的设置中,需要参照标准,方法重要结果也重要
ok,铺天盖地的方法确实多,但也挡不住辛苦后的迷茫,迷茫的本质不是因为无从下手,而是因为不知道结果对了没有。
为了安心建站,关于建站前禁止搜索引擎收录的内容没少看,
该打钩的打钩
该
User-agent: *
Disallow: /
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
的就
User-agent: *
Disallow: /
唯一郁闷的是:我是真不知道禁止收录和不禁止收录后明面上的区别,对了还是错了,根本就分辨不出来。
所以,各位大神能不能普及一下,说的对的补充一下,说的不对的还请多指正。
我有几个问题:
1.robots.txt禁止收录后,直接输入网站能不能打开?
2.对于建站过程中,不是只需要在robots文件中应用这个
User-agent: *
Disallow: / 不是就已经够了么?
3.放于根目录的这个根目录,是空间首个目录,还是网站的那个目录呢?
4.如果禁止收录后能打开,是打开新站正常,还是仍显示老站正常?还是不一定
希望能得到各位指点
另附参考,浅显易懂:[论WordPress网站robots.txt的正确写法](http://blog.csdn.net/luyong3435/article/details/26401049)