我们开始建站前大部分同学禁止搜索引擎收录都是直接在WP后台的Setting》Reading中把“Discourage search engines from indexing this site”这一项打勾就算了,
但是WP后台自动生成的robots.txt文件并不能完全阻止搜索引擎收录你的网页,个人建议还是需要自己上传一个Robots.txt文件。不然等你网站建好后可能搜索引擎会把一些不相关的网页都收录了,这对于后期的优化产生不良影响。
上传Robots文件的方法有三种;
1.以前可以通过Yoast SEO插件设置,不过最新的版本已经找不到能设置Robots文件的地方,估计是要购买后才有这个功能。
2.通过FTP设置,成功登陆后把编辑好的robots.txt文件上传到根目录即可(如下图)。
3.找到服务器中的Fill manager,并把robots.txt文件上传到根目录即可。
上传好robots.txt文件后可以在你域名后输入“robots.txt”来查看你的robots设置,即“yourdomain.com/robots.txt”,以下是我网站设置的Robots,是禁止全网收录的,等网站建好后再修改Robots文件开放收录。
分享至微信