robots.txt，nofollow，noindex都可以用来阻止搜索引擎，但是对三者的理解还不够深刻，对于何时使用robots.txt，nofollow， noindex三者中的一个不是很准确。下面就为大家分析一下robots.txt，nofollow，noindex的作用。以及用一个我碰到的实例来实践一下。
Robots.txt
Robots.txt禁止搜索引擎访问其禁止的URL,但是允许搜索引擎索引它，并可以在搜索结果页面显示；
大家都知道淘宝在其Robots.txt设置了禁止百度蜘蛛爬行，但在百度中查询“site:www.taobao.com”还是现示一条记录。
如何创建Robots.txt以及FTP上传目录
Robots.txt是一个文本文件，只要记事本创建并命名Robots.txt就可以。如果你会写指令就简单了；若果你不会写，就想我一样参考别人的。代码块如下（sitemap是Yoast SEO自动生成的），sitemap语句一般只写在Robots.txt文件的开头或者结尾。
Sitemap: https://sohohu.com/sitemap_index.xml
User-agent: *
Disallow: /wp-admin/
Disallow: /wp-content/
Disallow: /wp-includes/
Disallow: /trackback/
Disallow: /comments/
Disallow: /attachment/
Disallow: /comments/feed
Disallow: /feed
Disallow: /*/feed
Disallow: /*/comment-page-*
Disallow: /*?replytocom=*
Disallow: /*/trackback
Disallow: /?s=*
Disallow: /*/?s=*\
Disallow: /wp-*.php
创建完成后FTP上传到域名根目录，即跟wp-admin, wp-content在同一级目录下就可以。因为有些服务器上放了很多个网站，一般在public_html目录下会出现多个域名文件夹，选择其中须要上传到根目录的就可以。
Noindex
在页面的Meta中设置Noindex，允许搜索引擎访问这个URL,但不允许搜索引擎索引它，且不允许在搜索结果页面显示；
Nofollow
在链接中设置Nofollow属性，允许搜索引擎访问这个URL，允许搜索引擎索引它，在搜索结果页面显示，但不传递PR值；
对于那些robots.txt中禁止的URL，最好在有链接至这些URL的页面的a属性中添加“rel=”nofollow””,以免禁止PR值传递至这些页面，从而增加其他页面的PR。
如果你的那些robots.txt中禁止的URL已经获得了PR,可以使用meta：noindex, follow 来使其PR传递至你网站上的其他有效页面。
noindex功能阻止Google收录某些帖子
Google搜索结果抓取的内容来自底部博客模板和订阅框，这不是我想要的，参考上面三个功能，我决定使用noindex防止内容显示在搜索结果上。
解决办法：Yoast SEO插件
通过观察，我发现这是我使用的插件Scrollbox创建的一个页面。然后，我编辑这个页面后，通过Yoast SEO插件的高级功能添加”No Image Index”, ‘No Archive’, ‘No Snippet’功能。因为缺少代码功底，能用插件解决的就不用再去搞代码了。
