如何针对 SEO 去优化 WordPress 的 robots.txt

robots.txt 文件如何帮助您的 WordPress 搜索引擎优化?了解如何在 WordPress 中为搜索引擎正确优化 robots.txt。

近期,一位读者询问了我们如何针对 SEO 去优化 robots.txt 文件。

robots.txt 文件可以告诉搜索引擎如何抓取您的网站,所以这也让它成为了非常强大的 SEO 工具。

在本文中,我们将向您展示如何为 SEO 创建一个完美的 robots.txt 文件。

如何针对 SEO 去优化 WordPress 的 robots.txt

什么是 robots.txt 文件?

robots.txt 是一个文本文件,网站所有者可以创建这个文件来告诉搜索引擎的爬虫如何抓取和索引他们网站上的页面。

它通常存储在您网站的根目录(也称为主文件夹)中。robots.txt 文件的基本格式如下所示:

User-agent: 搜索引擎,* 是一个通配符,代表所有的搜索引擎。
Disallow: 禁止抓取

User-agent: 搜索引擎
Allow: 允许抓取

Sitemap: 网站地图,告诉爬虫这个页面是网站地图。

您可以使用多行说明来允许或禁止特定的 URL 以及添加多个站点地图。如果您不禁止某个 URL,则搜索引擎爬虫会假定它们是被允许可以对其进行抓取的。

以下是 robots.txt 的一个示例文件:

User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /wp-admin/

Sitemap: https://example.com/sitemap_index.xml

在上面的 robots.txt 示例中,我们允许搜索引擎去抓取和索引在我们 WordPress 上传文件夹中的文件。

然后,我们禁止爬虫抓取和索引插件以及 WordPress 的管理后台。

最后,我们提供了 XML 站点地图的 URL。

您的 WordPress 网站需要 robots.txt 文件吗?

如果您的网站没有 robots.txt 文件,搜索引擎仍会抓取您的网站并将其编入索引。但是,您将无法告诉搜索引擎不应抓取哪些页面或文件夹。

当您第一次创建博客并且没有很多内容时,这不会产生太大影响。

然而,随着您的网站的发展和丰富的内容,您可能就希望能更好地控制您的网站的抓取和索引方式。

这就是为什么您需要 robots.txt。

搜索引擎的爬虫对每个网站都有一个抓取配额。

也就是说他们在抓取会话期间会抓取一定数量的页面。如果他们没有完成对您网站上所有页面的抓取,那么他们将在下一个会话中返回并继续抓取。

这可能会减慢您的网站索引速度。

您可以通过禁止搜索引擎尝试抓取不必要的页面(例如 WordPress 管理后台页面、插件文件和主题文件夹)来解决此问题。

通过禁止不必要的页面,可以节省抓取配额。这有助于搜索引擎在您的网站上抓取更多页面,并尽快将它们编入索引。

另一个使用 robots.txt 文件的原因是,就是您可以阻止搜索引擎将您网站上的文章或页面编入索引。

这不是隐藏内容的最安全方法,但是它会帮助您防止它们出现在搜索结果中。

标准的 robots.txt 文件是什么样的?

许多知名的博客都使用非常简单的 robots.txt 文件。它们的内容可能会有所不同,具体取决于各站点的特定需求:

User-agent: *
Disallow:
  
Sitemap: http://www.example.com/post-sitemap.xml
Sitemap: http://www.example.com/page-sitemap.xml

此 robots.txt 文件允许所有的爬虫去索引全部内容,并为它们提供了指向 XML 站点地图的链接。

对于 WordPress 网站,我们建议在 robots.txt 文件中使用以下规则:

User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /wp-admin/
Disallow: /readme.html
Disallow: /refer/
 
Sitemap: http://www.example.com/post-sitemap.xml
Sitemap: http://www.example.com/page-sitemap.xml

上面的规则告诉搜索引擎的爬虫索引所有 WordPress 图像和文件。但禁止索引 WordPress 插件文件、WordPress 管理后台、WordPress 自述文件和广告链接。

通过将 XML 站点地图添加到 robots.txt 文件,您可以让 Google 爬虫更轻松找到您网站上的所有页面。

现在您知道标准的 robots.txt 文件是什么样的,让我们来看看如何在 WordPress 中创建 robots.txt 文件。

如何在 WordPress 中创建 robots.txt 文件?

有两种方法可以在 WordPress 中创建 robots.txt 文件。您可以选择最适合您自己的方法。

方法 1:使用 All in One SEO 插件编辑 robots.txt 文件

All in One SEO 也称为 AIOSEO,是目前最好的 WordPress SEO 插件,超过200万个网站都在使用这个插件。

插件使用非常简单,并且自带了 robots.txt 文件生成器。

如果您还没有安装 AIOSEO 插件,您可以查看我们关于如何安装 WordPress 插件的指南。

注意:AIOSEO 的免费版本也可以使用此功能。

安装并启用插件后,您可以使用它直接在 WordPress 管理后台创建和编辑 robots.txt 文件。

只需转到 All in One SEO»工具类来编辑您的 robots.txt 文件。

如何针对 SEO 去优化 WordPress 的 robots.txt

首先,您需要启用自定义 robots.txt 选项。

启用后您就可以在 WordPress 中创建自定义 robots.txt 文件了。

如何针对 SEO 去优化 WordPress 的 robots.txt

All in One SEO 插件会在屏幕下方的“robots.txt 预览”区域中显示您现有的 robots.txt 文件。

此版本展示了由 WordPress 添加的默认规则。

如何针对 SEO 去优化 WordPress 的 robots.txt

这些默认规则告诉搜索引擎不要抓取您的核心 WordPress 文件,允许爬虫去索引所有内容,并为它们提供指向您网站的 XML 站点地图的链接。

现在,您可以添加您的自定义规则来针对 SEO 优化您的 robots.txt 了。

要添加规则,请在“客户端”字段中输入搜索引擎。使用 * 将代表所有的搜索引擎。

然后,选择“允许”还是“禁止”搜索引擎抓取。

接下来,在“目录路径”字段中输入文件名或目录路径。

如何针对 SEO 去优化 WordPress 的 robots.txt

这些规则会自动应用于您的 robots.txt。要添加更多的规则,请点击左下角“添加规则”按钮。

我们建议您按照上面分享的标准 robots.txt 中的规则来完善您自己的规则。

您的自定义规则将如下所示。

如何针对 SEO 去优化 WordPress 的 robots.txt

完成后,不要忘记点击右下角“保存更改”按钮来存储您的更改。

方法 2. 使用 FTP 手动编辑 robots.txt 文件

对于这种方法,您需要使用 FTP 客户端来编辑 robots.txt 文件。

只需使用 FTP 客户端连接到您的 WordPress 服务器。

进入后,您将能够在您网站的根目录中看到 robots.txt 文件。

如何针对 SEO 去优化 WordPress 的 robots.txt

如果您没有看到,那么您可能没有 robots.txt 文件。

在这种情况下,您可以直接在根目录里创建一个。

如何针对 SEO 去优化 WordPress 的 robots.txt

robots.txt 是一个纯文本文件,所以您可以将其下载到您的计算机并使用任何纯文本编辑器(如 Notepad 或 TextEdit)进行编辑。

保存更改后,将其上传回您网站的根目录即可。

如何测试您的 robots.txt 文件?

创建 robots.txt 文件后,最好使用 robots.txt 测试工具对其进行测试一下。

有很多 robots.txt 测试工具,但我们建议您使用 Google Search Console 内置的测试工具。

首先,您需要将您的网站添加到 Google Search Console 中。如果您还没有这样做,请查看我们关于如何将您的 WordPress 网站添加到 Google Search Console 的指南。

然后,您就可以使用 Google Search Console 的 robots.txt 测试工具

该工具会自动获取您网站的 robots.txt 文件,并会在发现错误和警告时提示您。

如何针对 SEO 去优化 WordPress 的 robots.txt

总结

优化 robots.txt 文件的目的是防止搜索引擎抓取不公开的页面。例如,wp-plugins 文件夹或 wp-admin 文件夹中的页面。

SEO 专家普遍认为,禁止抓取 WordPress 类别、标签和存档页面将提高抓取速度并导致更快的将内容加入索引和获得更高的排名。

这种说法是错误的。这也违反了 Google 的网站站长指南。

我们建议您按照上述 robots.txt 格式来为您的网站创建 robots.txt 文件。

我们希望本文能够帮助您了解如何针对 SEO 优化 WordPress 的 robots.txt 文件。您可能还想查看我们的终极 WordPress SEO 指南和最好的 WordPress SEO 工具来优化您的网站。

本文由 WP建站初学者 制作发布,未经允许禁止转载。

发表评论

登录后才能评论