如何将您的站点地图添加到您的Robots.txt文件

如果您是网站管理员或网站开发人员，则需要在搜索结果中看到您的网站。并且为了在搜索结果中显示，您需要搜索引擎机器人（机器人）抓取您的网站及其各种网页并将其编入索引。

您网站的技术方面有两个不同的文件可以帮助这些机器人找到他们需要的东西：Robots.txt和XML站点地图。

1. Robots.txt文件
2. XML站点地图

robots.txt的

Robots.txt是一个简单的文本文件，放在您网站的根目录下。您网站上的该文件告诉这些搜索引擎机器人要抓取的内容以及您网站上不会抓取的内容。它还包含描述允许哪些搜索引擎机器人抓取哪些搜索引擎机器人的命令。

通常，搜索机器人一进入网站就会在网站中查找robots.txt文件。因此，首先拥有robots.txt文件非常重要。即使您希望所有搜索漫游器都抓取您网站上的所有网页，也可以使用默认的robots.txt，这是必要的。

Robots.txt还包含一个重要信息，即有关站点地图的信息。在这篇文章中，我们将详细阐述robots.txt的这个特性。但在此之前，让我们看看什么是站点地图，为什么它很重要。

XML站点地图

站点地图是一个XML文件，其中包含您网站上所有网页的列表。它还可能以元数据的形式包含有关每个URL的其他信息。就像robots.txt一样，站点地图是必备的。它可以帮助搜索引擎机器人通过站点地图浏览，抓取和索引站点中的所有网页。

在我们的XML站点地图指南中了解更多基础知识。

robots.txt和Sitemaps有何关联？

早在2006年，雅虎，微软和谷歌就联合起来支持通过站点地图向网站提交网页的标准化协议。您需要通过Google网站管理员工具，Bing网站管理员工具，Yahoo 提交您的站点地图，而DuckDuckGoGo等其他搜索引擎则使用Bing / Yahoo的结果。

大约六个月后，在2007年4月，他们加入了支持通过robots.txt查找站点地图的系统，称为站点地图的自动发现。这意味着即使您没有将站点地图提交给各个搜索引擎也没关系。他们会首先从您网站的robots.txt文件中找到站点地图位置。

（注意：但是，在允许提交URL的大多数搜索引擎上仍然提交站点地图提交）

因此，robots.txt文件对于网站管理员来说变得更加重要，因为它们可以轻松地为搜索引擎机器人铺平道路，以发现其网站上的所有页面。

如何使用Sitemap位置创建Robots.txt文件？

以下是使用站点地图位置创建robots.txt文件的三个简单步骤：

第1步：找到您的站点地图网址

如果您的网站是由第三方开发者开发的，则需要先检查他们是否为您的网站提供了站点地图。您网站站点地图的网址通常如下所示：http://www.example.com/sitemap.xml

因此，请在您的浏览器中键入此网址，并使用您的域代替“示例”。

您还可以使用搜索运算符通过Google搜索找到您的站点地图，如下例所示：

site：example.com filetype：xml

要么

filetype：xml site：example.com inurl：sitemap

但这仅适用于您的网站已被Google抓取并编入索引的情况。

如果您在网站上未找到站点地图，则可以使用此XML站点地图生成器自行创建站点地图，也可以按照Sitemaps.org中说明的协议创建站点地图。

第2步：找到您的Robots.txt文件

您可以输入domain.com/robots.txt来检查您的网站是否有robots.txt文件。

如果您没有robots.txt文件，则必须创建一个并将其添加到Web服务器的顶级目录（根目录）。您需要访问您的Web服务器。通常，它放在您网站的主要“index.html”所在的位置。这些文件的位置取决于您拥有的Web服务器软件的类型。如果您不熟悉这些文件，则必须借助Web开发人员的帮助。

请记住使用包含robots.txt内容的文件名全小写。不要使用Robots.TXT或Robots.Txt作为您的文件名。

步骤3：将Sitemap位置添加到Robots.txt文件

现在，在您网站的根目录下打开robots.txt。同样，您需要访问您的Web服务器才能这样做。因此，如果您不知道如何找到并打开您网站的robots.txt文件，请让网络开发人员为您执行此操作。

为了便于通过robots.txt自动发现您的站点地图文件，您只需在robots.txt中放置一个包含该网址的指令，如下面的示例所示：

Sitemap: http://www.example.com/sitemap.xml

所以，robots.txt文件看起来像这样：

Sitemap: http://www.example.com/sitemap.xml
User-agent:*
Disallow:

注意：包含站点地图位置的指令可以放在robots.txt文件中的任何位置。它独立于用户代理行，因此放置它的位置无关紧要。

如果您有多个站点地图怎么办？

每个站点地图可以包含不超过50,000个URL。因此，对于包含许多URL的较大站点，您可以创建多个站点地图文件。您必须在站点地图索引文件中列出这些多个站点地图文件位置。站点地图索引文件的XML格式类似于站点地图文件，这意味着它是站点地图的站点地图。

如果您有多个站点地图，则可以在robots.txt文件中指定站点地图索引文件网址，如下例所示：

Sitemap: http://www.example.com/sitemap_index.xml
User-agent:*
Disallow

或者，您可以指定多个站点地图文件的各个URL，如下例所示：

Sitemap: http://www.example.com/sitemap_host1.xml
Sitemap: http://www.example.com/sitemap_host2.xml
User-agent:*
Disallow

最后，在将Sitemap指令添加到robots.txt文件时，您需要注意一件事。

通常，建议在robots.txt文件中的任何位置添加“Sitemap”衍生产品和站点地图网址。但在某些情况下，它已知会给出一些解析错误。在您使用站点地图位置更新robots.txt文件大约一周后，您可以查看Google网站站长工具以查找检测到的任何此类错误。

为避免此错误，建议您在站点地图网址后面留一个行间距。

我希望现在很清楚如何使用站点地图位置创建robots.txt文件。这样做，它将有助于您的网站！

您是否已将您的站点地图放在robots.txt文件中？