单击它即可在新

latix60748@egvo

作为参考，这是本周白板的截图。选项卡中打开高分辨率图像！

视频转录
各位 Moz 粉丝们，大家好，欢迎来到第二期白板星期五。本周我们将讨论如何控制搜索引擎爬虫、阻止机器人、将机器人发送到它们想要的地方以及限制它们前往我们不希望它们去的地方。我们将稍微谈论一下抓取预算以及您应该做什么和不应该做什么。

首先，我想讨论一下我们控制机器人的方法。其中包括三个 多米尼加共和国 电话号码 数据库 基本标签：robots.txt、meta robots，以及——nofollow 标签，它与控制机器人关系不大。

我们还将继续讨论一些内容，包括网站管理员工具（搜索控制台）和 URL 状态代码。但是让我们首先深入研究一下前几个。

Robots.txt 位于 yoursite.com/robots.txt，它告诉爬虫程序应该访问什么和不应该访问什么，但 Google 和 Bing 并不总是尊重它。因此，当你对很多人说“嘿，不允许这样做”时，然后你突然看到这些 URL 弹出来，你想知道发生了什么，看 — — 谷歌和必应通常认为他们更了解。他们认为你可能犯了一个错误，他们会想“嘿，有很多链接指向这个内容，有很多人在看这个内容并维护它，也许你不是故意让我们屏蔽它的。”您获得的有关单个 URL 的信息越具体，他们通常就越尊重它。越不具体，意味着你使用通配符的次数越多，或者说“整个大目录背后的所有内容”，他就越不可能相信你。


Meta robots（略有不同）位于各个页面的标题中，因此您可以使用 meta robots 标签仅控制一个页面。它告诉引擎是否应该将某个页面保留在索引中，以及是否应该关注该页面上的链接，而且它通常更受尊重，因为它处于单个页面级别。 Google 和 Bing 相信您关于元机器人标签的说法。