什么是 WordPress Robots.txt 文件

sqylknxlweyqq@w

在讨论 WordPress robots.txt 文件之前，定义本例中的“机器人”是什么非常重要。机器人是访问互联网上网站的任何类型的“机器人”。最常见的例子是搜索引擎爬虫。这些机器人“爬行”网络，帮助谷歌等搜索引擎对互联网上的数十亿页面进行索引和排名。




因此，总的来说，机器人对于互联网来说是一件好事……或者至少是一个必要的东西。但这并不一定意味着您 加拿大数据库 其他网站所有者希望机器人到处乱跑。控制网络机器人如何与网站交互的愿望导致了20 世纪 90 年代中期机器人排除规则的创建。Robots.txt 是该规则的实际应用 -它允许您控制参与的机器人如何与您的网站交互。您可以完全阻止机器人，限制他们访问您网站的某些区域等。

不过，“参与”部分很重要。Robots.txt 无法强制机器人遵循您的指示。恶意机器人可以并且将会忽略 robots.txt 文件。此外，即使是信誉良好的组织也会忽略您可以放入 robots.txt 中的一些命令。例如，Google 将忽略您添加到 robots.txt 中的有关其抓取工具访问频率的任何规则。您可以在 Google Search Console 中您资源的抓取频率设置页面上调整 Google 抓取您网站的频率。

如果您遇到很多机器人问题，Cloudflare或Sucuri等安全解决方案可能会有所帮助。

如何查找robots.txt？
robots.txt 文件位于您网站的根目录中，因此在您的域名后面添加 /robots.txt 应该会加载该文件（如果您有的话）。例如，。




关闭您是否听说过 robots.txt 一词并想知道它在您的网站上是如何使用的？大多数网站都有 robots.txt 文件，但这并不意味着大多数网站所有者都理解它。在这篇文章中，我们希望通过深入研究 WordPress 的 robots.txt 文件以及它如何控制和限制对您网站的访问来改变这一现状。