Owner Data

您需要按照优先级降序将页面输入到窗口中。每天发送的页数是有限的。每个网站都有自己的限制，由 Yandex 确定。

您可以在工具 - 检查服务器响应部分检查搜索机器人是否可以访问该页面。现有页面的代码为200；如果搜索引擎无法访问该页面，服务器将返回代码404。服务器的最佳响应时间不超过2秒。


搜索机器人对网站的看法与普通用户不同。默认情况下，它将抓取所有页面，包括服务页面、正在开发的页面和其他页面。 robots.txt 指令切断了所有不必要的内容，显着加快了资源索引速度。

该文件告诉搜索机器人哪些页面和链接要索引，哪些不索引。 Googl 印度尼西亚电报数据 帮助中提供了完整的指令和要求列表。完成的文件放置在站点的根文件夹中。

编写 robots.txt 没有通用的方法。每个引擎都有自己的特点。但大多数情况下，你可以通过研究专题论坛来自己填写文件。您可以在网站管理员和搜索控制台中查看。还有特殊服务（SEObook 生成器、Netpeak Spider 程序）。

如有疑问，最好联系专家。不正确的 robots.txt 可能会导致整个网站无法被编入索引。一个常见的错误是在线商店中的错误排序。索引中只包含一页，而不是整个部分。