标签: robots

设置不让Google抓取特定网页

告诉 Google 不应抓取哪些页面 最佳做法 若为非敏感信息,则可以使用 robots.txt 阻止不必要的抓取 “robots.txt”文件会告诉搜索引擎是否可以访问您网站的各个部分并执行抓取。此文件必须命名为“robots.txt” …
Read More