标签:robots.txt

优化知识

什么是网站robots.txt文件和常见问题总结

1

厦门seo|周小帮工作室-专注于移动互联网|自媒体|推广运营★-/ - xiaobian 发布于 5年前 (2014-12-14)

什么是robots.txt文件?搜索引擎使用spider程序自动访问互联网上的网页并获取网页信息。spider在访问一个网站时,会首先会检查该网站的根域下是否有一个叫做robots.txt的纯文本文件,这个文件用于指定spider在您网站上的抓取范围。您可以在您的网站中创建一[&...

阅读(946)评论(0)赞 (2)