页次: 1
这两个文件基本成为了网站里两个“必须”的文件,几乎成为“事实标准”。
两个文件的共同点,不管网站里是否存在这两个文件。这两个文件时经常被访问到的。
前者robots.txt 要被搜索引擎频繁访问。
后者favicon.ico 会被浏览器自动访问。
robots.txt 主要作用是告诉搜索引擎,可以访问什么,不能访问什么。如果没有限制做好弄成一个空的文件
User-agent: * Allow: /
允许所有的搜索引擎,抓取所有的内容
fvaicon.ico
<link href="favicon.ico"type="image/x-icon"rel=icon>
ipbbs.net
离线
页次: 1