搜索优化：robots的写法

来源:SEO优化 2012-06-07

快速提升网站销量，使用365webcall免费在线客服

robots的写作在网站中起着非常重要的作用,她代表着能否被所有的搜索引擎抓取,在百度上有一个好的排名。下面我们一起来看一下关于robots的一些知识。

1. 什么是robots.txt文件?

搜索引擎使用spider程序自动访问互联网上的网页并获取网页信息。spider在访问一个网站时,会首先会检查该网站的根域下是否有一个叫做 robots.txt的纯文本文件,这个文件用于指定spider在您网站上的抓取范围。您可以在您的网站中创建一个robots.txt,在文件中声明 该网站中不想被搜索引擎收录的部分或者指定搜索引擎只收录特定的部分。

2.常见蜘蛛形态

User-Agent:定义搜索引擎的类型· Disallow: 定义禁止搜索引擎收录的地址 · Allow: 定义允许搜索引擎收录的地址

案例:允许所有的蜘蛛抓取所有的页面

User-agent: *Allow:/ /或者根目录下放置robots.txt空文件

百度的蜘蛛形态

Baiduspider+(+$

Disallow: /

例10. 禁止访问网站中所有的动态页面

User-agent: *

Disallow: /*?*

例11. 禁止Baiduspider抓取网站上所有图片

仅允许抓取网页,禁止抓取任何图片。

User-agent: Baiduspider

Disallow: /*.jpg$

Disallow: /*.jpeg$

Disallow: /*.gif$

Disallow: /*.png$

Disallow: /*.bmp$

例12. 仅允许Baiduspider抓取网页和.gif格式图片

允许抓取网页和gif格式图片,不允许抓取其他格式图片

User-agent: Baiduspider

Allow: /*.gif$

Disallow: /*.jpg$

Disallow: /*.jpeg$

Disallow: /*.png$

Disallow: /*.bmp$

例13. 仅禁止Baiduspider抓取.jpg格式图片

User-agent: Baiduspider

Disallow: /*.jpg$

文章编辑: 365webcall在线客服系统(www.365webcall.com)

我的评论

登录账号：

密码：

快速注册 | 找回密码