如何制作robots?如何写robots?

如何制作robots?如何写robots?对于robots来说,首先它是一个协议,对于网站的抓取起到非常重要的作用,创建robots的意义在于它可以让蜘蛛听从命令服从安排,解决了网站的一些隐私和不必要抓取的页面,同时也可以强调某一部分必须抓取。

robots看似一个非常简单的操作,但平时如果没有太注意或多操作,你写的robots未必就是正确的,因为里面涉及到一些指令,没有写对可能会影响网站的抓取。小编东莞SEO就在做网站的时候,由于robots的错误,导致网站一直没有收录,今天小编冯超就为一些刚从事网站SEO优化的朋友分享一下如何快速的制作robots.txt文件。

如何制作robots?如何写robots?

如何制作robots?如何写robots?

1、打开网上工具:http://tool.chinaz.com/robots/

根据你的需要来更改为自己的网站和网站地图的格式,如果不禁止蜘蛛爬行就默认允许,如图:
如何制作robots?如何写robots?

2、更改完之后,就生产代码,并创建记事本,命名为robots.txt,复制代码保存(上传到ftp中)即可

注意事项:

生成的有效代码如下:
User-agent: *
Disallow:
Sitemap: http://www.yunmajp.com/sitemap.xml

其中:
①“User-agent: *”的通配符"*"代表所有机器人,
②“Disallow: ”代表不禁止蜘蛛抓取页面,千万别写成“Disallow: /”,差个“/”就是代表禁止抓取所有页面,
③Sitemap: http://www.yunmajp.com/sitemap.xml:就是网站地图的地址,引导蜘蛛爬行你的网站地图

赶快来制作一个你网站的robots.txt文件吧!

您还未添加分享代码,请到主题选项中,添加百度分享代码!

您可以选择一种方式赞助本站

支付宝转账赞助

发表评论

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen:

图片 表情