大发5分快乐8微信群 > 使用帮助

简介

 
 

感谢您使用大发5分快乐8微信群。为了实现对网站更好的收录,我们在此公布大发5分快乐8微信群对快3电子走势图软件,Robots协议的支持和扩展说明,以便站长们了解,实现对网站内容更高效、智能的收录。

 

大发5分快乐8微信群对快3电子走势图软件,Robots协议的支持

 
 

大发5分快乐8微信群支持快3电子走势图软件,Robots协议的主要命令,以下为具体说明:

1. user-agent

大发5分快乐8微信群各产品的爬虫user-agent为:

- 网页搜索 360Spider

- 图片搜索 360Spider-Image

- 视频搜索 360Spider-Video

2. Allow

站长可通过Allow命令指定建议收录的文件、目录 。

3. Disallow

快3电子走势图软件站长可通过Disallow命令指定不建议收录的文件、目录。

 
回到顶部 ↑

大发5分快乐8微信群对快3电子走势图软件,Robots协议的扩展

大发5分快乐8微信群根据站长们的反馈,会陆续推出扩展的快3电子走势图软件,Robots协议命令。这些命令将能帮助站长们提高和大发5分快乐8微信群爬虫沟通的效率,减少站长们维护快3电子走势图软件,Robots协议文件的技术成本。

大发5分快乐8微信群首个扩展命令是:indexpage,站长们可以使用此命令告知大发5分快乐8微信群哪些网页经常更新。大发5分快乐8微信群会根据站长的指示以及自己的算法,智能调整爬虫抓取频率,实现对您网站新内容的更高频率抓取。

在命令中可以使用*、$等通配符。

示例:

使用通配符的

Indexpage: http://bbs.360safe.com/forum-*-1.html$

Indexpage: http://ent.sina.com.cn/*/roll.html

不用通配符的:

Indexpage: http://roll.tech.sina.com.cn/internet_all/index.shtml

Indexpage: http://roll.tech.sina.com.cn/it/index.shtml

Indexpage: http://roll.tech.sina.com.cn/tele/index.shtml

Indexpage: http://roll.tech.sina.com.cn/discovery/index.shtml

Indexpage: http://roll.tech.sina.com.cn/elec/index.shtml

回到顶部 ↑

对快3电子走势图软件,Robots协议的善意使用

快3电子走势图软件,Robots协议是一个搜索引擎和网站之间的善意协议,我们鼓励站长们也以善意的方式使用这一协议,尽量提供准确的信息,除非有充足理由,不使用快3电子走势图软件,Robots协议屏蔽某些特定搜索引擎爬虫。

快3电子走势图软件大发5分快乐8微信群愿和站长们一起,共建一个更健康、公平、透明的搜索引擎生态系统。



 
Copyright © 360.CN All Rights Reserved.