THERE IS NO END TO LEARNING

详解京东商城Robots.txt文件背后的故事

首先看下一淘的公告!

京东商城屏蔽一淘蜘蛛

 

然后再来看下SEO比较感兴趣京东商城的Robots.txt文件:
http://www.360buy.com/robots.txt
User-agent: * 该项的值用于描述搜索引擎robot的名字,*代表适用于所有搜索引擎;
Disallow: /?* 以Disallow项的值开头的URL不会被搜索引擎robot访问。这里的“*” 匹配0或多个任意字符。意思就是说不允许搜索引擎robot访问格式为:http://www.360buy.com/?*任意动态URL
Disallow: /pop/*.html 原理同上,意思就是说不允许搜索引擎robot访问格式为:http://www.360buy.com/pop/*.html任意以.html结尾的URL(包含子目录)。

User-agent: EtaoSpider 指定一淘的蜘蛛名称;
Disallow: / 原理同上,禁止爬取根目录下面所有内容;
 传送门:robots.txt文件的写法格式

京东商城对此回应称,其一直屏蔽一淘对京东数据的抓取。京东愿意和网易有道购物、易观等独立第三方数据调研公司保持合作,但拒绝与阿里巴巴集团所属的一淘进行合作,“因为其作为我公司的竞争对手难以保证数据的公正性”。
京东商城在价格战之后的这一举动在业界看来也在情理之中。价格战中,一淘发布的比价报告均不利于京东商城,因此京东屏蔽如意淘更像是一种防御措施。

此外,去年年底,京东商城就因为一淘抓取商品评价数据而发生纠纷。一淘最终宣布停止抓取京东评价数据。不过根据媒体报道记录,刘强东当时曾表态,“任何比价购物网站都可以抓取京东的商品信息,但是不能抓取京东的产品评价”。

点赞
  1. 子呆不呆说道:

    京东的做法,我认为一点都不妥,完全是逆着生态环境的发展。一淘的出现是电商和互联网必然的产物,就算一淘不出现,也会有其他的一淘出现,他这种完全屏蔽,在一定程度上看似保护了自己,其实我认为他会步清朝的后路。
    个人愚见,欢迎交流。
    例外,交换友链吧。我要的词是:子呆科学SEO

  2. SEO博客说道:

    朋友,博客还交换链接不

    1. 刘迎说道:

      可以啊,你要什么词 ?

  3. 常来看看,有来必有往!

  4. 淘宝皇冠店说道:

    看来是要阻止一淘的势头啊

  5. 海淘网说道:

    :sbq: 伤不起呀

  6. 村长说道:

    来看看,记的回访哦

Comments are closed.