2008年9月9日,对于淘宝屏蔽百度蜘蛛,淘宝网公关总监卢维兴表示,淘宝上有一些用户的隐私数据是肯定不允许搜索引擎抓取的。对淘宝是否完全屏蔽了百度的索引,卢维兴表示对此还不清楚。
今天实际上已经是完全屏蔽了http://www.taobao.com/robots.txt 可以看出
User-agent: Baiduspider
...
2008年9月9日,对于淘宝屏蔽百度蜘蛛,淘宝网公关总监卢维兴表示,淘宝上有一些用户的隐私数据是肯定不允许搜索引擎抓取的。对淘宝是否完全屏蔽了百度的索引,卢维兴表示对此还不清楚。
今天实际上已经是完全屏蔽了http://www.taobao.com/robots.txt 可以看出
User-agent: Baiduspider
...