如沐博客-互联网观察者

致力于互联网产业的发展

[置顶] 十年技术 不要再迷茫

[置顶] 程序员应聘面试经验谈

[置顶] 最近手头紧,出几个域名,基本上都是老米

Google & 百度搜索引擎ping服务实现

采集站需要的是三点:

1.采集速度,能否保证原创出现10s内,将这个内容采集到自己的网站上?

2.SEO,在不影响阅读,不影响内容正确性的前提下适度伪原创;keyword,description等。

3.大量数据,采集大量数据,数据库优化要做好。

...

[转]淘宝百度C2C正面交锋 淘宝屏蔽百度蜘蛛

2008年9月9日,对于淘宝屏蔽百度蜘蛛,淘宝网公关总监卢维兴表示,淘宝上有一些用户的隐私数据是肯定不允许搜索引擎抓取的。对淘宝是否完全屏蔽了百度的索引,卢维兴表示对此还不清楚。

  今天实际上已经是完全屏蔽了http://www.taobao.com/robots.txt   可以看出

  User-agent: Baiduspider
...

分页:[«]1[»]

Copyright 2010-2018 25230.NET All Rights Reserved.