要不是周不器出面力保，上缴了非法所得，并安排到了校内网工作，他俩说不定就要蹲监狱了，前程就全毁了。
王小船接着说：“这是静态网站的爬取，如果是优酷、朋友网的这种动态页面，算法会相对复杂。
可不管怎样，这都是很基础的工具。
我们做搜索引擎，难点已经从复杂性变为规模量了。”
周不器皱皱眉，“老马……就是阿里的那位。
他跟我说，要屏蔽百度对淘宝的爬虫，怎么回事？”
王小船笑道：“这事也简单，爬虫和网站之间有一个爬取协议，业内叫robot协议。
这个协议会声明，该网站的哪些内容可以爬取，哪些内容不能爬取，并规定白名单里的爬虫可以爬取主页内容。
淘宝如果要屏蔽百度，只需要把百度的爬虫加到黑名单里就行了。”
“嗯！”
周不器点了点头。
这就是他想要的答案。
爬虫黑名单！
王小船似乎看出了什么，试探着说：“老板，你……你要对百度下手吗？”
周不器道：“我看了一下微知网的数据，过去3个月，有超过1.
1亿的访问量，是来自百度。”
王小船没有惊喜，深吸了口气，忧心忡忡的说：“微知的访问量本来就不高，如果屏蔽了百度，流量就更低了。”
周不器并不在乎，“微知不需要流量，微知需要的是优质内容。
你都说了，百度的算法不如谷歌，很难通过简单的数据处理完成对一些有深度内容的检索，来爬取微知的内容，是简洁途径。
有不少用户都是通过百度来访问微知，我们要断了这条线！”
王小船眨眨眼，“真要屏蔽吗？”
“当然。”
“可robot协议没有法律效力。”
“啥？”
“这个协议，是一种行业约束，君子协定，不是法律条文。
如果百度真想爬取微知的内容，完全可以通过技术手段跳过协议，强行爬取。”
周不器若有所思，“君子协定啊……如果强行爬取，有违商业道德？”
王小船点了点头，“可以这么理解。”
心中深深的不以为然。
商业道德？
这东西是一层窗户纸，一捅就破。
“如果违反了怎么办？”
“国外有过类似的案子，违反了协议，也被处罚了。
因为法官认为这个协议虽不是法律条文，但作为广泛被接受的行业规则，就应该被遵守。
不过国内好像不太行。
就像rss聚合器似的，可以去各个网站上订阅信息。
本章未完，请翻下一页继续阅读.........
王小船接着说：“这是静态网站的爬取，如果是优酷、朋友网的这种动态页面，算法会相对复杂。
可不管怎样，这都是很基础的工具。
我们做搜索引擎，难点已经从复杂性变为规模量了。”
周不器皱皱眉，“老马……就是阿里的那位。
他跟我说，要屏蔽百度对淘宝的爬虫，怎么回事？”
王小船笑道：“这事也简单，爬虫和网站之间有一个爬取协议，业内叫robot协议。
这个协议会声明，该网站的哪些内容可以爬取，哪些内容不能爬取，并规定白名单里的爬虫可以爬取主页内容。
淘宝如果要屏蔽百度，只需要把百度的爬虫加到黑名单里就行了。”
“嗯！”
周不器点了点头。
这就是他想要的答案。
爬虫黑名单！
王小船似乎看出了什么，试探着说：“老板，你……你要对百度下手吗？”
周不器道：“我看了一下微知网的数据，过去3个月，有超过1.
1亿的访问量，是来自百度。”
王小船没有惊喜，深吸了口气，忧心忡忡的说：“微知的访问量本来就不高，如果屏蔽了百度，流量就更低了。”
周不器并不在乎，“微知不需要流量，微知需要的是优质内容。
你都说了，百度的算法不如谷歌，很难通过简单的数据处理完成对一些有深度内容的检索，来爬取微知的内容，是简洁途径。
有不少用户都是通过百度来访问微知，我们要断了这条线！”
王小船眨眨眼，“真要屏蔽吗？”
“当然。”
“可robot协议没有法律效力。”
“啥？”
“这个协议，是一种行业约束，君子协定，不是法律条文。
如果百度真想爬取微知的内容，完全可以通过技术手段跳过协议，强行爬取。”
周不器若有所思，“君子协定啊……如果强行爬取，有违商业道德？”
王小船点了点头，“可以这么理解。”
心中深深的不以为然。
商业道德？
这东西是一层窗户纸，一捅就破。
“如果违反了怎么办？”
“国外有过类似的案子，违反了协议，也被处罚了。
因为法官认为这个协议虽不是法律条文，但作为广泛被接受的行业规则，就应该被遵守。
不过国内好像不太行。
就像rss聚合器似的，可以去各个网站上订阅信息。
本章未完，请翻下一页继续阅读.........