88读书网

手机浏览器扫描二维码访问

第768章 爬虫(第2页)

在大方向的理论上,周大老板比一些专业人士还强。

王小船深以为然,“是啊,大数据的处理。百度和谷歌的差距,微点和百度的差距,最主要的就是体现在我们在数据处理时的效率问题。按理来说,通过爬虫技术,可以抓取到互联网上所有信息。可相关信息太多了,数据量太大了。怎么才能在短时间内把想要的信息抓取并展示出来,是搜索引擎最大的技术难题。”

周不器打了个响指,笑道:“巧了,我这次过来,就是想问问你爬虫的事。”

王小船有些费解。

周大老板这个技术外行,怎么还关心起技术细节来了?

就缓缓的解释道:“爬虫是搜索的基础工具,爬虫搜信息……嗯,就跟使用浏览器上网差不多,都是先向服务器发送请求,获得返回的页面,然后筛选出有价值的内容。如果时间足够长计算量足够大,使用爬虫工具,就可以把互联网上的所有信息都搜索一遍。”

见周大老板似乎很感兴趣的样子。

王小船就拿过纸笔,很快速的写下了一行代码,“假如说我们要爬取微知网的信息,用这行代码就可以实现了。”

周不器拿过代码一看,嗯,是很简单。

headers={‘Use-Agent’:‘ChaiknowsThebot’,}

r=requests.gets(“

html=r.text

print(html)

难怪说3月份的时候,北科有两个计算机系的大学生被开除了。

这技术好像是不太难。

因为大四写论文,可用谷歌、百度、微点等搜索引擎,却搜不到别人写的相关论文。怎么办?就有计算机系的学生,自己写了段爬虫算法。

然后成功的爬取到了几百篇相关论文。

接下来就好办了,摘抄、重组、整合。

如果查重不过关,也简单,用谷歌翻译,先汉译英、再英译汉。再人工地把句子整理通顺,查重就顺利通过。

可能是北科的创业环境被周不器给带起来了,那俩大学生就有了通过技术牟利的心思,玩起了帮同学写论文的生意。

被发现后,俩人都被开除了。

要不是周不器出面力保,上缴了非法所得,并安排到了校内网工作,他俩说不定就要蹲监狱了,前程就全毁了。

王小船接着说:“这是静态网站的爬取,如果是优酷、朋友网的这种动态页面,算法会相对复杂。可不管怎样,这都是很基础的工具。我们做搜索引擎,难点已经从复杂性变为规模量了。”

周不器皱皱眉,“老马……就是阿里的那位。他跟我说,要屏蔽百度对淘宝的爬虫,怎么回事?”

王小船笑道:“这事也简单,爬虫和网站之间有一个爬取协议,业内叫Robot协议。这个协议会声明,该网站的哪些内容可以爬取,哪些内容不能爬取,并规定白名单里的爬虫可以爬取主页内容。淘宝如果要屏蔽百度,只需要把百度的爬虫加到黑名单里就行了。”

“嗯!”

周不器点了点头。

这就是他想要的答案。

爬虫黑名单!

陈平江婉有钱就是了不起  美漫之祖安怒兽  我治妖兽超厉害  我能复印别人的能力  小说陈平江婉  穿越异界成鲲鹏  八荒战神  太子妃逃婚记  在超神学院的王者荣耀  答题就给一个亿  末世江湖狩猎指南  八荒战神陈八荒方静  潜龙至尊唐三葬  道破逆乾坤  农家美好小生活  请仙儿夜白  玛法法神传  首富从特价购物系统开始  请仙儿石晓晓饶夜炀  潜龙至尊  

热门小说推荐
宇宙第一醋神

宇宙第一醋神

混娱乐圈的都知道,萧风瑜是个乐观开朗大咧咧什么都不计较的人主持人在户外访谈问有什么事儿会让你大发雷霆吗?萧风瑜笑的矜持大方怎么会,我入行十年了,还有什么大风大浪是我没见过的?主持人正要夸奖风瑜心胸开阔,见多识广,却见她的笑容逐渐褪去。大家回头一看。只见拍摄区外,前来探班的影后何芸涵正低头跟年轻的美女歌姬说着什么。当镜头再次对准萧风瑜的时候。萧风瑜淡淡的说不好意思,我要大发雷霆了。主持人围观群众本文4月11日开V,请大家支持正版叶子的接档文强撩当苏敏还是小白兔,跟在...

战神狂婿

战神狂婿

五年前,他是落魄贵族,被疯狂追杀。五年后,他是震慑全球的无上战神,更是被称为地下世界的嗜血冥王!如今载誉归来,却娶了亚洲第一富婆兼美女。女主李不凡,你就是个窝囊废,你配不上我,永远别想让我爱上你!几个月后,女主不凡,求求你跟我结婚吧,我给你生孩子,几个都行...

婚婚欲醉:二爷,你动心了

婚婚欲醉:二爷,你动心了

面对盲婚哑嫁,他宁可装瞎,她不肯作哑。为了让她心甘情愿给他生儿育女,他步步为营,腹黑谋划。本是与爱无关的一场契约,最终他却深陷其中,无法自拔。后来,世人皆知,纪魔头的心头肉是个绰号腿精颜神的女人。可偏偏,腿精颜神不是一盏省油的灯,她爬过裴圣妖的墙,踹过黎煞星的们,甚至,身兼秦谪仙的白月光...

都市兵王

都市兵王

他是战场上最强的利剑,是血色的风暴,他所到之处血雨腥风,却受命退伍,返回都市,开启了一段香艳而疯狂的征服之路。男人见了他色变,女人见了他‘变色’,无论是战场还是繁华都市,他都是最强大的男人,最碉堡的战兵。...

血腥科技有限公司

血腥科技有限公司

在毕业等于失业的年代,成绩并不好的司马朗神奇的找到了一份工作。可是,当他拿着录用通知单,乘坐公交车来到公司的报到的时候,才发现,这并不是一家什么软件企业。这家公司名为血腥科技有限公司,着落在血腥软件园,整个公司就是一座巨大的坟头,而工作是做着一个又一个的血腥任务。他不断的积攒血腥币,只为,那六年后,合同期满,能够如愿的回到现实世界与家人团聚!郑重提醒当你接到录用通知单的时候,不要高兴的太早,或许,这是来自某个血腥世界的邀请函,嘿嘿...

每日热搜小说推荐