18911184380
大家都了解大約是“百度有啊”發(fā)布以前，淘寶為了更好地防止百度搜索故意爬取，立即屏蔽掉百度爬蟲，也就是那時候鬧得議論紛紛的robots.txt協(xié)議書 。
就算是如今進入淘寶的robots.txt協(xié)議書，仍然能夠 見到淘寶網(wǎng)仍在屏蔽掉百度搜索的搜索引擎蜘蛛。
但是實際上確實這般么
事實上淘寶網(wǎng)的robots.txt文件壓根對百度爬蟲起不上一切功效。
小兄弟推斷百度搜索往往那么做是由于百度搜索充分考慮發(fā)展戰(zhàn)略方位的難題，由于查尋了一下發(fā)覺一些著名店面在百度的排行都很非常好。足夠證實百度搜索對淘寶網(wǎng)這類店面的必要性。更為中國戲曲化的是天貓商城（淘寶網(wǎng)）也是應用robots.txt協(xié)議書的。一樣屏蔽掉百度爬蟲。
也有一種很有可能便是淘寶及其天貓商城的權(quán)重值太高了，造成了百度爬蟲不遵照百度搜索引擎協(xié)議書而開展的爬取。但是針對這類事兒能夠 想到到前些生活，一淘網(wǎng)故意爬取京東及其新蛋網(wǎng)等的產(chǎn)品數(shù)據(jù)信息，也不是遵照百度搜索引擎標準的。
直到如今京東等也在屏蔽掉一淘網(wǎng)的搜索引擎蜘蛛，
我想說的是如今的百度搜索引擎為了更好地本身權(quán)益而不遵照互聯(lián)網(wǎng)協(xié)議的標準，是值得注意的，號召這類互聯(lián)網(wǎng)技術(shù)大企業(yè)能在全部IT領(lǐng)域塑造樹立。
服務熱線
18911184380
留下聯(lián)系方式，我們將會在一個工作日內(nèi)與你聯(lián)系
