知名網(wǎng)站的技術性發(fā)展史
Google現(xiàn)階段Alexa排行第一。它問世于一九九七年，那時候是一個探究性新項目，每個月build一次數(shù)據(jù)庫索引，build出去的數(shù)據(jù)庫索引根據(jù)sharding（shard by doc）的方法分散化到幾臺網(wǎng)絡服務器（Index Server）上，實際的網(wǎng)頁頁面數(shù)據(jù)信息一樣根據(jù)sharding的方法分散化到幾臺網(wǎng)絡服務器（Doc Server）上，當客戶遞交要求時，根據(jù)前端開發(fā)的一臺網(wǎng)絡服務器將要求遞交給Index Server得到打過分的倒排索引，隨后從Doc Server獲取實際的網(wǎng)頁頁面信息內(nèi)容（比如網(wǎng)頁頁面題目、關鍵詞搜索配對的精彩片段信息內(nèi)容等），最后呈現(xiàn)給客戶。
伴隨著數(shù)據(jù)庫索引的
北京市網(wǎng)站制作(www.ttscar.com.cn)提升，這一構造可根據(jù)提升Index Server及其Doc Server來儲存數(shù)據(jù)庫索引及其網(wǎng)頁頁面的數(shù)據(jù)信息，但依然會遭遇別的許多層面的難題，因此在這里以后的十多年的時間里，Google干了許多事兒來改善上邊的構造。
1998年，Google提升了一個Cache Cluster，用于Cache查尋的數(shù)據(jù)庫索引結果和文本文檔精彩片段信息內(nèi)容，另外將Index Server和Doc Server根據(jù)Replicate的方法變成了Cluster。這兩個更新改造產(chǎn)生的益處是網(wǎng)址的響應時間、可支撐點的瀏覽量及其易用性（Availability）獲得了提高。這一轉變導致了成本費的提升，Google在硬件配置層面的設計風格自始至終是無需價格昂貴的高檔硬件配置，只是在手機軟件方面來為了確保的可信性及性能卓越，因此同一年，Google剛開始選用設計制作的網(wǎng)絡服務器來控制成本。2001年，Google剛開始設計制作DataCenter，選用了各種各樣方式 （比如選用別的的致冷方式 來取代中央空調）來優(yōu)化PUE（電力能源使用率），另外對設計制作的網(wǎng)絡服務器也干了許多化。二零零一年，Google對Index的文件格式開展了改動，將全部的Index放進運行內(nèi)存， 此次更新改造產(chǎn)生的益處是網(wǎng)址的響應時間及其可支撐點的瀏覽量獲得了巨大的提高。二零零三年，Google發(fā)布了文章內(nèi)容Google Cluster Architecture，其Cluster構造構成為硬件配置LB Index Cluster Doc Cluster 很多便宜網(wǎng)絡服務器（比如IDE電腦硬盤、高性價比的CPU等），根據(jù)并行計算 sharding來確保在減少對硬件配置規(guī)定的另外，響應時間依然迅速。同一年Google發(fā)布了有關Google系統(tǒng)文件的畢業(yè)論文（GFS在2001年就早已發(fā)布），這篇畢業(yè)論文非常大水平也最能體現(xiàn)Google無需價格昂貴硬件配置的設計風格，根據(jù)GFS 很多便宜的網(wǎng)絡服務器就可以儲存很多的數(shù)據(jù)信息。04年，Google再度對Index的文件格式開展了改動，促使網(wǎng)址的響應時間再次提高。同一年Google發(fā)布有關MapReduce的畢業(yè)論文，根據(jù)MapReduce 很多便宜的網(wǎng)絡服務器就可以迅速進行之前要應用價格昂貴小型服務器、中型機乃至是中型機才可以進行的測算每日任務，而這顯而易見針對Google迅速地搭建數(shù)據(jù)庫索引出示了非常大的協(xié)助。二零零六年，Google發(fā)布了有關BigTable的畢業(yè)論文（二零零三年剛開始發(fā)布），促使大量數(shù)據(jù)的分析可以做到在線系統(tǒng)的規(guī)定了，這針對Google提高網(wǎng)址的響應時間具有了非常大的協(xié)助。
之上3篇畢業(yè)論文改變了業(yè)內(nèi)針對海量信息的儲存、剖析和查找的方式 （傳聞：Google內(nèi)部完成了GFS、MapReduce、BigTable的更換），也確立了Google在業(yè)內(nèi)的技術性領導干部影響力。
在一些情景中，Google也選用MySQL來儲存數(shù)據(jù)信息。一樣，Google對MySQL也干了許多改動，它應用的MySQL信息內(nèi)容能夠 從https://code.google.com/p/google-mysql/掌握。
二零零七年，Google將build數(shù)據(jù)庫索引的時間減少到分鐘級，當新網(wǎng)頁頁面出現(xiàn)后，數(shù)分鐘后就可以在Google檢索到，另外將Index Cluster根據(jù)Protocol Buffers對外開放出示Service，以供Google各種各樣檢索（比如網(wǎng)頁頁面、照片、新聞報道、書本等）應用，除開Index Cluster出示的Service外，也有許多別的的Service，比如廣告宣傳、詞法查驗等。Google的一次檢索大約必須啟用內(nèi)部50個之上的Service，Service關鍵用C 或Java來撰寫。二零零九年，Google的一篇《How Google uses Linux》文章內(nèi)容，表明了Google在提高設備使用率層面也干了許多的勤奮，比如將不一樣資源耗費種類的運用布署在同一臺設備上。
在以后，Google又產(chǎn)品研發(fā)了Colossus（下一代類GFS系統(tǒng)文件）、Spanner（下一代類BigTable海量存儲和測算構架）、即時檢索（根據(jù)Colossus完成），關鍵全是為了更好地提高檢索的實用性及其儲存大量數(shù)據(jù)信息。除開在海量信息有關技術性上的創(chuàng)新外，Google也持續(xù)對業(yè)內(nèi)的傳統(tǒng)式技術性開展自主創(chuàng)新，比如提升TCP的原始時延對話框值、改善HTTP的SPDY協(xié)議書、新的圖片的格式WebP等。
在Google的發(fā)展趨勢全過程中，其技術性的更新改造關鍵緊緊圍繞在可伸縮性、特性、成本費和易用性4個層面，Google不選用價格昂貴硬件配置的設計風格及其領跑別的網(wǎng)址的信息量決策了其技改項目基礎全是對傳統(tǒng)式的硬件軟件技術性的創(chuàng)新。
Facebook現(xiàn)階段Alexa排行第二。它選用LAMP搭建，伴隨著業(yè)務流程的發(fā)展趨勢，它也從技術上干了許多更新改造。
做為更新改造的第一步，F(xiàn)acebook最先在LAMP構造中提升了Memcached，用于緩存文件各種各樣數(shù)據(jù)信息，進而大幅提高系統(tǒng)軟件的響應速度及其可支撐點的瀏覽量，以后又提升了Services層，將News Feed、Search等較通用性的作用做為Service出示給前端開發(fā)的PHP系統(tǒng)軟件應用，前端開發(fā)的系統(tǒng)軟件根據(jù)Thrift瀏覽這種Service。Facebook選用了多語種來撰寫各種各樣不一樣的Service，主要是對于不一樣的情景挑選適合的語言，比如C 、Java、Erlang。
很多應用Memcached及其瀏覽量的持續(xù)增漲，造成瀏覽Memcached的數(shù)據(jù)流量很大，網(wǎng)絡交換機沒法支撐點，F(xiàn)acebook根據(jù)更新改造選用UDP的方法來瀏覽Memcached，以減少單聯(lián)接上的數(shù)據(jù)流量。此外，也有別的一些更新改造，實際信息內(nèi)容能夠 查詢http://on.fb.me/8R0C。
PHP做為開發(fā)語言，優(yōu)點是開發(fā)設計簡易、易入門，缺點是必須耗費較多的CPU和運行內(nèi)存。當Facebook的瀏覽量提高來到一定經(jīng)營規(guī)模后，這一缺點就非常明顯了，因此從二零零七年起，F(xiàn)acebook就試著多種多樣方式 來處理這個問題，最終問世于Facebook Hackathon的HipHop商品取得成功地出類拔萃。
HipHop能夠 全自動將PHP轉換為C 編碼，F(xiàn)acebook在應用HipHop后，同樣配備的設備，可支撐點的要求量是以前的6倍，CPU的利用率均值降低了50%，進而為Facebook節(jié)約了很多服務器。未來Facebook還會繼續(xù)對HipHop開展再度改善，根據(jù)HipHop將PHP編譯程序為bytecode，放進HipHop VM中實行，再由HipHop VM來編譯程序為設備編碼，方法與JIT相近。
二零零九年，F(xiàn)acebook產(chǎn)品研發(fā)了BigPipe，依靠此系統(tǒng)軟件，F(xiàn)acebook取得成功讓網(wǎng)址的速率提高了二倍。伴隨著Facebook瀏覽量的增漲，搜集諸多網(wǎng)絡服務器上的實行系統(tǒng)日志也剛開始遭遇挑戰(zhàn)，因此Facebook產(chǎn)品研發(fā)了Scribe來處理此難題。針對儲存在MySQL中的數(shù)據(jù)信息，F(xiàn)acebook選用豎直分拆庫和水準分拆表的方法來支撐點持續(xù)提高的信息量。做為Facebook技術性管理體系中關鍵的一環(huán)，F(xiàn)acebook也對MySQL開展了許多優(yōu)化和改善，比如Online Schema Change等，其他信息由此可見http://www.facebook.com/MySQLAtFacebook。
發(fā)展趨勢之初的Facebook選用了高檔的儲存設備（比如NetApp、Akamai）來存照片，伴隨著照片持續(xù)提升，成本費也大幅度提高，因此二零零九年Facebook開發(fā)設計了Haystack來儲存照片。Haystack可選用便宜的PC Server開展儲存，大幅度減少了成本費。
Facebook除開應用MySQL儲存數(shù)據(jù)信息外，近些年也剛開始探索選用新的方法。在2008年Facebook開發(fā)設計了Cassandra，在Message Inbox Search中做為新的儲存方法。但是在二零一零年，F(xiàn)acebook又放棄了Cassandra，變?yōu)檫x用HBase做為其Messages的儲存，并在二零一一年將HBase運用在了Facebook大量的新項目上（比如Puma、ODS）。聽說，如今Facebook也是在試著將其客戶及其關系數(shù)據(jù)從MySQL轉移到HBase。
從二零零九年剛開始，F(xiàn)acebook試著設計制作DataCenter及其網(wǎng)絡服務器，以減少其運作成本費，并擴大開放了其搭建的PUE僅1.07的DataCenter的有關技術性。Facebook在技術性層面的基本準則是：“在可用開源系統(tǒng)商品的狀況下就用開源系統(tǒng)，依據(jù)狀況對其開展優(yōu)化并意見反饋給小區(qū)”。從Facebook的技術性發(fā)展史上能夠 見到這一標準
狠下功夫，F(xiàn)acebook的技改項目也主要是緊緊圍繞在可伸縮式、特性、成本費和易用性4個層面。
Twitter現(xiàn)階段Alexa排行第八。在二零零六年問世之際是選用Ruby On Rails MySQL搭建的，二零零七年提升了Memcached做為Cache層，以提高響應時間。根據(jù)Ruby on Rails讓Twitter享有來到迅速的開發(fā)設計工作能力，但伴隨著瀏覽量的提高，其對CPU和運行內(nèi)存的耗費也讓Twitter苦不堪言，因此Twitter干了許多更新改造和勤奮，比如撰寫了一個優(yōu)化版的Ruby GC。
2008年Twitter決策逐漸往Java轉移，挑選了Scala做為主要的編程語言（原因是“無法向一房間的Ruby程序猿推銷產(chǎn)品Java”），選用Thrift做為其關鍵的通訊架構，開發(fā)設計了Finagle做為其Service Framework，可將后端開發(fā)各種各樣作用曝露為Service出示給前端開發(fā)系統(tǒng)軟件應用，促使前端開發(fā)系統(tǒng)軟件不用關注各種各樣不一樣的通訊協(xié)議（比如針對使用人可以用一樣的啟用服務項目的方法去瀏覽Memcache、Redis、Thrift服務器端），開發(fā)設計了Kestrel做為其消息中間件（取代以前用Ruby寫的Starling）。
Twitter的數(shù)據(jù)儲存一直選用MySQL，發(fā)展趨勢全過程中出現(xiàn)的小插曲是，當Facebook開源系統(tǒng)了Cassandra時，Twitter本方案應用，但最后還是舍棄，依然維持了應用MySQL，Twitter的MySQL版本號已開源系統(tǒng)（https://github.com/twitter/mysql）。Twitter也是選用分庫分表的方法來支撐點大信息量，應用Memcached來Cache tweet，timeline的信息內(nèi)容則轉移為用Redis來Cache。
二零一零年，Twitter在圣何塞有著了第一個建造的DataCenter，主要是為了更好地提升可操控性。從Twitter的發(fā)展趨勢全過程看，六年來它的技改項目關鍵緊緊圍繞可伸縮式及其易用性。
做為一家電商網(wǎng)址的職工，請允許我在這里詳細介紹這一Alexa排行21的知名電商網(wǎng)址的技術性演化。
1996年，eBay問世，那時候選用CGI撰寫，數(shù)據(jù)庫查詢選用的是GDBM，數(shù)最多只有支撐點五萬件線上產(chǎn)品。一九九七年，eBay將電腦操作系統(tǒng)從FreeBSD轉移到Windows NT，此外將數(shù)據(jù)庫查詢從GDBM轉移為Oracle。1998年，eBay將前端開發(fā)系統(tǒng)軟件更新改造為Cluster（以前僅有一臺服務器），選用Resonate做為三層交換機，后端Oracle設備升級為Sun E1000小型服務器，同一年給數(shù)據(jù)庫查詢提升了一臺設備做為備庫，提高易用性。前端開發(fā)設備伴隨著瀏覽量持續(xù)提升還能夠應對，但數(shù)據(jù)庫查詢設備在1998年十一月時早已做到了短板（早已不可以再加CPU和運行內(nèi)存了），因此在十一月剛開始將數(shù)據(jù)庫查詢按業(yè)務流程拆分成好幾個庫。2001-二零零二年，eBay將數(shù)據(jù)分析表開展了水準分拆，比如按品類儲存產(chǎn)品，另外布署Oracle的小型服務器改成Sun A3500。二零零二年，將全部網(wǎng)址轉移為用Java搭建，在這個環(huán)節(jié)，干了DAL架構來屏蔽掉數(shù)據(jù)庫查詢分庫分表產(chǎn)生的危害，另外還設計方案了一個開發(fā)框架以供開發(fā)者更強地面上手開展作用開發(fā)設計。從eBay的全部發(fā)展趨勢全過程看來，技改項目關鍵緊緊圍繞在可伸縮性和易用性二點。
騰訊官方現(xiàn)階段Alexa排行第9。最開始QQ IM選用的是每臺接入服務器來解決客戶的登陸和情況維持，但在發(fā)展趨勢到一百萬客戶線上PK時，這臺網(wǎng)絡服務器早已沒法支撐點。因此QQ IM將全部每臺網(wǎng)絡服務器更新改造為了更好地群集，并提升了情況同歩網(wǎng)絡服務器，由其進行群集內(nèi)情況的同歩，客戶的信息內(nèi)容儲存在MySQL中，干了分庫分表，朋友關聯(lián)儲存在自主完成的文檔存儲中。為了更好地提高進程間通信的高效率，騰訊官方自主完成了客戶態(tài)IPC。以后騰訊官方將情況同歩網(wǎng)絡服務器也更新改造為同歩群集，以支撐點愈來愈多的線上客戶。在經(jīng)歷了前邊幾回更新改造后，已基礎能支撐點干萬級別的客戶線上PK，但易用性較為差，因此騰訊官方對QQ IM再度開展更新改造，完成了同城網(wǎng)跨IDC的容災備份，提升了監(jiān)管和運維系統(tǒng)的基本建設。自此騰訊官方?jīng)Q策對QQ IM構架徹底重新寫過（大約是二零零九年不斷到現(xiàn)在），主要是為了更好地提高協(xié)調能力、適用跨大城市的IDC、支撐點上千萬的朋友。在此次大的技改項目全過程中，騰訊官方的數(shù)據(jù)信息都已不儲存于MySQL中，只是所有儲存在了自身設計方案的系統(tǒng)軟件里。
從QQ IM的技術性演化看來，其技改項目主要是緊緊圍繞在可伸縮性和易用性上。
二零零三年，淘寶網(wǎng)問世，立即選購了一個商業(yè)服務的phpAuction的手機軟件，在這個基礎上更新改造造成了淘寶網(wǎng)。04年，將系統(tǒng)軟件由PHP轉移到Java，MySQL轉移為Oracle（小型服務器、高檔儲存設備），網(wǎng)站服務器選用了WebLogic。2005-二零零七年的發(fā)展趨勢全過程中，用JBoss取代了WebLogic，對數(shù)據(jù)庫查詢開展了分庫，根據(jù)BDB干了分布式緩存，自主開發(fā)設計了分布式存儲TFS以適用小文檔的儲存，并基本建設了自身的CDN。2007-二零零九年對軟件系統(tǒng)開展豎直分拆，分拆后的系統(tǒng)軟件都以Service的方法對外開放出示作用，對數(shù)據(jù)信息選用了豎直和水準分拆。
在開展了數(shù)據(jù)信息的豎直和水準分拆后，Oracle造成的成本費愈來愈高，因此在以后的兩年，淘寶網(wǎng)又剛開始將數(shù)據(jù)信息慢慢從Oracle轉移到MySQL，另外剛開始試著新式的數(shù)據(jù)儲存計劃方案，比如選用HBase來支撐點歷史時間買賣訂單信息的儲存和查找等。近些年淘寶網(wǎng)剛開始開展Linux核心、JVM、Nginx等手機軟件的改動訂制工作中，另外也設計制作了節(jié)能型網(wǎng)絡服務器，另外在硬件軟件上開展優(yōu)化，以能夠更好地控制成本。
從淘寶網(wǎng)的全部發(fā)展趨勢全過程看來，技改項目關鍵緊緊圍繞在可伸縮性和易用性二點，如今也剛開始慢慢將活力資金投入在了特性和成本費上。現(xiàn)階段淘寶網(wǎng)的Alexa排行為第14。
小結
從上邊這種Alexa排行靠前網(wǎng)址的技術性發(fā)展趨勢全過程看來，各家網(wǎng)址因為其所擔負的業(yè)務流程不一樣、精英團隊工作人員構成不一樣、辦事設計風格不同，在技術性的不一樣發(fā)展趨勢環(huán)節(jié)中會選用不一樣的方式 來支撐點業(yè)務流程的發(fā)展趨勢，但基礎都是會緊緊圍繞在可伸縮性、易用性、特性及其成本費這4點上，在發(fā)展趨勢到較為規(guī)模性后，各網(wǎng)址在技術性構造上擁有許多的類似點，而且這種構造還將再次開展演化。
著作人林昊，任職于淘寶網(wǎng)，2007-二零一零年承擔設計方案和完成淘寶網(wǎng)的服務項目架構，此服務項目架構在淘寶網(wǎng)大規(guī)模應用，每日擔負了150億 的要求；二零一一年剛開始承擔HBase在淘寶網(wǎng)的落地式，現(xiàn)階段淘寶網(wǎng)現(xiàn)有20個之上的線上新項目在應用HBase。
其他: Cassandra
設計方案Cassandra儲存的情況下，書里提議要緊緊圍繞著查尋模型，而不是最開始對數(shù)據(jù)信息開展模型。有些人抵制這一，覺得查尋的種類轉變太快。作者是那樣辯駁的：查尋種類和數(shù)據(jù)信息自身都是有轉變的。Cassandra最壓根的實體模型是簡易的kv，因此，還是得盡量的緊緊圍繞查尋模型。這兒如何更強的融洽，是一個有挑戰(zhàn)的事兒。
Cassandra的column family如同一個表結構，改動了要重新啟動，一個cf獨立一個文檔，一行數(shù)據(jù)信息能夠 有好幾個column family。user是一個family, user_ext一個family, row key 為uid, 覺得cassandra用起來會更像db，
Youtube的社交媒體發(fā)展趨勢主管Kevin Allocca表述最紅的youtube視頻的三個相同點。1、Tastemakers － 大咖的強烈推薦。 2、Community － 斗志投緣的人群。 3、Surprise － 出乎意料的驚訝。
Cassandra在360的運用，客戶網(wǎng)址收藏夾、圖片外鏈、垂直搜索等線上業(yè)務流程有很多儲存要求，充分考慮MySQL不可以滿足需求，可是HBase有Availabilty的缺陷，因此挑選了Cassandra，現(xiàn)階段經(jīng)營規(guī)模是600~700臺，年末預估1500上下，現(xiàn)階段沒有有過大的常見故障。估算是世界最大經(jīng)營規(guī)模Cassandra群集
Key-Value，Column oriented，Document oriented三個定義的差別和聯(lián)絡誰可以給我表述清晰。看過圖上的區(qū)劃，我完全糊里糊涂了。我一直以為三者是一回事兒
：息序列傳送：kafka，timetunnel，kestrel，scribe；列儲存數(shù)據(jù)庫查詢行業(yè)hbase；kv型數(shù)據(jù)庫查詢：cassandra，riak，voldemort，tair；文本文檔數(shù)據(jù)庫查詢：mongodb，couchdb；圖型數(shù)據(jù)庫查詢：neo4j，pregel，flockdb；流式計算：storm，iprocess；即時測算：prom；圖型測算：pregel，apache hama；線下測算：hive，spark。
facebook 部分kv到期用繁雜的內(nèi)層處理
mysql上沒有join查尋，并選用價格昂貴的Fusion IO。nginx好于lighttpd。scribe是個好產(chǎn)品
文中公布于北京市網(wǎng)站制作企業(yè)酷站科技http://www.ttscar.com.cn">
來源于申明：以上內(nèi)容一部分(包括照片、文本)來自互聯(lián)網(wǎng)，若有侵權行為，請立即與本網(wǎng)站聯(lián)絡（010-57218159）。
如沒特殊注明，文章均為酷站科技原創(chuàng),轉載請注明來自http://www.ttscar.com.cn/jianzhanzhishi/3812.html
服務熱線
18911184380
