Hadoop

上圖就是年僅24歲(May 14, 1984)Facebook的創辦人「Mark Zuckerberg」~ XD

Facebook．採用了Hadoop來作為後端整個分散式平行處理的Framework~

它們用了將近2,500個CPU核心~ 如果以Dual Core的CPU來計算的話~ 那他們光是電腦硬體設備就有1,250多台~ 儲存空間也多達1PB(PetaByte)~ 遠比Wikia.com的125台多了整整十倍~ 不過還是比Yahoo!少~ Yahoo!將近有10,000台(2007)~ 而我家只有... 3台~ 那A差那麼多~ ^^a 因為革命尚未成功啦~ XD

有興趣的朋友來看看這篇由Facebook的工程師「Joydeep」寫的Hadoop分享文~ Engineering @ Facebook's Notes - Hadoop

Doug Cutting真是偉大~ ^^b

上面這張圖是我親愛的指導老師「游耿能」老師幫我要到的三台伺服器~ 讓我得以玩「Hadoop」~ ^^v

感謝老師呀!~ 您總是那麼的支持我!!! T_T 感動...

雖然只有三台~ 不過~ 對我來說夠了~ 三台就很了不起了~

上個月就已經在學校將Hadoop的整個環境給它架設起來~

不過有個問題... 我根據Hadoop官網的「Quickstart」教學來跑一個範例~ 可是每次在執行時總會停在「reduce」階段就不動了... 有沒有人也在玩的~ 大家交流一下吧~

找個時間再來研究一下~ 這對於Inverted Index的產出效率可是有非常大的幫助 ^^b

Open Source Developers' Conference in Taiwan．我報名了這次「OSDC.TW 2008」，預計將於4月12、13兩天上台北參與這次的研討會~ 這次的OSDC.TW 2008 議程包含了我最感興趣的「Hadoop」，還有許多Open Source相關的工具~ 從熱的發燙的RoR、Yahoo! User Interface(YUI)還有之前曾在meeting時所報告過的Google Gears等等… 其實很多都想去聽聽看~ 來去吸收吸收~ 畢竟系上邀請校外演講的次數相當少~ 就算有~ 或許和自己領域可能也毫無相關~ 那倒不如主動積極去參與這種一年舉辦一次的研討會~ 或許一整年就那麼一次~ 有沒有要一起參與的呀 ^^ GoGoGo~

P.S. 此研討會人數限制200人~ (目前已有78人參與於 2008.02.21 21:50 PM)

(MapReduce執行架構圖)

MapReduce: Simplified Data Processing on Large Clusters．最近有時候都會拿起這份Google's paper來瞄一瞄~ 此paper是由Jeffrey Dean和Sanjay Ghemawat所共同發表於「OSDI'04: Sixth Symposium on Operating System Design and Implementation, San Francisco, CA, December, 2004.」

而前陣子Google大軍來台推廣的「Cloud Computing」就是建構在「MapReduce」programming model之上~ 重點就在於MapReduce的概念係取自於「Functional Programming」，換句話說，如果不了解「Functional Programming」就不可能創造出「MapReduce」(Can Your Programming Language Do This?)，而我... 還真沒玩過，對「Functional Programming」一點概念都沒有，更別說要馬上就看懂這一篇paper~ 目前看的進度只有二、三趴... A害~ ||>"<||

不過看到目前為止還是蠻有收獲的~ 我論文所用到的Thread Pool概念上其實是有點類似的，差別在於我的worker是分別用來負責下載和剖析的處理，而MapReduce則是用來處理map和reduce的工作，也就是說兩者都要先進行下載/map工作後才能交由另一個Pool中的worker接著進行剖析/reduce的工作，雖然如此~ 但還是要趕緊從「Functional Programming」來打底~ 剛剛Survey了一些相關資料~ 就先寫下來~ 之後再慢慢的來咀嚼...

相關文章

．一個值得研究的領域 - Hadoop

．Google - Cloud Computing

Functional Programming相關文章

．函數編程之風雲再起

．談 F u n c t i o n a l P r o g r a m m i n g

． Introduction to Functional Programming

Haskell (Functional Programming) 相關資源

．Haskell - wikipedia

．Haskell - offical website

．Programming in Haskell

．Haskell Tutorial for C Programmers

．Learn Haskell

(圖片來源：與學界合作 Google推廣「雲端運算技術」，若有侵權請來信告知，謝謝!)

Cloud Computing．可以參考下述幾篇文章和新聞：

．與學界合作 Google推廣「雲端運算技術」

．台大/交大參與Google海外第一波雲端運算學術計畫

．推動雲端運算　Google從台灣首航

．Google雲端運算計畫 來台找創意

．雲端運算 網路服務超強超快

．Google秘密武器...雲端運算(Cloud Computing)

．Google and IBM Announce University Initiative to Address Internet-Scale Computing Challenges

讀完這些文章應該就會有些概念了~

由此可知「Hadoop」的重要性了，由於Google在1月29、30兩天來台灣舉辦Google Cluster Computing Workshop，不過只開放20個有意願推廣的老師名額~ 所以想當然我一定觸及不到邊的XD(其實蠻想參加的::>_<::)~ 而且這幾天利用「Hadoop」關鍵字連結到我先前所寫的一篇文章「一個值得研究的領域 - Hadoop」也變多了~ 只是不曉得何年何月才能對它開始研究...

相關資源

Cloud computing with Hadoop