IT｜軟體｜分散式運算｜Hadoop 在樹莓派運行

2016年4月26日 Hadoop 介紹資料
Hadoop 2.x和1.x已經大不相同了，應該說對於存儲計算都更加通用了。Hadoop 2.x實現了用來管理集群資源的YARN框架，可以面向任何需要使用基於HDFS存儲來計算的需要，當然MapReduce現在已經作為外圍的插件式的計算框架，你可以根據需要開發或者選擇合適的計算框架。目前，貌似對MapReduce支持還是比較好的，畢竟MapReduce框架已經還算成熟。其他一些基於YARN框架的標準也在開發中。
YARN框架的核心是資源的管理和分配調度，它比Hadoop 1.x中的資源分配的粒度更細了，也更加靈活了，它的前景應該不錯。由於極大地靈活性，所以在使用過程中由於這些配置的靈活性，可能使用的難度也加大了一些。另外，我個人覺得，YARN畢竟還在發展之中，也有很多不成熟的地方，各種問題頻頻出現，資料也相對較少，官方文檔有時更新也不是很及時，如果我選擇做海量數據處理，可能YARN還不能滿足生產環境的需要。如果完全使用MapReduce來做計算，還是選擇相對更加成熟的Hadoop 1.x版本用於生產環境。

2016年5月5日  MapReduce 概念
數錢幣故事來解釋MapReduce
MapReduce的基本概念其實不難懂，用一個真實的數錢幣故事來解釋。有位企業主為了刁難銀行，用50元硬幣和10元硬幣償還316萬元的貸款，數萬枚硬幣重達1公噸，還得找來吊車才能送到銀行，幾位行員七手八腳花了好幾個小時才清點完畢。銀行只要不斷加派人手，就能縮短清點時間，例如能立即找到100個人手，10分鐘內就能完成，不會影響到正常銀行運作。

就像這個不斷加派人手來清點錢幣的做法一樣，MapReduce可以不斷增加更多伺服器來提高運算能力，增加可承載的運算量。透過Map程式將資料切割成不相關的區塊，分配給大量電腦處理，再透過Reduce程式將結果彙整，輸出開發者需要的結果。

1.Map程式將資料切割成不相關的區塊，分配給大量電腦處理
2.透過Reduce程式將結果彙整

2016年4月22日 Raspberry Pi  安裝 Hadoop
Hadoop 安裝與配置

2016年5月13日 網路資源

留言

張貼留言

這個網誌中的熱門文章

IoT｜硬體｜樹莓派｜外接麥克風及喇叭設置

圖片
輸出喇叭與麥克風設定 [軟體安裝] 安裝  ALSA (Advanced Linux Sound Architecture)  的音效驅動程式 sudo apt-get install alsa-base alsa-utils [接線] 喇叭接樹莓派自身3.5mm音源孔 音效卡接 USB，外接麥克風的3.5mm接頭插到音效卡上  以樹莓派內建3.5mm音源孔作為聲音輸出 sudo raspi-config → Advanced options → Audio → 選擇Force 3.5mm ('headphone') jack 檢查是否有抓到音效卡 lsusb 樹莓派桌面進行如下設定，並分別將 BCM2835_ALSA 及 USB PnP Sounde device 分別設為 default PCM 及default Microphone。 上述設定完成後請將樹莓派重新開機 測試喇叭是否正確播放聲音測試喇吧是否有聲音,測試指令，它會依左聲道、右聲道的順序反覆播放，可以按「Ctrl+C」來停止 speaker-test -c 2 -t wav -D hw:0,0 [細部設定] 若沒有聲音，確認喇叭是否接在內建音效卡為0的位置上，必且將聲音調整到最大 alsamixer #card 0 是內建的 BCM2835 晶片 #card 1 就是外接的 USB 音效卡 調整麥克風，Speaker 表示喇叭音量、Mic 表示麥克風直接輸出到喇叭的音量、Auto Gain Control 表示自動調整麥克風增益 F6->選則 sound card 按 esc 離開 將剛剛編號0號及1號音效卡設定儲存下來 sudo alsactl store 0 sudo alsactl store 1 列出樹莓派內建預設的音效卡（編號0）內容 amixer --card 0 contents 列出樹莓派內建預設的音效卡（編號1）內容 amixer -
閱讀完整內容

成長｜語文｜學習-英文 持續更新！

圖片
主格/受格/所有格    2018-01-18 週四 八大詞性   2018-03-04 v. →動詞  n. →名詞  adj. →形容詞  adv. →副詞  con. →連接詞  prep. →介系詞  pron. →代名詞  aux. →助詞  英文縮寫    2017-10-17 週二     臺南市立大灣高中影音教學頻道    2018-03-23 週五  [八大詞類] 動詞 使役動詞 Part 1 使役動詞 Part 2 使役動詞 Part 3 使役動詞 Part 4 使役動詞 Part 5 關係詞 高中英文文法-關係詞01 - 概論 代名詞： 含有 it 的句型 1 含有 it 的句型 2 含有 it 的句型 3 含有 it 的句型 4 含有 it 的句型 5 不定詞： 高中英文文法 - 不定詞 01 分詞： 英文文法-分詞-01 簡介 英文文法-分詞-02 分詞的位置      英文文法-分詞-03分詞的主動與被動      主詞與動詞一致 主詞語動詞的一致 Part I 主詞語動詞的一致 Part II 主詞與動詞的一致 Part III 主詞與動詞的一致 Part IV 主詞與動詞的一致 Part V [五大基本句型] 英文文法 - 五大基本句型 英文文法 - 五大基本句型 - Exercise 01 五大基本句型 - exercise 02 [子句] 形容詞子句 Part 1 六個符號多益函授    2017-08-23週三 快速準備：/Users/Kevin/iBook/英語學習/六個符號/六個符號-多益函授/影片/快速準備 文法     https://youtu.be/SDkqRF1AAm8 片語（介詞＋名詞） 子句 [ ] S+V of/at/in/due to/because of/as a result of 形容詞子句：which（物）/who（人）= that although（雖然）/when（當）/if（是否）/why（
閱讀完整內容

IoT｜硬體｜通訊｜Arduino 使用 SoftwareSerial Library 與電腦通訊

圖片
介紹 UART Arduino  硬件在 0 pin  和 1 pin  口支持串行通信（ 電腦通過  USB  連接） ，其實是使用了一個 ( 內置芯片 ) 稱為  UART  的芯片。這種硬件允許  ATmega  即使正在進行其他任務時也能通信，只要 serial 的 64 byte 緩存有其他的空間。 SoftwareSerial 使用  SoftwareSerial Library  可以在  Arduino  的任何數字引腳上進行通信，因此軟件端口數可以擴展，並且波特率可達 115200bps 。 有個叫 Mikal Hart 的傢伙編寫了 NewSoftSerial library ，這個庫改進了 SoftwareSerial Library ，優點更多，因此之後的版本都是基於這個庫的。這種其實是軟件模擬通信的，具有很多局限性。 範例程式：選擇不同 baud rate 與設備通訊 #include <SoftwareSerial.h> SoftwareSerial DLSerial(10, 11); // RX,TX int cammand; int baudChoose; void setup() {   Serial.begin(9600);   DLSerial.begin(9600);    } void loop() {   String s = "";   while (Serial.available()) {     char c = Serial.read();     if (c != '\n') {       s += c;     }     delay(5);    // 沒有延遲的話 UART 串口速度會跟不上Arduino的速度，會導致資料不完整   }   String value;   if (s != "") {     cammand = (s.substring(0, 2)).toInt();     value  = (s.substring(3, 22));     switch (c
閱讀完整內容