IT｜資料庫｜Key-Value｜Redis Cluster 集群伺服器設定


Redis 集群提供了以下兩個好處：
＃將數據自動切分（split）到多個節點的能力。
＃當集群中的一部分節點失效或者無法進行通訊時， 仍然可以繼續處理命令請求的能力。


Redis 架構
架構細節:
(1)所有的redis節點彼此互聯(PING-PONG機制),內部使用二進制協議優化傳輸速度和帶寬.
(2)節點的fail是通過集群中超過半數的節點檢測失效時才生效.
(3)客戶端與redis節點直連,不需要中間proxy層.客戶端不需要連接集群所有節點,連接集群中任何一個可用節點即可
(4)redis-cluster把所有的物理節點映射到[0-16383]slot上,cluster 負責維護node<->slot<->value



Redis 架構圖

Redis Cluster 搭建與使用
要讓集群正常工作至少需要3個主節點，在這裡我們要創建6個redis節點，其中三個為主節點，三個為從節點，對應的redis節點的ip和端口對應關係如下（為了簡單演示都在同一台機器上面）。
127.0.0.1:7000
127.0.0.1:7001
127.0.0.1:7002
127.0.0.1:7003
127.0.0.1:7004
127.0.0.1:7005


[安裝 redis]

創建存放多個實例的目錄
mkdir /home/pi/data/cluster -p
cd /home/pi/data/cluster
mkdir 7000 7001 7002 7003 7004 7005

修改配置文件
樹莓派
cp /etc/redis.conf /home/pi/data/cluster/7000/

Linux
cp /home/pi/redis-4.0.2/redis.conf /home/pi/data/cluster/7000/

修改以下選項(修改完成後，把修改完成的redis.conf複製到7001-7005目錄下，並且端口修改成和文件夾對應):
port 7000
daemonize yes —> 即默認以後台程序方式運行
cluster-enabled yes  —> 文件中的 cluster-enabled 選項用於開實例的集群模式
cluster-config-file nodes.conf —> cluster-conf-file 選項則設定了保存節點配置文件的路徑， 默認值為nodes.conf
cluster-node-timeout 5000
appendonly yes —> 開啟 AOF 模式

複製 redis.conf 到以下目錄並改寫 port(7001、7002、7003、7004、7005 )

cp /home/pi/data/cluster/7000/redis.conf /home/pi/data/cluster/7001/
cp /home/pi/data/cluster/7000/redis.conf /home/pi/data/cluster/7002/
cp /home/pi/data/cluster/7000/redis.conf /home/pi/data/cluster/7003/
cp /home/pi/data/cluster/7000/redis.conf /home/pi/data/cluster/7004/
cp /home/pi/data/cluster/7000/redis.conf /home/pi/data/cluster/7005/

按上述步驟重複修改 port 屬性

分別啟動 6 個 redis 實例

樹莓派
#0
cd /home/pi/data/cluster/7000
redis-server redis.conf
#1
cd /home/pi/data/cluster/7001
redis-server redis.conf
#2
cd /home/pi/data/cluster/7002
redis-server redis.conf
#3
cd /home/pi/data/cluster/7003
redis-server redis.conf
#4
cd /home/pi/data/cluster/7004
redis-server redis.conf
#5
cd /home/pi/data/cluster/7005
redis-server redis.conf

查看進程是否存在
ps -ef | grep redis

檢查是否端口為進程
netstat -npl

[執行命令創建 cluster]

安裝ruby相關的環境，否則創建集群可能會失敗
sudo apt-get install rubygems

安裝運行需要依賴的ruby的包 gem-redis
必須與 redis 安裝版本一致 
cd ~
gem install -l redis-4.0.1.gem

異常處理

gem-redis 必需搭配 Ruby 2.2 以上版本

複製集群管理程序到/usr/local/bin
cd /home/pi/Downloads/redis-4.0.1
sudo cp /home/pi/Downloads/redis-4.0.1/src/redis-trib.rb /usr/local/bin/redis-trib

創建集群
執行前先確定 aof、rdb、nodes.conf 個別資料夾已先刪除
192.168.43.176
redis-trib create --replicas 1 192.168.43.176:7000 192.168.43.176:7001 192.168.43.176:7002 192.168.43.176:7003 192.168.43.176:7004 192.168.43.176:7005

127.0.0.1
redis-trib create --replicas 1 127.0.0.1:7000 127.0.0.1:7001 127.0.0.1:7002 127.0.0.1:7003 127.0.0.1:7004 127.0.0.1:7005

異常處理
pi@MyPi1:/usr/local/bin $ redis-trib create --replicas 1 127.0.0.1:7000 127.0.0.1:7001 127.0.0.1:7002 127.0.0.1:7003 127.0.0.1:7004 127.0.0.1:7005
>>> Creating cluster

[ERR] Node 127.0.0.1:7000 is not empty. Either the node already knows other nodes (check with CLUSTER NODES) or contains some key in database 0.

解決辦法
將每個節點下aof、rdb、nodes.conf本地備份文件刪除 (7000、7001、7002、7003、7004、7005)
之後再執行此腳本，成功執行

命令的意義如下：
* 給定 redis-trib.rb 程序的命令是 create ， 這表示我們希望創建一個新的集群。
* 選項 --replicas 1 表示我們希望為集群中的每個主節點創建一個從節點。
* 之後跟著的其他參數則是實例的地址列表， 我們希望程序使用這些地址所指示的實例來創建新集群。
簡單來說， 以上命令的意思就是讓 redis-trib 程序創建一個包含三個主節點和三個從節點的集群。
接著， redis-trib 會打印出一份預想中的配置給你看， 如果你覺得沒問題的話， 就可以輸入 yes ， redis-trib 就會將這份配置應用到集群當中：


輸入 yes 並按確認之後， 集群就會將配置應用到各個節點， 並連接起（join）各個節點，各個節點開始互相通訊

一切正常後輸出以下信息
[OK] All nodes agree about slots configuration.
>>> Check for open slots...
>>> Check slots coverage...
[OK] All 16384 slots covered.

測試 Redis 集群比較簡單的辦法就是使用 redis-rb-cluster 或者 redis-cli ， 接下來我們將使用 redis-cli 為例來進行演示：
redis-cli -c -p 7001
set name kevin
get name


可以查詢相關指令透過以下命令：可以看見有add-node，不用想了，肯定是添加節點。那麼del-node就是刪除節點。還有check肯定就是檢查狀態了。
[root@redis-server ~]# redis-trib help
Usage: redis-trib <command> <options> <arguments ...>

  set-timeout     host:port milliseconds
  add-node        new_host:new_port existing_host:existing_port
                  --master-id <arg>
                  --slave
  fix             host:port
  help            (show this help)
  del-node        host:port node_id
  import          host:port
                  --from <arg>
  check           host:port
  call            host:port command arg arg .. arg
  create          host1:port1 ... hostN:portN
                  --replicas <arg>
  reshard         host:port
                  --yes
                  --to <arg>
                  --from <arg>
                  --slots <arg>

For check, fix, reshard, del-node, set-timeout you can specify the host and port of any working node in the cluster.
[root@redis-server ~]#

可以看到7000-7002是master，7003-7005是slave。
redis-cli -h 192.168.43.176 -p 7000 cluster nodes


[故障轉移測試]



可以看見7001是正常的，並且獲取到了key，value，現在kill掉7000實例，再進行查詢。
[root@redis-server ~]# ps -ef | grep 7000
root      4168     1  0 11:49 ?        00:00:03 redis-server *:7000 [cluster]
root      4385  4361  0 12:39 pts/3    00:00:00 grep 7000
[root@redis-server ~]# kill 4168
[root@redis-server ~]# ps -ef | grep 7000
root      4387  4361  0 12:39 pts/3    00:00:00 grep 7000
[root@redis-server ~]# redis-cli -c -p 7001
127.0.0.1:7001> get name
"yayun"
127.0.0.1:7001>

可以正常獲取到value，現在看看狀態。
[root@redis-server ~]# redis-cli -c -p 7001 cluster nodes
2d03b862083ee1b1785dba5db2987739cf3a80eb 127.0.0.1:7001 myself,master - 0 0 2 connected 5461-10922
0456869a2c2359c3e06e065a09de86df2e3135ac 127.0.0.1:7002 master - 0 1428295271619 3 connected 10923-16383
37b251500385929d5c54a005809377681b95ca90 127.0.0.1:7003 master - 0 1428295270603 7 connected 0-5460
e2e2e692c40fc34f700762d1fe3a8df94816a062 127.0.0.1:7004 slave 2d03b862083ee1b1785dba5db2987739cf3a80eb 0 1428295272642 5 connected
2774f156af482b4f76a5c0bda8ec561a8a1719c2 127.0.0.1:7000 master,fail - 1428295159553 1428295157205 1 disconnected
9923235f8f2b2587407350b1d8b887a7a59de8db 127.0.0.1:7005 slave 0456869a2c2359c3e06e065a09de86df2e3135ac 0 1428295269587 6 connected
[root@redis-server ~]#
原來的7000端口實例已經顯示fail，原來的7003是slave，現在自動提升為master。
關於更多的在線添加節點，刪除節點，以及對集群進行重新分片請參考官方文檔。


Java 集群測試

使用Java客戶端對Redis進行操作
package com.agile.example.redis;

import java.io.IOException;
import java.util.HashSet;

import redis.clients.jedis.HostAndPort;
import redis.clients.jedis.JedisCluster;

/**
 * Redis cluseter test
 *
 * @author Kevin
 * @date 2017-11-16
 */

public class RedisClusterTest {

public static void main(String[] args) throws IOException {

HashSet<HostAndPort> nodes = new HashSet<HostAndPort>();
nodes.add(new HostAndPort("192.168.43.176", 7000));
nodes.add(new HostAndPort("192.168.43.176", 7001));
nodes.add(new HostAndPort("192.168.43.176", 7002));
nodes.add(new HostAndPort("192.168.43.176", 7003));
nodes.add(new HostAndPort("192.168.43.176", 7004));
nodes.add(new HostAndPort("192.168.43.176", 7005));

JedisCluster cluster = new JedisCluster(nodes);
cluster.set("jedisClusterKey", "hello world");
String str = cluster.get("jedisClusterKey");
System.out.println("---" + str);

cluster.close(); // 關閉連接

  }
}

留言

張貼留言

這個網誌中的熱門文章

IoT｜硬體｜樹莓派｜外接麥克風及喇叭設置

圖片
輸出喇叭與麥克風設定 [軟體安裝] 安裝  ALSA (Advanced Linux Sound Architecture)  的音效驅動程式 sudo apt-get install alsa-base alsa-utils [接線] 喇叭接樹莓派自身3.5mm音源孔 音效卡接 USB，外接麥克風的3.5mm接頭插到音效卡上  以樹莓派內建3.5mm音源孔作為聲音輸出 sudo raspi-config → Advanced options → Audio → 選擇Force 3.5mm ('headphone') jack 檢查是否有抓到音效卡 lsusb 樹莓派桌面進行如下設定，並分別將 BCM2835_ALSA 及 USB PnP Sounde device 分別設為 default PCM 及default Microphone。 上述設定完成後請將樹莓派重新開機 測試喇叭是否正確播放聲音測試喇吧是否有聲音,測試指令，它會依左聲道、右聲道的順序反覆播放，可以按「Ctrl+C」來停止 speaker-test -c 2 -t wav -D hw:0,0 [細部設定] 若沒有聲音，確認喇叭是否接在內建音效卡為0的位置上，必且將聲音調整到最大 alsamixer #card 0 是內建的 BCM2835 晶片 #card 1 就是外接的 USB 音效卡 調整麥克風，Speaker 表示喇叭音量、Mic 表示麥克風直接輸出到喇叭的音量、Auto Gain Control 表示自動調整麥克風增益 F6->選則 sound card 按 esc 離開 將剛剛編號0號及1號音效卡設定儲存下來 sudo alsactl store 0 sudo alsactl store 1 列出樹莓派內建預設的音效卡（編號0）內容 amixer --card 0 contents 列出樹莓派內建預設的音效卡（編號1）內容 amixer -
閱讀完整內容

成長｜語文｜學習-英文 持續更新！

圖片
主格/受格/所有格    2018-01-18 週四 八大詞性   2018-03-04 v. →動詞  n. →名詞  adj. →形容詞  adv. →副詞  con. →連接詞  prep. →介系詞  pron. →代名詞  aux. →助詞  英文縮寫    2017-10-17 週二     臺南市立大灣高中影音教學頻道    2018-03-23 週五  [八大詞類] 動詞 使役動詞 Part 1 使役動詞 Part 2 使役動詞 Part 3 使役動詞 Part 4 使役動詞 Part 5 關係詞 高中英文文法-關係詞01 - 概論 代名詞： 含有 it 的句型 1 含有 it 的句型 2 含有 it 的句型 3 含有 it 的句型 4 含有 it 的句型 5 不定詞： 高中英文文法 - 不定詞 01 分詞： 英文文法-分詞-01 簡介 英文文法-分詞-02 分詞的位置      英文文法-分詞-03分詞的主動與被動      主詞與動詞一致 主詞語動詞的一致 Part I 主詞語動詞的一致 Part II 主詞與動詞的一致 Part III 主詞與動詞的一致 Part IV 主詞與動詞的一致 Part V [五大基本句型] 英文文法 - 五大基本句型 英文文法 - 五大基本句型 - Exercise 01 五大基本句型 - exercise 02 [子句] 形容詞子句 Part 1 六個符號多益函授    2017-08-23週三 快速準備：/Users/Kevin/iBook/英語學習/六個符號/六個符號-多益函授/影片/快速準備 文法     https://youtu.be/SDkqRF1AAm8 片語（介詞＋名詞） 子句 [ ] S+V of/at/in/due to/because of/as a result of 形容詞子句：which（物）/who（人）= that although（雖然）/when（當）/if（是否）/why（
閱讀完整內容

IoT｜硬體｜通訊｜Arduino 使用 SoftwareSerial Library 與電腦通訊

圖片
介紹 UART Arduino  硬件在 0 pin  和 1 pin  口支持串行通信（ 電腦通過  USB  連接） ，其實是使用了一個 ( 內置芯片 ) 稱為  UART  的芯片。這種硬件允許  ATmega  即使正在進行其他任務時也能通信，只要 serial 的 64 byte 緩存有其他的空間。 SoftwareSerial 使用  SoftwareSerial Library  可以在  Arduino  的任何數字引腳上進行通信，因此軟件端口數可以擴展，並且波特率可達 115200bps 。 有個叫 Mikal Hart 的傢伙編寫了 NewSoftSerial library ，這個庫改進了 SoftwareSerial Library ，優點更多，因此之後的版本都是基於這個庫的。這種其實是軟件模擬通信的，具有很多局限性。 範例程式：選擇不同 baud rate 與設備通訊 #include <SoftwareSerial.h> SoftwareSerial DLSerial(10, 11); // RX,TX int cammand; int baudChoose; void setup() {   Serial.begin(9600);   DLSerial.begin(9600);    } void loop() {   String s = "";   while (Serial.available()) {     char c = Serial.read();     if (c != '\n') {       s += c;     }     delay(5);    // 沒有延遲的話 UART 串口速度會跟不上Arduino的速度，會導致資料不完整   }   String value;   if (s != "") {     cammand = (s.substring(0, 2)).toInt();     value  = (s.substring(3, 22));     switch (c
閱讀完整內容