Redis(Remote Dictionary Server)是完全开源的、遵守BSD协议的、高性能的Key-Value数据库。
Redis与其他Key-Value缓存产品有一下三个特点:

随着大数据时代的到来,在大型系统应用中,几十上百G的数据很常见.而无论是物理机、云主机(虚拟机),内存资源往往是有限的,虽然目前硬件成本降低,几十G几十核的主机也很常见,但是对于redis这种工作进程为单线程模式的工具来说,一台主机只运行一个实例就有些浪费,且出现单点故障时影响范围很大。同时,redis管理大内存时不如管理相对较小的内存高效,据第三方测试,redis单进程内存分配达到20G后性能急剧下降,因此普遍使用的方式为单进程分配8G内存,单主机开启多个redis实例.
Redis官方集群方案 Redis Cluster(服务端sharding)Redis cluster是一种在服务端sharding(分片)的技术,在redis3.0版本开始正式提供。Redis cluster的服务端sharding引入了slot(槽)的概念,一共分为16384(2^14)个slot,集群中的每个node节点负责分摊这些slot,每个进入redis的键值对,根据key进行hash运算,除以16384取模,匹配相应的slot,再分配进相应的node中的实例中。在redis cluster方案中,数据储存的粒度由原来的instance再次精细为slot。Redis cluster提供一种叫做cluster bus(集群总线)的功能特性,采用特殊的二进制协议,通信及响应速度极快。它提供节点故障检测、故障转移、新节点识别等节点管理功能,该功能的进程间通信端口号为服务端口号值+10000,例如redis对外提供服务的端口号为6555,则cluster bus的端口号则为16555。值得注意的是:redis cluster是官方在3.0以后的版本才正式推出的。
Redis集群中有多台Redis服务器不可避免会有服务器挂掉。Redis集群服务器之间通过互相的ping-pong判断是否节点可以连接上。如果有一半以上的节点去ping一个节点的时候没有回应,集群就认为这个节点宕机了。
上面就是我们常说的为了容错而生的redis集群投票机制。
因为集群投票机制redis要求至少3主3从共6个节点才能组成redis集群,每个主节点至少有一个从节点,测试环境可一台物理上启动6个redis节点,但生产环境至少要准备3台物理机。
这里为了演示我使用了三台Centos7虚拟服务器,每台起两个Redis实例,共6个节点来构建Redis集群|
| 主机名 | 节点IP | 实例1端口 | 实例2端口 |
|---|---|---|---|
| Master1 | 192.168.200.11 | 7001 | 7002 |
| Master2 | 192.168.200.12 | 7001 | 7002 |
| Master3 | 192.168.200.13 | 7001 | 7002 |
部署架构图
这里采用Redis6.0.9版本的Redis,所有节点服务器都需要进行以下操作
编译安装时要求gcc版本未5.3以上版本,
先执行gcc -v 查看当前gcc版本gcc -v
如果提示无gcc,首先需要安装gccyum install -y gcc gcc-c++
安装完成后查看gcc版本,Centos版本默认安装的是4.8.5版本的gcc,版本过低
gcc 升级yum install -y centos-release-sclyum install -y devtoolset-9-gcc devtoolset-9-gcc-c++ devtoolset-9-binutilsyum install -y systemd-develecho "source /opt/rh/devtoolset-9/enable" >> /etc/profilesource /etc/profile
升级完成后查看gcc版本
下面进行安装Redis
提前下载好Redis压缩包这里使用redis-6.0.9.tar.gz。把下载好的文件上传到三个服务器上,我这里放到了/usr/local目录下
下面使用tar命令解压缩tar -zxvf redis-6.0.9.tar.gzmv redis-6.0.9 redis609
进入redis目录创建节点目录mkdir {7001,7002}
创建redis用户并给新建的目录附上访问权限useradd -s /sbin/nologin redischown -R redis: /usr/local/redis609
下面进行Redis的编译安装
因Redis版本原因需要安装或者更新tcl版本大于8.5wget http://downloads.sourceforge.net/tcl/tcl8.6.1-src.tar.gzsudo tar xzvf tcl8.6.1-src.tar.gz -C /usr/local/cd /usr/local/tcl8.6.1/unix/./configuremakemake install
下面进入redis目录执行编译redis need systemd-develmake BUILD_WITH_SYSTEMD=yes USE_SYSTEMD=yesmake install
查看redis版本
redis-cli --version
redis-server --version
进入redis609目录拷贝配置文件到7001、7002两个文件夹下并进行文件授权
修改配置文件
port 7001protected-mode nodaemonize nosupervised systemdpidfile /usr/local/redis609/7001/redis_7001.pidlogfile "/usr/local/redis609/7001/7001.log"dir /usr/local/redis609/7001/appendonly yesappendfilename "appendonly7001.aof"cluster-enabled yescluster-config-file nodes-7001.confcluster-node-timeout 5000配置参数说明:
cat > /etc/systemd/system/redis@.service << EOF[Unit]Description=Redis persistent key-value databaseAfter=network.target[Service]User=redisGroup=redisType=notifyExecStart=/usr/local/bin/redis-server /usr/local/redis609/%i/redis%i.conf --daemonize no --supervised systemdExecStop=/usr/local/bin/redis-cli -p %i shutdownLimitNOFILE=10240TimeoutStartSec=90sTimeoutStopSec=90sRestart=always[Install]WantedBy=multi-user.targetEOF所有节点启动redis实例,并设为开机启动
systemctl daemon-reload #后期有修改serverice 之后一定要执行这句话systemctl enable --now redis@{7001,7002}.service执行启动服务之后有可能会卡顿,,遇到卡顿不要怕直接Ctrl+C退出使用netstat查看一下服务端口是否已启动监听netstat -lnp|grep redis
端口已正常启动说明配置成功
实例状态维护
#查看实例运行状态systemctl status redis@7001.servicesystemctl status redis@7002.service#启动实例systemctl start redis@7001.servicesystemctl start redis@7002.service#停止实例systemctl stop redis@7001.servicesystemctl stop redis@7002.service#重启实例systemctl restart redis@7001.servicesystemctl restart redis@7002.service以上操作在三台服务器都执行一遍。
实例全部启动后 ,在任意服务器上创建redis集群redis-cli --cluster create 192.168.200.11:7001 192.168.200.11:7002 192.168.200.12:7001 192.168.200.12:7002 192.168.200.13:7001 192.168.200.13:7002 --cluster-replicas 1
有以下提示表示已部署成功
查看集群节点redis-cli -c -h 192.168.200.13 -p 7001 cluster nodes