Docke 搭建 Redis 集群

688

前言

警告!此文章搭建的redis集群经实践有部分bug。需要搭建的点击新版搭建教程,已修复本文出现的bug。

CentOS Docker 安装

使用docker-compose和redis官方镜像和第三方redis-trib镜像组建3主3从的redis集群并设置密码。

构建文件结构

#新建文件夹
mkdir -p /mnt/docker/redis
#在redis文件夹下新建docker-compose.yml文件
cd /mnt/docker/redis
touch docker-compose.yml
#在redis文件夹下新建slave1到slave6共6个文件夹作为从属结点的文件夹
mkdir slave{1,2,3,4,5,6} 
  • 文件结构如下

编写redis.conf文件

  • 下载官方文件
wget http://download.redis.io/redis-stable/redis.conf
  • 修改文件配置
# bind 127.0.0.1 //加上注释#
protected-mode no //关闭保护模式
port 6061  //绑定自定义端口
#daemonize yes //禁止redis后台运行
pidfile /var/run/redis_6061.pid 
cluster-enabled yes //开启集群 把注释#去掉
cluster-config-file nodes_6061.conf //集群的配置 配置文件首次启动自动生成 

注意:此处只是slave1节点的配置,后续的5个节点的配置文件按此规则配置并修改端口即可。

  • requirepass和masterauth不能启用
    因为使用redis-trib连接集群时是不能指定密码的,如果开启了requirepass或者masterauth会导致集群连接失败,所以应该等集群创建好后再修改密码
  • bind
    表示设置redis监听哪个ip,设置了监听之后,只有使用这些ip才能访问这个redis服务,不指定则默认所有ip都能访问该redis服务
    注意:这里的ip指的是redis的ip而非访问方的ip,bind并不直接限制哪些ip能够访问redis,显示ip访问是限制监听后的效果,如果想限制ip访问应使用Linux防火墙功能
    比方说,在生产条件下的redis服务器有3个ip(外网ip 122.122.122.122,局域网ip192.128.0.1,本地ip127.0.0.1),则为了安全,bind后面只应该写局域网ip和本地ip,这样就只有局域网用户(包括本机)可以通过192.128.0.1访问redis服务,间接起到限制ip访问的作用
  • protected-mode
    • 作用:禁止公网访问redis cache,加强redis安全的
    • 启用条件:
      • 没有bind IP
      • 没有设置requirepass访问密码
    • 解释:由于前面提及的原因,保护模式会开启导致无法通过公网访问,故这里需要关闭保护模式,但注意集群建好后要及时添加密码,增强安全性
  • daemonize 和 pidfile
    实测开启守护模式(daemonize yes)容器会启动失败,因为是使用docker,所以前台启动也没什么关系,pidfile的文件名和端口号一致是一个良好的习惯

编写Dockerfile文件

Dockerfile文件每个slave文件夹下都需要新增一个,可以编写好后使用cp命令复制到 各个文件夹

  • 创建Docker文件
vim Dockerfile
  • 继续编写文件,以slave1为例(6061)
#基础镜像
FROM redis

#将自定义conf文件拷入
COPY redis.conf /usr/local/etc/redis/redis.conf

#修复时区
RUN ln -sf /usr/share/zoneinfo/Asia/Shanghai /etc/localtime
RUN echo 'Asia/Shanghai' >/etc/timezone

#修改文件权限,使之可以通过config rewrite重写
RUN chmod 777 /usr/local/etc/redis/redis.conf

# Redis客户端连接端口
EXPOSE 6061
# 集群总线端口:redis客户端连接的端口 + 10000
EXPOSE 16061

#使用自定义conf启动
CMD [ "redis-server", "/usr/local/etc/redis/redis.conf" ]

注意:此处只是slave1节点的配置,后续的5个节点的Dockerfile文件按此规则配置并修改端口即可。

  • 集群总线端口,需外网开放
    Redis集群中每个redis实例(可能一台机部署多个实例)会使用两个Tcp端口,一个用于给客户端(redis-cli或应用程序等)使用的端口,另一个是用于集群中实例相互通信的内部总线端口,且第二个端口比第一个端口一定大10000.内部总线端口通信使用特殊协议,以便实现集群内部高带宽低时延的数据交换。所以配置redis实例时只需要指明第一个端口就可以了。
    但是由于我们使用的是docker,所以要将这个端口暴露出来,否则集群无法建立(使用redis-trib时会一直显示Waiting for the cluster to join)
  • 修改redis.conf文件权限,否则后面写入访问密码到文件的时候会提示Permission denied

编写docker-compose.yml文件

  • 直接贴出,没什么好说的
redis-slave1:
  build: ./slave1
  ports:
   - 6061:6061
   - 16061:16061
redis-slave2:
  build: ./slave2
  ports:
   - 6062:6062
   - 16062:16062
redis-slave3:
  build: ./slave3
  ports:
   - 6063:6063
   - 16063:16063
redis-slave4:
  build: ./slave4
  ports:
   - 6064:6064
   - 16064:16064
redis-slave5:
  build: ./slave5
  ports:
   - 6065:6065
   - 16065:16065
redis-slave6:
  build: ./slave6
  ports:
   - 6066:6066
   - 16066:16066

启动运行

  • 在redis目录下(即docker-compose.yml同级目录)执行
docker-compose up -d
  • 查看容器运行情况
docker-compose ps

  • 使用redis客户端连接测试,此时redis没有设置密码,集群状态也是失败的,但连接能成功。

连接集群

  • 集群配置比较简单,只需一条命令
docker run --rm -it zvelo/redis-trib create --replicas 1 ip:6061 ip:6062 ip:6063 ip:6064 ip:6065 ip:6066

此处ip替换成实际ip地址,结果如下,中间需要用yes来同意集群方案

验证集群

  • 输入cluster info查看集群信息,此时已为 ok,再测试一下set和get,另外可以看到,结点会自己切换,并且6061端口set和数据可以在6062端口get到

设置集群密码

  • 使用redis-trib.rb工具构建集群,集群构建完成前不要配置密码,集群构建完毕再通过config set + config rewrite命令逐个机器设置密码
  • 如果对集群设置密码,那么requirepass和masterauth都需要设置,否则发生主从切换时,就会遇到授权问题
  • 各个节点的密码都必须一致,否则Redirected就会失败

具体 指令:

#设置masterauth
config set masterauth 你的密码
#设置requirepass
config set requirepass 你的密码
#验证密码,以继续操作
auth 你的密码
#回写到文件,使其永久生效
config rewrite

注意:第三步的时候,如果出现Permission denied,则说明Dockerfile少了RUN chmod 777 /usr/local/etc/redis/redis.conf

  • 使用docker exec指令进入容器内部看一下masterauth和requirepass是否写入到文件里
docker exec -it 容器ID /bin/bash
  • cat指令查看
cat /usr/local/etc/redis/redis.conf

  • 可以看到masterauth和requirepass被追加到文件的最后,即使重启密码也还生效

后记

至此,利用docker-compose组建redis集群结束

可以看到,其实docker-compose起的作用并不大,因为在单机上部署redis集群确实没什么实际意义,但是,你完全可以把slave结点放到不同的服务器上,再通过docker的redis-trib容器来连接,十分灵活和方便.

文章参考:感谢鲸临于空