DRBD 高可用配置详解

  • A+
所属分类:Linux  Linux集群高可用
摘要

高可用性HA(High Availability)指的是通过尽量缩短因日常维护操作(计划)和突发的系统崩溃(非计划)所导致的停机时间,以提高系统和应用的可用性。它与被认为是不间断操作的容错技术有所不同。HA系统是目前企业防止核心计算机系统因故障停机的最有效手段。

高可用性集群解释:
一般是指当集群中有某个节点失效的情况下,其上的任务会自动转移到其他正常的节点上。还指可以将集群中的某节点进行离线维护再上线,该过程并不影响整个集群的运行。
今天来做个Heartbeat+DRBD+NFS的高可用文件系统
1、实验VMware虚拟机2台 同时安装CentOS 6.6 x86_64的系统

#测试机1
[root@ZhongH6100 ~]# ifconfig | sed -rn '/^[^ \t]/{N;s/(^[^ ]*).*addr:([^ ]*).*/\1 \2/p}' | awk '$2!~/^192\.168|^10\.|^127|^0|^$/{print $1"="$2}'
eth0=172.16.6.100
eth1=172.16.6.101
[root@ZhongH6100 ~]# hostname
ZhongH6100.wxjr.com.cn
[root@ZhongH6100 ~]# cat /etc/centos-release
CentOS release 6.6 (Final)
[root@ZhongH6100 ~]#
#测试机2
[root@ZhongH7100 ~]# ifconfig | sed -rn '/^[^ \t]/{N;s/(^[^ ]*).*addr:([^ ]*).*/\1 \2/p}' | awk '$2!~/^192\.168|^10\.|^127|^0|^$/{print $1"="$2}'
eth0=172.16.7.100
eth1=172.16.7.101
[root@ZhongH7100 ~]# hostname
ZhongH7100.wxjr.com.cn
[root@ZhongH7100 ~]# cat /etc/centos-release
CentOS release 6.6 (Final)
[root@ZhongH7100 ~]# 
2、修改主机名、指定hostname能被两主机互相访问、同步时间
 #下面实验的时候大家仔细看命令是在哪个服务器上执行的仔细区分

[root@ZhongH6100 ~]还是[root@ZhongH7100 ~]

如果是[root@ZhongH100 ~]那么就是两台机器都需要运行的

[root@ZhongH6100 ~]# sed -ri 's/^(HOSTNAME=).*/\1ZhongH6100.wxjr.com.cn/' /etc/sysconfig/network
[root@ZhongH6100 ~]# hostname ZhongH6100.wxjr.com.cn
[root@ZhongH7100 ~]# sed -ri 's/^(HOSTNAME=).*/\1ZhongH7100.wxjr.com.cn/' /etc/sysconfig/network
[root@ZhongH7100 ~]# hostname ZhongH7100.wxjr.com.cn
[root@ZhongH6100 ~]# echo "172.16.7.100    ZhongH7100.wxjr.com.cn ZhongH7100" >> /etc/hosts
[root@ZhongH7100 ~]# echo "172.16.6.100    ZhongH6100.wxjr.com.cn ZhongH6100" >> /etc/hosts
#下面这里就不单独做世界同步服务器了 直接ntp来做网络同步
[root@ZhongH100 ~]# echo "*/5 * * * * `which ntpdate` pool.ntp.org >/dev/null 2>&1" >> /var/spool/cron/root

3、安装DRBD
DRBD简介
 DRBD的全称为:DistributedReplicatedBlockDevice(DRBD)分布式块设备复制DRBD是由内核模块和相关脚本而构成,用以构建高可用性的集群。其实现方式是通过网络来镜像整个设备。它允许用户在远程机器上建立一个本地块设备的实时镜像。与心跳连接结合使用,也可以把它看作是一种网络RAID。
 DRBD工作机制
 Drbd负责接收数据,把数据写到本地磁盘,然后发送给另一个主机。另一个主机再将数据存到自己的磁盘中。目前,drbd每次只允许对一个节点进行读写访问,这对于通常的故障切换高可用性集群来讲已经足够用了。以后的版本将支持两个节点进行读写存取。
 DRBD协议说明
 A数据一旦写入磁盘并发送到网络中就认为完成了写入操作。
 B收到接收确认就认为完成了写入操作。
 C收到写入确认就认为完成了写入操作
 DRBD官方下载地址:http://oss.linbit.com/drbd/
、准备工作
[root@ZhongH100 ~]# yum clean all && yum makecache
[root@ZhongH100 ~]# yum groupinstall "Development tools" "Server Platform Development" -y && yum update -y
[root@ZhongH100 ~]# uname -r #查看内核版本
2.6.32-504.16.2.el6.centos.plus.x86_64
[root@ZhongH100 ~]# yum install kernel-devel kernel-headers flex #注意:安装kernel-devel一定要和你uname -r 看到的内核版本一致

DRBD 高可用配置详解
②、编译安装DRBD

[root@ZhongH100 ~]# cd /tmp && wget http://www.dwhd.org/wp-content/uploads/2015/05/drbd-8.4.3.tar.gz
[root@ZhongH100 tmp]# tar xf drbd-8.4.3.tar.gz
[root@ZhongH100 tmp]# cd drbd-8.4.3
[root@ZhongH6100 drbd-8.4.3]# ./configure --prefix=/usr/local/drbd --sysconfdir=/etc/drbd \
--datarootdir=/usr/local/share/ --with-utils --with-km       #--with-km是启用内核模块
[root@ZhongH100 drbd-8.4.3]# make KDIR=/usr/src/kernels/`uname -r`/
[root@ZhongH100 drbd-8.4.3]# make install
[root@ZhongH100 drbd-8.4.3]# mkdir -p /usr/local/drbd/var/run/drbd
[root@ZhongH100 drbd-8.4.3]# cp -a /etc/drbd/rc.d/init.d/drbd  /etc/rc.d/init.d/
[root@ZhongH100 drbd-8.4.3]# chkconfig --add drbd
[root@ZhongH100 drbd-8.4.3]# chkconfig drbd on
[root@ZhongH100 drbd-8.4.3]# cd drbd
[root@ZhongH100 drbd]# make clean
[root@ZhongH100 drbd]# make KDIR=/usr/src/kernels/`uname -r`/
[root@ZhongH100 drbd]# cp drbd.ko /lib/modules/`uname -r`/kernel/lib/
[root@ZhongH100 drbd]# modprobe drbd
[root@ZhongH100 drbd]# lsmod | grep drbd   #查看模块是否加载成功
drbd                  310172  0
libcrc32c               1246  1 drbd
③、准备同步使用的磁盘
准备一个分区以备后面实验用,下面是我在sdb磁盘上新建了一个sdb1的主分区大小事30G
[root@ZhongH100 drbd]# dd if=/dev/zero of=/dev/sdb1 bs=1M count=1 情况sdb磁盘上的分区表
[root@ZhongH100 drbd]# fdisk /dev/sdb

WARNING: DOS-compatible mode is deprecated. It's strongly recommended to
         switch off the mode (command 'c') and change display units to
         sectors (command 'u').

Command (m for help): n
Command action
   e   extended
   p   primary partition (1-4)
p
Partition number (1-4): 1
First cylinder (1-7832, default 1):
Using default value 1
Last cylinder, +cylinders or +size{K,M,G} (1-7832, default 7832): +30G

Command (m for help): p

Disk /dev/sdb: 64.4 GB, 64424509440 bytes
255 heads, 63 sectors/track, 7832 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disk identifier: 0x000a8ddb

   Device Boot      Start         End      Blocks   Id  System
/dev/sdb1               1        3917    31463271   83  Linux

Command (m for help): w
The partition table has been altered!

Calling ioctl() to re-read partition table.
Syncing disks.
[root@ZhongH100 drbd]# 
④、制作环境变量文件、备份原始配置文件、修改配置文件、定义节点上的资源
[root@ZhongH100 drbd]# cd /etc/drbd/drbd.d
[root@ZhongH100 drbd.d]# pwd
/etc/drbd/drbd.d
[root@ZhongH100 drbd.d]# echo "export PATH=/usr/local/drbd/sbin:\$PATH" > /etc/profile.d/drbd.8.4.3.sh
[root@ZhongH100 drbd.d]# . /etc/profile.d/drbd.8.4.3.sh
[root@ZhongH100 drbd.d]# cp global_common.conf global_common.conf_`date +%Y%m%d`_backup
[root@ZhongH100 drbd.d]# ls -l
总用量 8
-rw-r--r-- 1 root root 1836 5月  23 21:36 global_common.conf
-rw-r--r-- 1 root root 1836 5月  23 21:45 global_common.conf_20150523_backup
⑤、修改全局配置文件
[root@ZhongH100 drbd.d]# :>global_common.conf
#然后将配置文件改成下面的
[root@ZhongH100 drbd.d]# grep -Ev '(^#|^\s+#)' global_common.conf
global {
        usage-count no;
}
common {
        protocol C;
        handlers {
                pri-on-incon-degr "/usr/lib/drbd/notify-pri-on-incon-degr.sh; /usr/lib/drbd/notify-emergency-reboot.sh; echo b > /proc/sysrq-trigger ; reboot -f";
                pri-lost-after-sb "/usr/lib/drbd/notify-pri-lost-after-sb.sh; /usr/lib/drbd/notify-emergency-reboot.sh; echo b > /proc/sysrq-trigger ; reboot -f";
                local-io-error "/usr/lib/drbd/notify-io-error.sh; /usr/lib/drbd/notify-emergency-shutdown.sh; echo o > /proc/sysrq-trigger ; halt -f";
        }
        startup {
                wfc-timeout 120;
                degr-wfc-timeout 120;
        }
        disk {
                on-io-error detach;
                fencing resource-only;
        }
        net {
                cram-hmac-alg "sha1";
                shared-secret "mydrbdlab";
        }
        syncer {
                rate 100M;
        }
}
DRBD 高可用配置详解
 ⑥、定义节点上的资源
[root@ZhongH100 drbd.d]# vi web.res #写入下面的内容,具体视情况做更改
resource web { #这个web是定义资源的名字
	on ZhongH6100.wxjr.com.cn {          #on开头,后面是主机名称
		device /dev/drbd0;           #drbd设备名称
		disk /dev/sdb1;              #drbd0使用的磁盘分区为sdb1
		address 172.16.6.101:7789;   #设置drbd监听地址与端口
		meta-disk internal;
	}
	on ZhongH7100.wxjr.com.cn {          #on开头,后面是主机名称
		device /dev/drbd0;           #drbd设备名称
		disk /dev/sdb1;              #drbd0使用的磁盘分区为sdb1
		address 172.16.7.101:7789;   #设置drbd监听地址与端口
		meta-disk internal;
	}
}

DRBD 高可用配置详解

⑦、初始化资源
[root@ZhongH100 drbd.d]# drbdadm create-md web
Writing meta data...
initializing activity log
NOT initializing bitmap
New drbd meta data block successfully created.
⑧、启动DRBD服务
[root@ZhongH100 drbd.d]# service drbd restart
Stopping all DRBD resources: .
Starting DRBD resources: [
     create res: web
   prepare disk: web
    adjust disk: web
     adjust net: web
]
outdated-wfc-timeout has to be shorter than degr-wfc-timeout
outdated-wfc-timeout implicitly set to degr-wfc-timeout (120s)
.
[root@ZhongH100 drbd.d]# 

DRBD 高可用配置详解
查看节点 此时节点都是Secondary

[root@ZhongH6100 drbd.d]# drbdadm role web
Secondary/Secondary
[root@ZhongH6100 drbd.d]#
[root@ZhongH7100 drbd.d]# drbdadm role web
Secondary/Secondary
[root@ZhongH7100 drbd.d]# 

由于默认没有主次节点之分,因而需要设置两个主机的主次节点,选择需要设置为主节点的主机,然后执行如下命令:
drbdadm -- --overwrite-data-of-peer primary web #命令解释:调整当前节点上的web资源为主节点
DRBD 高可用配置详解
DRBD 高可用配置详解

⑨、调整172.16.6.101/172.16.6.100也就是node1也主节点
[root@ZhongH6100 drbd.d]# drbdadm role web
Secondary/Secondary
[root@ZhongH6100 drbd.d]# drbdadm -- --overwrite-data-of-peer primary web
[root@ZhongH6100 drbd.d]# drbd-overview
  0:web/0  SyncSource Primary/Secondary UpToDate/Inconsistent C r---n-
        [>....................] sync'ed:  1.4% (30328/30724)M
[root@ZhongH6100 drbd.d]# cat /proc/drbd
version: 8.4.3 (api:1/proto:86-101)
GIT-hash: 89a294209144b68adb3ee85a73221f964d3ee515 build by root@ZhongH6100.wxjr.com.cn, 2015-05-23 21:36:33
 0: cs:SyncSource ro:Primary/Secondary ds:UpToDate/Inconsistent C r---n-
    ns:2462744 nr:0 dw:0 dr:2466464 al:0 bm:150 lo:0 pe:3 ua:3 ap:0 ep:1 wo:f oos:29001596
        [>...................] sync'ed:  7.9% (28320/30724)M
        finish: 0:04:44 speed: 101,772 (91,136) K/sec
[root@ZhongH6100 drbd.d]# drbdadm role web
Primary/Secondary
[root@ZhongH6100 drbd.d]# cat /proc/drbd
version: 8.4.3 (api:1/proto:86-101)
GIT-hash: 89a294209144b68adb3ee85a73221f964d3ee515 build by root@ZhongH6100.wxjr.com.cn, 2015-05-23 21:36:33
 0: cs:SyncSource ro:Primary/Secondary ds:UpToDate/Inconsistent C r-----
    ns:9051136 nr:0 dw:0 dr:9051808 al:0 bm:551 lo:3 pe:8 ua:3 ap:0 ep:1 wo:f oos:22419324
        [====>...............] sync'ed: 28.8% (21892/30724)M
        finish: 0:04:06 speed: 90,776 (74,732) K/sec
#由此可见:进度已经完成了28.8%,传输速度大概70M/S
#注:ds是磁盘状态信息 dw是磁盘写信息 dr是磁盘读信息
[root@ZhongH6100 drbd.d]# drbdadm cstate web
SyncSource  #SyncSource:以本节点为同步源的同步正在进行
#资源的连接状态;一个资源可能有以下连接状态中的一种
#StandAlone 独立的:网络配置不可用;资源还没有被连接或是被管理断开(使用 drbdadm disconnect 命令),或是由于出现认证失败或是脑裂的情况
#Disconnecting 断开:断开只是临时状态,下一个状态是StandAlone独立的
#Unconnected 悬空:是尝试连接前的临时状态,可能下一个状态为WFconnection和WFReportParams
#Timeout 超时:与对等节点连接超时,也是临时状态,下一个状态为Unconected悬空
#BrokerPipe:与对等节点连接丢失,也是临时状态,下一个状态为Unconected悬空
#NetworkFailure:与对等节点推动连接后的临时状态,下一个状态为Unconected悬空
#ProtocolError:与对等节点推动连接后的临时状态,下一个状态为Unconected悬空
#TearDown 拆解:临时状态,对等节点关闭,下一个状态为Unconected悬空
#WFConnection:等待和对等节点建立网络连接
#WFReportParams:已经建立TCP连接,本节点等待从对等节点传来的第一个网络包
#Connected 连接:DRBD已经建立连接,数据镜像现在可用,节点处于正常状态
#StartingSyncS:完全同步,有管理员发起的刚刚开始同步,未来可能的状态为SyncSource或PausedSyncS
#StartingSyncT:完全同步,有管理员发起的刚刚开始同步,下一状态为WFSyncUUID
#WFBitMapS:部分同步刚刚开始,下一步可能的状态为SyncSource或PausedSyncS
#WFBitMapT:部分同步刚刚开始,下一步可能的状态为WFSyncUUID
#WFSyncUUID:同步即将开始,下一步可能的状态为SyncTarget或PausedSyncT
#SyncSource:以本节点为同步源的同步正在进行
#SyncTarget:以本节点为同步目标的同步正在进行
#PausedSyncS:以本地节点是一个持续同步的源,但是目前同步已经暂停,可能是因为另外一个同步正在进行或是使用命令(drbdadm pause-sync)暂停了同步
#PausedSyncT:以本地节点为持续同步的目标,但是目前同步已经暂停,这可以是因为另外一个同步正在进行或是使用命令(drbdadm pause-sync)暂停了同步
#VerifyS:以本地节点为验证源的线上设备验证正在执行
#VerifyT:以本地节点为验证目标的线上设备验证正在执行

DRBD 高可用配置详解

⑩、在主节点上创建文件系统、挂载主节点上的文件系统、在主节点分区中新建个文件
[root@ZhongH6100 drbd.d]# mke2fs -t ext4 -L drbdweb /dev/drbd0
mke2fs 1.41.12 (17-May-2010)
文件系统标签=drbdweb
操作系统:Linux
块大小=4096 (log=2)
分块大小=4096 (log=2)
Stride=0 blocks, Stripe width=0 blocks
1966560 inodes, 7865567 blocks
393278 blocks (5.00%) reserved for the super user
第一个数据块=0
Maximum filesystem blocks=4294967296
241 block groups
32768 blocks per group, 32768 fragments per group
8160 inodes per group
Superblock backups stored on blocks:
        32768, 98304, 163840, 229376, 294912, 819200, 884736, 1605632, 2654208,
        4096000

正在写入inode表: 完成
Creating journal (32768 blocks): 完成
Writing superblocks and filesystem accounting information: 完成

This filesystem will be automatically checked every 33 mounts or
180 days, whichever comes first.  Use tune2fs -c or -i to override.
[root@ZhongH6100 drbd.d]# mkdir /DRBD
[root@ZhongH6100 drbd.d]# mount /dev/drbd0 /DRBD/
[root@ZhongH6100 drbd.d]# echo -e "Hello World\nLegion\t$(date "+%Y-%m-%d %H:%M:%S")" > /DRBD/testDRBDfile
[root@ZhongH6100 drbd.d]# cat /DRBD/testDRBDfile
Hello World
Legion  2015-05-23 22:45:07
[root@ZhongH6100 drbd.d]# 

DRBD 高可用配置详解

⑪、更换node1为从节点、node2为主节点
 卸载DRBD分区且更换node1为从节点
[root@ZhongH6100 drbd.d]# umount /DRBD/
[root@ZhongH6100 drbd.d]# drbdadm secondary web
[root@ZhongH6100 drbd.d]# drbdadm role web
Secondary/Secondary
[root@ZhongH6100 drbd.d]# 
[root@ZhongH7100 drbd.d]# drbdadm primary web
[root@ZhongH7100 drbd.d]# drbdadm role web
Primary/Secondary
[root@ZhongH7100 drbd.d]# drbd-overview
  0:web/0  Connected Primary/Secondary UpToDate/UpToDate C r-----
[root@ZhongH7100 drbd.d]# 
DRBD 高可用配置详解
 ⑫、挂载节点二,查看文件是否同步了 HOHO~~
[root@ZhongH7100 drbd.d]# mkdir /DRBD
[root@ZhongH7100 drbd.d]# mount /dev/drbd0 /DRBD
[root@ZhongH7100 drbd.d]# ls -l /DRBD
总用量 20
drwx------ 2 root root 16384 5月  23 22:41 lost+found
-rw-r--r-- 1 root root    39 5月  23 22:45 testDRBDfile
[root@ZhongH7100 drbd.d]# date
2015年 05月 23日 星期六 22:55:00 CST
[root@ZhongH7100 drbd.d]# cat /DRBD/testDRBDfile
Hello World
Legion  2015-05-23 22:45:07
[root@ZhongH7100 drbd.d]# 

DRBD 高可用配置详解
到此我们的DRBD的两个节点就配置好了,也测试成功能同步了

文件下载

博客主机
lookback

发表评论

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen: