集群管理高可用(HA)

                         （红帽企业6.5系统）

在做集群节点之前，要将每个节点的火墙刷掉，selinux关掉。集群的节点至少两个。

iptables -F

/etc/init.d/iptables save

要在每个节点及管理的主机上做解析  vim /etc/hosts

将yum源重新配置，因为现在的yum源默认的是镜像中的server包，而集群配置所需要的包在“高可用”包中。

cd /etc/yum.repos.d/

     ls

    lftp i   get dvd.repo

     ls

     rm -fr yum.repo

    rm -fr rhel-source.repo

     ls

     yum clean all

现在需要在两个集群节点上安装集群配置的服务 ricci,两个节点的时间必须同步

 yum install ricci -y 图形化的配置集群的服务

需要给ricci服务设置密码

passwd ricci

现在将ricci启动，并将它设置为开机启动

/etc/init.d/ricci start

chkconfig ricci on

在集群节点管理机上安装luci服务，它可以提供一个web网页来管理集群节点

yum install luci -y图形化的配置集群的服务

将此服务启动 /etc/init.d/luci start     

在web上打开这个链接 https://desktop14.example.com:8084 这是luci的开启自动给出的 ，然后用超户密码登录，再给其他用户授权，这些用户必须是

本机有的。

隔离设备

fence device 隔离设备 

 用kvm虚拟机来做这个隔离设备，可以进行forceoff的

这个只是模拟的

需要在管理集群节点的机子上安装隔离设备的包

yum install fence-virt fence-virtd fence-virtd-libvirt fence-virtd-multicast -y

# fence_virtd -c 设置隔离设备

Module search path [/usr/lib64/fence-virt]:

Available backends:

libvirt 0.1

Available listeners:

multicast 1.0

Listener modules are responsible for accepting requests

from fencing clients.

Listener module [multicast]:

The multicast listener module is designed for use environments

where the guests and hosts may communicate over a network using

multicast.

The multicast address is the address that a client will use to

send fencing requests to fence_virtd.

Multicast IP Address [225.0.0.12]:

Using ipv4 as family.

Multicast IP Port [1229]:

Setting a preferred interface causes fence_virtd to listen only

on that interface. Normally, it listens on all interfaces.

In environments where the virtual machines are using the host

machine as a gateway, this *must* be set (typically to virbr0).

Set to 'none' for no interface.

Interface [none]: br0

The key file is the shared key information which is used to

authenticate fencing requests. The contents of this file must

be distributed to each physical host and virtual machine within

a cluster.

Key File [/etc/cluster/fence_xvm.key]:

Backend modules are responsible for routing requests to

the appropriate hypervisor or management layer.

Backend module [libvirt]:

The libvirt backend module is designed for single desktops or

servers. Do not use in environments where virtual machines

may be migrated between hosts.

Libvirt URI [qemu:///system]:

Configuration complete.

=== Begin Configuration ===

backends {

libvirt {

uri = "qemu:///system";

}

}

listeners {

multicast {

key_file = "/etc/cluster/fence_xvm.key";

interface = "br0";

port = "1229";

address = "225.0.0.12";

family = "ipv4";

}

}

fence_virtd {

backend = "libvirt";

listener = "multicast";

module_path = "/usr/lib64/fence-virt";

}

=== End Configuration ===

Replace /etc/fence_virt.conf with the above [y/N]? y

注:以上设置除“Interface”处填写虚拟机通信接口外,其他选项均可回车保持默认。

dd if=/dev/urandom of=/etc/cluster/fence_xvm.key bs=128 count=1

scp /etc/cluster/fence_xvm.key node1:/etc/cluster

scp /etc/cluster/fence_xvm.key node2:/etc/cluster

service fence_virtd start         chkconfig fence_virtd on

# netstat -anulp |grep fence

udp

0

0 0.0.0.0:1229

现在在网页管理上添加隔离设备

可以手动隔离一个节点，另一各节点可以热接管

fence_xvm -H joan

添加错误维护域

添加资源

添加服务组

再节点上执行的命令，

clusvcadm -d sss   关闭此服务组

   clustat  查看节点和服务的状态

   clusvcadm -e sss  开启此服务组

刚刚添加了apache服务

所以要在每个节点上安装apache服务

为了区分两台内容可以重新编辑一下默认访问主页

cd /var/www/html/

 echo `hostname` > index.html

ok现在可以在web网页上访问 刚刚添加的那个ip服务，他是一个浮动ip

192.168.2.77

就可以看到你做的那个优先级高的再接管服务

如果将这个节点上的http关掉，那末那个优先级低的候补立马接管

如果ifconfig eth0 down 是这个节点的网可关掉，他会尝试恢复，如果恢复不了，他就会被集群forceoff，然后重启当替补，如果优先级高的话，那末他就会立即接管

   给集群管理加存储服务

在一个存储服务器上共享一块硬盘，作为存储（在实验中，就直接在集群管理的那台服务器上共享一块硬盘）

yum install scsi-*

 vgs

 lvcreate -L 1G -n iscsi cinder-volumes

  lvs

 vim /etc/tgt/targets.conf

 /etc/init.d/tgtd start

chkconfig tgtd on

在节点上要可以发现这个共享的存储设备 ，在所有的节点上都得执行

yum install iscsi-*

iscsiadm -m discovery -t st -p 192.168.2.14

fdisk -l /dev/dev

  iscsiadm -m node -l   激活设备

 1.现在在一个节点上给此设备做 分区和格式化 (做本地文件系统 ext4)

fdisk -cu /dev/sda

mkfs.ext4 /dev/sda1

现在将此设备先挂载到/var/www/html下

给设备上写入东西，方便访问

现在解挂 umount /var/www/html

交给集群管控，哪台工作，哪台被挂

在web管理界面上添加存储设备资源和资源组  先关闭资源组

再去资源组添加此资源

ok现在开启服务组

clusvcadm -e sss

   2.现在在一个节点上给此设备做 分区和格式化 (做网络文件系统 gfs2)

clusvcadm -d sss   先停掉服务组

删掉服务组里的文件系统资源去掉，再到资源里删掉存储设备资源

fdisk -cu /dev/sda  把它做成LVM形式

t 8e p  w

pvcreate /dev/sda1

lvmconf --enble-cluster 在 /etc/lvm/lvm.conf做更改，使它可以支持集群

重启服务  /etc/init.d/clvmd restart

格式化为gfs2的格式 -t跟更集群的名字：后是标签

（1）这中挂载是开机自动挂载 直接写入/etc/fstab 在所有节点都做这个操作

查看系统设备信息

vim /etc/fstab

现在mount -a 刷此文件，同时挂载

cd /var/www/html

vim index.html  写东西来测试web测试

访问集群配的ip资源 的ip 192.168.2.77可以看到

ok现在开启服务组

clusvcadm -e sss

（2）直接在web管理上面添加

clusvcadm -d sss   先停掉服务组

 在/etc/fstab中注释掉gfs2设备的挂载  ，解挂

现在在资源加存储设备资源，集群管控 加服务组

ok现在开启服务组

clusvcadm -e sss

现在哪个节点工作，那个节点挂载

前提：clusvcadm -d sss 删掉原来的存储设备

    lvs

    vgs

    vgremove clustervg

    lvs

    pvs

   pvremove /dev/sda1

   iscsiadm -m node -u

    iscsiadm -m node -o delete

     多路经存储（在一做存储的服务器上共享一快存储磁盘设备，在这个服务器上加一块虚拟磁盘，加一个虚拟网卡）

将这个虚拟磁盘共享出去

yum install scsi-*

vim /etc/tgt/targets.conf

   /etc/init.d/tgtd start

配置另一快网卡cd /etc/sysconfig/network-scripts/

   ls

   cp ifcfg-eth0 ifcfg-eth1

/etc/init.d/network restart

在所有节点上 登入这个共享设备 多路登入 做冗余

iscsiadm -m discovery -t st -p 192.168.2.43

  iscsiadm -m node -p 192.168.2.43 -l

  iscsiadm -m discovery -t st -p 192.168.2.245

   iscsiadm -m node -p 192.168.2.245 -l

   fdisk -l

   device-mapper-multipath

   yum install device-mapper-multipath

   （ multipath --enable（这个只需要在一个节点上做，其他的复制这个配置文件）

vim /etc/multipath.conf

）

/etc/init.d/multipathd start   启动多路映射服务

scp /etc/multipath.conf 192.168.2.49:/etc/ 复制给另一节点

multipath -l 查看多路映射设备信息

fdisk -cu /dev/mapper/mpatha  在这个设备上做主分区（在一个节点上做，其他节点会同步）

cat /proc/partitions 看是否分区刷新成功（所有节点都做）

  partprobe 没有的话刷新就刷新

mkfs.ext4 /dev/mapper/mpathap1 格式化

 mount /dev/mapper/mpathap1 /var/www/html挂载测试 写个东西

   cd /var/www/html

   ls

   vim index.html

在web管理上添加 存储设备资源 和服务组

ok现在开启服务组

clusvcadm -e sss

测试 192.168.0.77

如果一个网卡down掉的话 存储就会跳到另一条路。