Centos6.5部署Lustre2.5.3过程

MDS上操作：

所有机器都需配置基础环境
service iptables stop
chkconfig iptables off
sed -i ‘/SELINUX/s/enforcing/disabled/‘ /etc/selinux/config

安装编译依赖包
yum install zlib-devel python-devel rpm-build libtool libselinux-devel redhat-rpm-config expect tcl gcc-gfortran tk

安装Lustre Kernel更新Kernel：
rpm -ivh kernel-firmware-2.6.32-431.23.3.el6_lustre.x86_64.rpm
rpm -ivh kernel-devel-2.6.32-431.23.3.el6_lustre.x86_64.rpm
rpm -ivh kernel-2.6.32-431.23.3.el6_lustre.x86_64.rpm

reboo重启
检查内核是否切换为Lustre内核

安装e2fs
rpm -Uvh –nodeps e2fsprogs-libs-1.42.12.wc1-7.el6.x86_64.rpm
rpm -Uvh –nodeps libcom_err-1.42.12.wc1-7.el6.x86_64.rpm
rpm -Uvh –nodeps libcom_err-devel-1.42.12.wc1-7.el6.x86_64.rpm
rpm -Uvh –nodeps libss-devel-1.42.12.wc1-7.el6.x86_64.rpm
rpm -Uvh –nodeps libss-1.42.12.wc1-7.el6.x86_64.rpm
rpm -Uvh –nodeps e2fsprogs-static-1.42.12.wc1-7.el6.x86_64.rpm
rpm -Uvh –nodeps e2fsprogs-devel-1.42.12.wc1-7.el6.x86_64.rpm
rpm -Uvh e2fsprogs-1.42.12.wc1-7.el6.x86_64.rpm

编译Lustre：
安装Lustre源码包：
rpm -ivh lustre-source-2.5.3-2.6.32_431.23.3.el6_lustre.x86_64.x86_64.rpm
cd /usr/src/lustre-2.5.3/
开始编译：
./configure –with-linux=/usr/src/kernels/2.6.32-431.23.3.el6_lustre.x86_64/ –enable-mpitests=no –
enable-ext4

make

make rpms

安装编译完的Lustre包：
cp -r /root/rpmbuild/RPMS/x86_64 /root/backup/lustre2.5.3/
安装：
cd /root/backup/lustre2.5.3/x86_64/
rpm -ivh lustre-modules-2.5.3-2.6.32_431.23.3.el6_lustre.x86_64.x86_64.rpm
rpm -ivh lustre-osd-ldiskfs-2.5.3-2.6.32_431.23.3.el6_lustre.x86_64.x86_64.rpm
rpm -ivh lustre-2.5.3-2.6.32_431.23.3.el6_lustre.x86_64.x86_64.rpm

把编译生成的rpm包传到各个OSS上，再各个OOS上也需要安装上面的Lustre包

配置Lustre模块和网络
echo “options lnet networks=tcp(eth0)” >> /etc/modprobe.d/lustre.conf
echo “modprobe lustre” >>/etc/rc.local
echo “modprobe lnet” >> /etc/rc.local
重启检查是否加载上
lsmod | grep lustre
lsmod |grep lnet
lctl list_nids

MDS上格式化mdt并挂载：
格式化：
mkfs.lustre –fsname=fclustre –mgs –mdt –index=0 –reformat /dev/sdb
转换普通用户也有可写权限：
tunefs.lustre –param mdt.identity_upcall=NONE /dev/sdb
挂载：
mkdir -p /mnt/fclustre-mdt0
写入开机启动：
echo “mount -t lustre /dev/sdb /mnt/fclustre-mdt0” >> /etc/rc.local

OSS1上操作：

安装编译生成的Lustre包
rpm -ivh lustre-modules-2.5.3-2.6.32_431.23.3.el6_lustre.x86_64.x86_64.rpm
rpm -ivh lustre-osd-ldiskfs-2.5.3-2.6.32_431.23.3.el6_lustre.x86_64.x86_64.rpm
rpm -ivh lustre-2.5.3-2.6.32_431.23.3.el6_lustre.x86_64.x86_64.rpm

OSS1上格式化ost00并挂载：
格式化：
mkfs.lustre –fsname=lustre –ost –index=0 --mgsnode=192.168.10.42@tcp –reformat /dev/sdb
挂载
mkdir -p /mnt/fclustre-ost00
mount -t lustre /dev/sdb /mnt/fclustre-ost00
写入开机启动：
echo “mount -t lustre /dev/sdb /mnt/fclustre-ost00” >> /etc/rc.local

OSS2上操作：

OSS2上格式化ost01并挂载：
格式化：
mkfs.lustre –fsname=lustre –ost –index=1 --mgsnode=192.168.10.42@tcp –reformat /dev/sdb
挂载
mkdir -p /mnt/fclustre-ost01
mount -t lustre /dev/sdb /mnt/fclustre-ost01
写入开机启动：
echo “mount -t lustre /dev/sdb /mnt/fclustre-ost01” >> /etc/rc.local

编译并安装Lustre Client：
安装编译依赖包：
yum install perl expect zlib-devel python-devel rpm-build libtool libselinux-devel binutils binutils-devel flex tcl tcl-devel
安装client源码包：
rpm -ivh lustre-client-source-2.5.3-2.6.32_431.23.3.el6.x86_64.x86_64.rpm
cd /usr/src/lustre-2.5.3