Instalação da FASE 4 do SPRACE
São 5 servidores, 16 workernodes e um switch.
A Fase 1 será aposentada e os servidores utilizados para outras finalidades.
Os servidores do SPRACE serão migradas para os novos servidores SGI.
A distribuição a ser utilizado é o
CentOS 5.5.
Disposição do Rack SGI
Os servidores estão posicionados de cima para baixo com os respectivos hostnames e endereços internos:
Definição dos endereços IP
- Interface Interna 192.168.1.X
- Interface Gerência 192.168.2.X - configurado como estático na bios (= ilom)
- Interface Externa a definir
As interfaces interna e de gerência possuem o mesmo endereço do host.
Ex. : 192.168.1.164 e 192.168.2.164 para interfaces interna e gerência respectivamente.
Hostname |
eth0 |
eth1 |
eth2 |
eth3 |
ACCESS |
0 |
0 |
192.168.1.164 |
0 |
SPSERV02 |
0 |
0 |
192.168.1.165 |
0 |
SPSERV01 |
0 |
0 |
192.168.1.166 |
0 |
CE |
0 |
0 |
192.168.1.167 |
0 |
SE |
0 |
0 |
192.168.1.168 |
0 |
Nos servidores foram instaladas placas de 10G/s
Particionamento dos servidores
Os HDs da máquinas todas vieram particionadas com GPT para reconhecer partições de mais de 2Tera.
Para instalar o
CentOS é preciso primeiro desfazer o GPT utlizando o fdisk(comandos: o, w) assim a instalação prossegue normalmente.
Distribuição de Serviços
OSG_CE
- gatekeeper
- condor (scheduller + negotiator + collector)
SE
SPSERV01
- Proxy
- RSV
- Ganglia
- SNMP proxy
SPSERV02
- LDAP
- DNS
- NTP
- NFS /home /OSG_ /opt rootnode
- NAT (dnsmasq)
- syslog
- PXE (HDCP+ TFTP)
SPSTRG[01-03]
Todos os servidores estão cofigurados com ssh e fail2ban.
O fail2ban está disponível para centos apartir do repositório EPEL
WORKERNODES
Os workernodes estão ordenados fisicamente iniciando a numeração de baixo para cima e esquerda para direita.
Desta forma, os workernodes da esquerda possuem numeração ímpar e os da direita possuem numeração par.
MacAddress |
Hostaname |
00:30:48:F3:50:70 |
node001 |
00:30:48:F3:51:16 |
node002 |
00:30:48:F3:4A:5E |
node003 |
00:30:48:F3:51:7A |
node004 |
00:30:48:F3:51:1E |
node005 |
00:30:48:F3:52:38 |
node006 |
00:30:48:F3:51:12 |
node007 |
00:30:48:F3:50:F8 |
node008 |
00:30:48:F3:52:1E |
node009 |
00:30:48:F3:52:44 |
node010 |
00:30:48:F3:51:34 |
node011 |
00:30:48:F3:52:10 |
node012 |
00:30:48:F3:52:04 |
node013 |
00:30:48:F3:F3:51 |
node014 |
00:30:48:F3:48:B6 |
node015 |
00:30:48:F3:48:B4 |
node016 |
Workernodes boot do CentOS
Uma vez com o DNSmasq e o PXE instalados partimos para a instalação do root node.
O root node está no spserv02 : /nodes/prodution e pode ser instalado por meio de 2 opções:
1) Fazer instalação em um node e depois compactar com tar.
Proced: /proc e /dev devem ser montados com mount -o bind e depois fazer um tar no raiz.
2) Fazer instalação básica do Centos direto no root node.
INITRD
Depois de instalado o root node queremos logo dar um boot em um nó, porem o initrd de instalação do Centos não pode ser o mesmo para bootar um node.
O INITRD deverá ser personalizado.
o script INIT localizado em spserv02/nodes/tftp/initrd.three/initrd.x/init foi baseado em
http://www.evolware.org/chri/hopeless.html
AUFS
A forma mais fácil é usar um src.rpm que o Scientific Linux criou.
http://www.livecd.ethz.ch/download/SRPMS/5x/ , pacote aufs-0.20090202.cvs-6.sl5.src.rpm
# rpmbuild --recompile --target x86_64 --define 'kernel 2.6.18<>.centos.plus' aufs-0.20090202.cvs-6.sl5.src.rpm
o modulo ficará em /usr/src/redhat/BUILD/aufs-cvs-20090202/aufs.ko
Para compilar o kernel serão necessários os pacotes kernel-header, kernel-devel e o rpm-build
--
AllanSzu - 02 Aug 2010