Instalação da access
Descrição
Instalação do novo server de acesso ao cluster do SPRACE. Através desse server, os membros do SPRACE poderão submeter seus jobs de análise para o cluster local sem a necessidade de utilização de comandos de grid.
Procedimentos
A máquina utilizada foi o node84, que estava sendo usada como servidor para o evo, recentemente liberada dessa função.
Foram instalados no servidor dois discos de 400GB. O sistema operacional instalado foi o SL4.6. As partições são:
/ ... 20 GB (/dev/sda2)
/boot ... 251 MB (/dev/sda1)
/tmp ... 9.7GB (/dev/sda6)
/var ... 20GB (/dev/sda5)
/local ... 315GB (/dev/sda7)
swap ... 4GB
/hdacs ... 367GB (/dev/sdb1)
Os números ip's externo (WAN) e interno (LAN) são, respectivamente:
200.136.80.8 ... access.sprace.org.br
192.168.1.154 ... acs.grid
Foram criadas contas locais para os usuarios. O home dos usuários está em /local/home e há um soft-link /home -> /local/home.
Para que o CMSSW e o condor instalados na osg-ce possam ser usados na access, são montados por nfs os diretórios abaixo listados no /etc/fstab da access:
osgce:/home /home_osgce nfs rw,hard,bg,rsize=32768,wsize=32768,udp,nfsvers=3
osgce:/opt/osg-1.0.0 /OSG nfs rw,hard,bg,rsize=32768,wsize=32768,udp,nfsvers=3
Para fazer com que a access possa submeter jobs pelo condor, classificamos o eth1 como "trusted device" usando como root o script system-config-securitylevel .
Além disso, exportamos para a osg-ce e nodes o diretório /hdacs (/etc/exports):
/hdacs 192.168.1.0/24(rw,async,no_root_squash)
Dessa forma, os executáveis dos jobs devem ser criados e submetidos desse diretorio, e o arquivo de submissão do condor deve indicar os arquivos log, err, exec e out nesse diretorio: Exemplo:
########################
# Submit description file for hello program
########################
executable = /hdacs/lietti/hello
universe = vanilla
output = /hdacs/lietti/hello.out
error = /hdacs/lietti/hello.error
log = /hdacs/lietti/hello.log
Todos os usuários tem um diretório com seu username em /hdacs.
[root@access hdacs]# ls -l
total 72
drwxr-xr-x 2 allan allan 4096 Aug 19 11:05 allan
drwxr-xr-x 2 bach bach 4096 Aug 19 11:07 bach
drwxr-xr-x 2 fladias fladias 4096 Aug 19 11:07 fladias
drwxr-xr-x 2 gregores gregores 4096 Aug 19 11:06 gregores
drwxr-xr-x 2 ichimaru ichimaru 4096 Aug 19 11:08 ichimaru
drwxr-xr-x 2 jadir jadir 4096 Aug 19 11:08 jadir
drwxr-xr-x 2 lagana lagana 4096 Aug 19 11:08 lagana
drwxr-xr-x 2 lietti lietti 4096 Aug 18 16:48 lietti
drwx------ 2 root root 16384 Aug 13 11:07 lost+found
drwxr-xr-x 2 mdias mdias 4096 Aug 19 11:08 mdias
drwxr-xr-x 2 mercadan mercadan 4096 Aug 19 11:09 mercadan
drwxr-xr-x 2 novaes novaes 4096 Aug 19 11:10 novaes
drwxr-xr-x 2 rogerio rogerio 4096 Aug 19 11:11 rogerio
drwxr-xr-x 2 tcosta tcosta 4096 Aug 19 11:06 tcosta
drwxr-xr-x 2 trtomei trtomei 4096 Aug 18 17:25 trtomei
Falta incluir no /etc/fstab da osg-ce e nodes a linha
acs:/hdacs /hdacs nfs rw,hard,bg,rsize=32768,wsize=32768,udp,nfsvers=3
Updates
Marco em 29/01/2009
Existia um problema quanto as CRLs na access. Para isso tive de remover o ponto de montagem do /etc/grid-security da access (já o retirei do /etc/fstab inclusive), e coloquei um link simbólico para :
ln -s /OSG/globus/TRUSTED_CA /etc/grid-security/certificates
e foi copiado o VOMS dir
mkdir vomsdir
mkdir vomsdir/cms
scp osg-ce:/etc/grid-security/cms/* /etc/grid-security/vomsdir/cms/.
scp osg-ce:/etc/grid-security/vomsdir/vdt_empty.pem /etc/grid-security/vomsdir
Ciclano em dd/mm/aaaa
Mais comentarios
--
SergioLietti - 19 Aug 2008