page1
Mémento GRAPPE
Cluster de calcul mutualisé du LIMSI
http://p2i.limsi.fr/grappe
version du 1/6/2017
Cluster de calcul
Clients via ssh
Stockage Commun
Cluster
Commutateur
réseau dédié
/tmpdir (local)
partages réseau NFS
/workdir (→rw)
/people (→rw)
/soft (→ro)
Le cluster fonctionne sur un réseau privé dédié. Dans ce réseau la machine “grappe” s'appelle “grapdir”, mais c'est la même.
Les utilisateurs accèdent au cluster par une connexion ssh sur la machine “grappe”, c'est la seule machine à laquelle ils accèdent directement.
partages réseau NFS
/xxx (→rw)
/yyy (→ro)
Stockage Équipes
grap1
grap2
grapN
/tmpdir (local)
/tmpdir (local)
/tmpdir (local)
Nœuds de calcul
grappe
grapdir
Frontale
Certains serveurs de fichiers du LIMSI
Accès clients habituels
(fichiers partagés sur les serveurs)
Pour les caractéristiques des nœuds, les volumes des espaces de stockage, le réseau, les serveurs de fichiers et les chemins de partage, les files d'attentes… voir la page dédiée : http://p2i.limsi.fr/grappe
Accès au Cluster
1) demande d'accès, envoi d'une demande par email à p2i@limsi.fr en précisant son login labo (ici me)
…attendre l'email de réponse validant l'accès sur grappe
Lors de cette procédure, vos répertoires personnel et de travail sont créés (avec des quotas limite de stockage), un fichier ~/.forward relaie les emails locaux vers votre compte labo, et un jeu de clés ssh spécifiques au cluster est mis en place.
2) connection sur la machine grappe via ssh : me@host:~$ ssh me@grappe (mot de passe labo)
3) création et soumission des scripts de jobs sur le cluster… (doc au verso et en ligne)
Bonnes pratiques stockage
pour que le cluster soit bien utilisé…
pour commencer à l'utiliser…
Local sur chaque machine. Le gestionnaire de jobs y crée un répertoire spécifique temporaire pour la durée de vie de chaque job (répertoire automatiquement purgé à la fin du job).
 Utilisez de préférence ce disque local pour vos données (copie de données à traiter au début du job, stockage pendant le job, récupération des résultats à la fin du job).
Partagé entre les nœuds, utilisé pour stocker des données à traiter volumineuses, non accessibles autrement par les nœuds de calcul, et pour rapatrier les résultats volumineux.
 Un nettoyage périodique des anciennes données est réalisé automatiquement sur $WORKDIR.
 Une fois vos jobs terminés, pensez à récupérer vos résultats et à les stocker ailleurs que sur le cluster - celui-ci n'est pas un système de stockage pérenne..
$WORKDIR
/workdir/me
$TMPDIR
/tempdir/idjob
$HOME
/people/me
Partagé entre les nœuds, peu d'espace.
Pour stocker vos exécutables personnels, scripts de jobs et autres fichiers de paramètres.
L.Pointal
Un fichier texte script-shell contient des directives permettant de spécifier des options du job, et des commandes pour lancer les calculs et transférer les données.
Il est soumis à l'ordonnanceur de jobs avec la commande :
qsub script
Il sera exécuté sur les nœuds de calcul.
#!/bin/bash
#PBS -N LongRun3
#PBS -l walltime=23:00:00,mem=1gb
cd $TMPDIR
cp $PBS_O_HOME/* ./
cp $WORKDIR/data1/* ./
./monproc
./postproc3
cp data.res $WORKDIR/$PBS_JOBNAME.res
cp status $PBS_O_HOME/$PBS_JOBNAME.sta
Définition d'un job
Directives pour l'exécution du job
Répertoire temporaire pour l'exécution
Transfert des données/binaires/params
Traitements
Transfert des résultats
voir détails au verso
 Les espaces de stockage du cluster ne sont pas sauvegardés.
 Les espaces de stockage du cluster ne sont pas faits pour du partage de données.