page2
Reprises (en mettant PBS_O_) lors de la soumission par qsub sur grapdir :
PBS_O_HOME Répertoire perso utilisateur $HOME
PBS_O_LOGNAME Login utilisateur $LOGNAME
…PBS_O_LANG, PBS_O_PATH, PBS_O_MAIL, PBS_O_SHELL, PBS_O_TZ (…)
Définies lors de la soumission par qsub sur grapdir :
PBS_O_HOST Nom de la machine (grapdir)
PBS_O_WORKDIR Répertoire courant sur grapdir lors de la soumission
PBS_O_QUEUE Queue de soumission initiale
PBS_O_INITDIR Répertoire de travail au démarrage (si spécifié via l'option -d)
Définies lors de l'exécution du job sur le nœud :
PBS_ENVIRONMENT PBS_BATCH ou PBS_INTERACTIVE
PBS_JOBID Identificateur associé au job par le cluster (ex. 56.grapdir ou 56-32.grapdir pour un job-array)
PBS_JOBNAME Nom donné au job (cf option -N)
PBS_NODEFILE Fichier contenant la liste des nœuds participants au job
PBS_ARRAYID ID associé pour un job d'un job-array (cf option -t)
TMPDIR Répertoire de stockage local du job, pour la durée du job, à utiliser prioritairement
Variables du cluster, définies à la soumission et à l'exécution :
WORKDIR Répertoire utilisateur sur le stockage commun en partage réseau (spécial cluster grappe)
Options #PBS pour les scripts de job (ces options peuvent aussi être fournies en ligne de commande) :
-d rep Répertoire de travail au démarrage (positionne PBS_O_INITDIR), qui est par défaut $HOME
-N jobname Nom donné au job (défaut nom du script soumis)
-o fich Fichier de capture de stdout (défaut jobname.ojobid dans PBS_O_WORKDIR)
-e fich Fichier de capture de stderr (défaut jobname.ejobid dans PBS_O_WORKDIR)
-M me@limsi.fr Adresses emails de suivi de la vie du job
-m bea Choix des événements du job à suivre : b=begin, e=end, a=aborted
-t arrayids Lancement de N jobs via un job-array avec les arrayids indiqués (ex. 15-30 ; 1,3,7-12)
-V Export de toutes les variables d'environnement vers le job
-T script Indication de scripts prologue/épilogue au job (nommés prologue.script & epilogue.script)
-l limites Limites pour le job
Pour les limites, on a entre autres (plusieurs -l ou séparateur virgule) :
pmem=100mb mémoire physique
walltime=03:45:00 durée maximale
nodes=2 nombre de nœuds sollicités
nodes=2:ppn=3 nombre de processeurs/nœuds (cœur) sollicités
file=150gb espace de stockage à réserver
Voir la doc et les autres (nombreuses) options disponibles avec man qsub.
Variable à l'exécution des jobs
Options d'exécution des jobs
Vous pouvez utiliser ces variables dans vos scripts de job pour les adapter à l'exécution sur les nœuds.
Note : l'existence d'un espace WORKDIR partagé entre tous les nœuds, ainsi que la possibilité d'accéder à certains volumes de stockages hors du cluster à partir des nœuds n'est pas possible sur tous les clusters de calcul.
Commandes de gestion des jobs & d'état du cluster
Commandes de base et options les plus courantes :
qsub [options] script Soumission d'un script à l'ordonnanceur du cluster
qstat [options][jobid] Statut des jobs, options : -a all, -r running -n nodes, -f infos complètes, -u user, -Q queue
-B statut du serveur de jobs
qdel jobid Suppression d'un job
qhold jobid Mise en attente d'un job
qrls jobid Réactivation d'un job mis en attente
pbsnodes État des nœuds de calcul du cluster