Migration partielle sur Centos7.9

Le cluster lumière tourne actuellement sur une ancienne distribution : Centos6.10.

Certaines applications nécessitent un système assez récent pour tourner, notamment une version récent de la GLIBC.

Nous avons migrer une partie des noeuds de la partie séquentielle sur Centos7.9 (dernière distribution supportée par le matériel)

Comment ça fonctionne ?

Deux files d'attente ont été configurées pour utiliser uniquement le système Centos7.9.

  1. logincentos79 : cette file d'attente est utilisé uniquement en mode interactif, elle sert pour compiler les logiciels et de soumettre les jobs.
  2. allc79.q : c'est la file à utiliser dans vos scripts SGE. Elle contient 160 slots pour le moment.

Exemple d'utilisations

Programmes Python

Nous avons compilé une version récente de Python (3.13.2) en utilisant le module miniconda3 optimisé avec la bibliothèque libmamba

  • Une fois connecté sur le cluster lumière. On ouvre une session interactive sur la file logincentos79 
    $ qlogin -q logincentos79
  • On se place dans WORK et on charge le module miniconda3 
    $ cd WORK
$ module load miniconda/centos79/3.12.9
  • On configure conda pour utiliser WORK pour stocker les packages installés
  $ meso_setup_conda 
 

La commande meso_setup_conda on l'exécute généralement une seule fois.

  • A partir de maintenant on peut installer les packages avec conda. Par exemple 
    $ conda install pandas

Pour les pacquets pip, il faut d'abord installer pip avec conda. 

$ conda install pip
$ pip install pandas

Exécuter le programme avec SGE

Il faut utiliser la file d'attente allc79.q. Voici un exemple de script (minimaliste) à utiliser :

anaconda.sge
#!/bin/bash
 
#$ -q allc79.q
 
#$ -l h_vmem=6G ## job will cancel if memory exceed
 
#$ -N Test_miniconda
 
module load miniconda/centos79/3.12.9
 
conda run -n myEnv python myProgram.py