Logo dirsisti
Logo Unitn
 

Risorse di calcolo

 
Cluster HPC di Ateneo

For over a decade prophets have voiced the contention that the organization of a single computer has reached its limits. 

And that the truly significant advances can be made only by interconnection of a multiplicity of computers. 

 

Gene Amdahl, 1967

 

L'Ateneo mette a disposizione un cluster HPC ai docenti e ricercatori.

Acccesso al servizio

La richiesta deve essere effettuata da personale strutturato (docenti, ricercatori) attraverso la form https://goo.gl/forms/KBPC8xhxEyHmG66B3

L'accesso al cluster può essere richiesto anche per personale non strutturato interno a unitn (studenti, PTA, post doc, ecc.)

 

Architettura

Attualmente il cluster HPC è composto da 25 nodi di calcolo CPU per un totale di 500 core e 2 nodi di calcolo GPU per un totale di 20.000 CUDA core e due nodi di frontend (head node).

Tutti i nodi sono interconnessi con rete infiniband e dispongono di connettività 10Gb verso la MAN di Ateneo.

Le home utenti e il software sono installate su uno storage condiviso (Dell Compellent) e replicato verso un apparato analogo presso il sito di backup.

Il sistema operativo scelto è Linux CenOS 7 mentre il software di gestione del cluster è Altair PBS.

Per core Memory 12 GB
Cores per server 20
Cluster wide cores 580
Cluster wide CUDA cores

19.968

otal theoretical peak performance

32,98 TFLOPs

head node:

n.2 DELL R630 con 2 CPU Intel Xeon E5-2650 v3 2.3GHz, 64 GB di RAM, 2 Hot-plug Hard Drive 300GB 10K RPM SAS, scheda 10Gb SFP+, Infiniband Mellanox ConnectX-3, Single Port, VPI FDR, QSFP+ Adapter

cpu node:

n.17 DELL R630 con 2 CPU Intel Xeon E5-2650 v3 2.3GHz, 256 GB di RAM, 2 Hot-plug Hard Drive 300GB 10K RPM SAS, scheda opzionale 10Gb SFP+, Infiniband Mellanox ConnectX-3, Single Port, VPI FDR, QSFP+ Adapter

n.8 DELL R630 con 2 CPU Intel Xeon E5-2650 v3 2.3GHz, 256 GB di RAM, 1 Hot-plug Hard Drive SSD 200GB, scheda 10Gb SFP+, Infiniband Mellanox ConnectX-3, Single Port, VPI FDR, QSFP+ Adapter

GPU node:

n.2 DELL C4130 con 2 CPU Intel Xeon E5-2660 v3 2.6GHz, 256GB RAM 2 x Hot-plug Hard Drive 300GB 10K RPM SAS, 1x 10Gb SFP+, 1 Infiniband Mellanox ConnectX-3, Single Port, VPI FDR, QSFP+ Adapter, 2 schede Nvidia K80

Connettività:

Switch InfiniBand Mellanox, modello MIS5030Q-1SFC con 36 pore QDR (40Gb/s)

 

Policies generali di utilizzo della risorsa.

L’utilizzo del cluster deve essere utilizzato esclusivamente per i fini del gruppo di ricerca. Qualora si intendessero trattare dati personali o sensibili si prega di contattare i gestori del servizio.

Sottomissione dei job

I job devono essere sottomessi al cluster utilizzando i nodi di frontend (hpc.unitn.it) e il gestore di code PBS. Si invita a non cercare di bypassare il gestore code eseguendo script direttamente sui nodi.

Al momento della sottomissione del job vanno indicati il numero di core necessari per l’elaborazione e in opzione anche il tempo di esecuzione. Più precise saranno le informazioni fornite e migliori saranno le performance dello schedulatore.

maggiori informazioni sono disponibili nella guida di utilizzo del cluster.

Nodi di frontend

I nodi di frontend devono essere utilizzati solo per:

  • preparazione e sottomissione dei job
  • file transfer
  • editing del codice
  • compilazione
  • monitoraggio dei job

Si prega di non utilizzare i nodi di frontend per eseguire i job localmente e di limitare l’uso di risorse CPU e RAM. Qualunque processo che utilizzi troppe risorse sui nodi di frontend potrà essere terminato senza preavviso

Code

Il cluster è organizzato a code che offrono accesso alle risorse (coda cpu, coda gpu, ecc.).

I gruppi di ricerca che conferiscono hardware al cluster disporranno di code dedicate con accesso prioritario all’hardware acquistato.

I gruppi di ricerca che non hanno contribuito con risorse hardware possono accedere in maniera condivisa alle code community con le policy definite per ciascuna coda. Le code community hanno accesso alle risorse condivise del cluster e alle risorse acquistate dai gruppi di ricerca nel momento in cui non vengono utilizzate.

Account

Per poter accedere al cluster è necessario disporre di un account di Ateneo con un ruolo attivo. Alla scadenza del ruolo (studente, dottorando, assegnista, ecc.) l’account non sarà più attivo e nel caso di assegnazione di un nuovo ruolo sarà necessario richiedere l’attivazione dell’account. Si invitano pertanto gli utenti a downloadare dati e file prima della scadenza della propria utenza.

Data storage

Gli utenti del cluster dispongono di una home directory su uno storage ad alte prestazioni.

La home utente è visibile da tutti i nodi del cluster.

Al momento non sono configurate quote e tutte le home condividono un volume di 15 TB che viene backuppato giornalmente alle 2.00 nel data center di backup

 

Vi invitiamo a segnalare qualunque uso potenzialmente scorretto della risorsa.

Per domande o assistenza inviare una mail a gestione.sistemi [at] unitn.it

 

 

 

Statistiche di utilizzo del cluster

 

CPU Utilization

 

cnode01.cluster.net
cnode02.cluster.net
cnode03.cluster.net
cnode04.cluster.net
cnode05.cluster.net
cnode06.cluster.net
cnode07.cluster.net
cnode08.cluster.net
cnode09.cluster.net
cnode10.cluster.net
cnode11.cluster.net
cnode12.cluster.net
cnode13.cluster.net
cnode14.cluster.net
cnode15.cluster.net
cnode16.cluster.net
cnode17.cluster.net
cnode18.cluster.net
cnode19.cluster.net
cnode20.cluster.net
cnode21.cluster.net
cnode22.cluster.net
cnode23.cluster.net
cnode24.cluster.net
cnode25.cluster.net
gnode01.cluster.net
gnode02.cluster.net

 

Ulteriori statistiche

 

 

Get Service 

La richiesta deve essere effettuata da personale strutturato (docenti, ricercatori) attraverso la form https://goo.gl/forms/KBPC8xhxEyHmG66B3

L'accesso al cluster può essere richiesto anche per personale non strutturato interno a unitn (studenti, PTA, post doc, ecc.)

Destinatari