hpc [at] brin.go.id

MAHAMERU BRIN HPC

BRIN's Scientific Computation Services

USER MANUAL

Panduan Mengakses Layanan Komputasi dengan MAHAMERU HPC

Alur pengajuan akun untuk sivitas internal maupun eksternal BRIN

1. Mengajukan permintaan melalui ELSA

 1.1 Ketentuan Untuk Sivitas Internal BRIN

  1. Kunjungi laman login ELSA. 
  2. Login menggunakan SSO BRIN
  3. Cari layanan dengan keyword ‘komputasi’ di menu pencarian atau dapat mengunjungi TAUTAN INI.
  4. Pilih menu ‘AJUKAN LAYANAN’.
  5. Isi borang isian, khusus sivitas internal BRIN cukup lengkapi form yang required saja. Selanjutnya, untuk tanggal pelaksanaan layanan, silakan isi selama 1 tahun.
  6. Pilih menu ‘AJUKAN’

Catatan:

  1. Setelah mengajukan, mohon menunggu approval dari pengelola layanan. Sivitas internal BRIN sudah pasti diberikan persetujuan. Notifikasi akan terkirim melalui email @brin.go.id atau bisa dengan melihat status layanan dari ELSA.
  2. Username yang digunakan adalah sesuai dengan akun SSO BRIN Anda (contoh: abcd123).
  3. Login ke SERVER KOMPUTASI dengan menggunakan SSH client dengan otorisasi RSA Key dan bukan dengan password. Silakan lihat penjelasannya di SINI.
  4. Setiap 6 bulan, user akan expired secara otomatis sebagai mekanisme “keep-alive check“.
  5. Jika user telah expired, silakan mengisi laporan penggunaan di ELSA dan  mengajukan pengaktifan kembali dengan berkirim ke email hpc [at] brin.go.id dengan subjek: AKTIVASI.

1.2 Ketentuan Untuk Sivitas Eksternal BRIN

  1. Kunjungi laman login ELSA. 
  2. Jika belum memiliki akun ELSA, silakan daftar dengan mengisi form isian yang tersedia.
  3. Cari layanan dengan keyword ‘komputasi’ di menu pencarian atau dapat langsung mengunjungi TAUTAN INI.
  4. Pilih menu ‘AJUKAN LAYANAN’.
  5. Isi formulir, lengkapi dengan jelas setiap form yang tersedia, baik required maupun optional. Khusus untuk tanggal pelaksanaan layanan, silakan isi selama maksimal 1 tahun.
  6. Pilih menu ‘AJUKAN’

Catatan:

  1. Setelah mengajukan, mohon menunggu approval dari pengelola layanan. Keputusan diterima/ditolak tergantung dari reviewer berdasarkan isian form yang Anda isi. Notifikasi akan terkirim melalui email yang digunakan untuk mendaftar atau bisa dengan melihat status layanan dari ELSA.
  2. Username yang digunakan akan diberikan melalui ELSA di menu Username setelah Anda login ke ELSA.
  3. Login ke SERVER KOMPUTASI dengan menggunakan SSH client dengan otorisasi RSA Key dan bukan dengan password. Silakan lihat penjelasannya di SINI.
  4. Setiap 3 bulan, user akan expired secara otomatis sebagai mekanisme “keep-alive check“.
  5. Jika user telah expired, silakan mengisi laporan penggunaan di ELSA dan  mengajukan pengaktifan kembali dengan berkirim ke email hpc [at] brin.go.id dengan subjek: AKTIVASI. 

2 Login ke HPC node 

2.1 Layanan Komputasi Umum

Setelah Anda membuat key dan mengunggahnya di logbook ELSA seperti yang dijelaskan di LINK ini, mohon untuk melakukan konfirmasi ke hpc [at] brin.go.id dengan subject: PUBLIC KEY. Selanjutnya, mohon menunggu konfirmasi dari kami melalui email tersebut. Setelah mendapat konfirmasi dari Admin, silakan login dengan menggunakan SSH client ke server kami ‘login.hpc.brin.go.id‘. Di terminal Anda dapat mengetikkan sbb:
ssh username@login.hpc.brin.go.id

Sesuaikan username Anda dengan yang telah diberikan oleh administrator di menu Akun di ELSA. Jika tidak ada kendala, Anda telah masuk di login node dengan tampilan seperti dalam gambar di bawah ini. Anda tidak akan ditanya password karena otentikasi menggunakan SSH key. Pastikan Anda menggunakan terminal yang sama dengan saat Anda melakukan generate SSH key dan tidak men-generate ulang–dengan nama default–yang mengakibatkan key existing tertimpa dan berbeda dengan yang telah diunggah di logbook.

2.2 Layanan Komputasi AI dengan DGX A100

Setelah Anda membuat key dan mengunggahnya di logbook ELSA seperti yang dijelaskan di LINK ini, mohon untuk melakukan konfirmasi ke hpc [at] brin.go.id dengan subject: PUBLIC KEY. Selanjutnya, mohon menunggu konfirmasi dari kami melalui email tersebut. Setelah mendapat konfirmasi dari Admin, silakan login dengan menggunakan SSH client ke server kami ‘login2.hpc.brin.go.id‘. Di terminal Anda dapat mengetikkan sbb:
ssh username@login2.hpc.brin.go.id

Sesuaikan username Anda dengan yang telah diberikan oleh administrator di menu Akun di ELSA. Akses SSH ke node ini hanya dapat dilakukan di dalam jaringan BRIN atau menggunakan VPN BRIN jika diakses dari luar jaringan. Jika tidak ada kendala, Anda telah masuk di login node dengan tampilan seperti dalam gambar di bawah ini. Anda tidak akan ditanya password karena otentikasi menggunakan SSH key. Pastikan Anda menggunakan terminal yang sama dengan saat Anda melakukan generate SSH key dan tidak men-generate ulang–dengan nama default–yang mengakibatkan key existing tertimpa dan berbeda dengan yang telah diunggah di logbook.

 

3. Cara Submit Job

3.1 Layanan Komputasi Umum 

Setelah login, Anda dapat melihat informasi cara submit dan queue yang dapat Anda gunakan dengan cara mengetik ‘manual’ lalu tekan ENTER. Berikut ini contohnya.

3.2 Layanan Komputasi AI dengan DGX A100 

3.2.1 Menggunakan sbatch
Contoh script untuk submit dengan sbatch:
#!/bin/bash
#SBATCH --account=low
#SBATCH --partition=short
##SBATCH --gpus-per-node=1
#SBATCH --ntasks-per-node=8
#SBATCH --mem=16G # memory per node
#SBATCH --time=0-03:00
##Selanjutnya adalah perintah untuk menjalankan aplikasi Anda
nvidia-smi -L  # you can use 'nvidia-smi' for a test
sleep 60
Simpan script tersebut (misalnya dengan nama job1.sh). Lalu lakukan submisi job dengan perintah sbatc seperti contoh berikut.
sbatch job1.sh
Lihat statusnya dengan perintah squeue seperti contoh berikut:
squeue -u nama_user
 
 
3.2.2 Menggunakan JupyterLab

Untuk menjalankan JupyterLab, lakukan langkah berikut:
1. Install miniconda dengan menjalankan perintah
installminiconda
2. Install JupyterLab dengan menjalankan perintah
conda install jupyter
3. Jalankan perintah
runjupyterlab_fast (Untuk testing atau sekedar mengecek script, job akan berakhir otomatis selama 4 jam)

runjupyterlab_long (Untuk running job yang sudah siap dan memerlukan waktu lama. Job akan berakhir otomatis selama 24 jam) 

Anda juga dapat menginstall miniconda/anaconda dengan paket yang Anda unduh sendiri. Setelah JupyterLab terinstall, jalankan runjupyterlab untuk mengaktifkannya.
Alamat IP dan token akan tercetak di output file dan juga tercetak di standard output (monitor).

Cara Transfer Data

Anda dapat menggunakan SFTP client pada umumnya seperti Cyberduck dan FileZilla untuk melakukan transfer data dari dan ke HPC node. Gunakan opsi otentikasi SSH key instead of password. Anda bisa membaca dokumentasi terkait hal ini di website aplikasi tersebut. Selain itu, Anda juga bisa menggunakan perintah scp (secure copy) langsung dari terminal Anda. 

Jika menemui kendala, silakan layangkan pertanyaan ke hpc [at] brin.go.id

Scroll to top