Anda telah berhasil menguasai WDL (Workflow Description Language). Anda dapat merangkai task-task bioinformatika menjadi sebuah pipeline yang rapi, portabel, dan dapat direproduksi. Dengan Cromwell, Anda bahkan dapat menjalankannya di klaster komputasi lokal (HPC) Anda untuk memproses puluhan sampel. Namun, tantangan berikutnya kini menanti: bagaimana Anda menskalakan operasi ini untuk proyek sekelas riset konsorsium, yang melibatkan ribuan sampel genom, data petabyte, dan tim peneliti yang tersebar di berbagai institusi?

baca Juga:PPKN Singkatannya Adalah? Pahami Makna dan Pentingnya dalam Pendidikan

Di sinilah kita beralih dari sekadar menjalankan alur kerja menjadi mengelola ekosistem analisis. Menjalankan Cromwell secara manual di cloud untuk ribuan sampel adalah sebuah mimpi buruk logistik. Anda akan tenggelam dalam manajemen mesin virtual (VM), transfer data, pelacakan biaya, dan masalah kolaborasi. Di skala produksi, Anda tidak hanya membutuhkan execution engine; Anda membutuhkan sebuah platform.

Artikel ini ditujukan bagi para bioinformatikawan senior, arsitek cloud, dan manajer tim komputasi. Kita akan membahas bagaimana arsitektur modern yang menggabungkan WDL, Google Cloud, dan platform Terra dari Broad Institute menjadi standar emas untuk analisis bioinformatika di skala produksi. Ini bukan lagi tentang menjalankan skrip; ini tentang merekayasa pabrik analisis data genomik.

Lebih dari Sekadar Eksekusi: Mengapa Cromwell Saja Tidak Cukup?

Cromwell adalah execution engine WDL yang fantastis, tetapi tugasnya spesifik: ia menerima sebuah file WDL dan menjalankannya. Di skala produksi, masalah yang Anda hadapi jauh lebih luas:

• Manajemen Data: Di mana Anda menyimpan 500 Terabyte data sekuensing Anda? Bagaimana Anda mengaturnya agar mudah diakses oleh pipeline dan tim Anda?
• Manajemen Sumber Daya: Bagaimana Anda secara efisien menyediakan dan mematikan ribuan VM di cloud untuk setiap tugas dalam pipeline Anda tanpa membengkakkan biaya?
• Kolaborasi: Bagaimana Anda bisa membagikan alur kerja, data, dan hasil analisis Anda dengan kolega di benua lain dengan cara yang aman dan dapat direproduksi 100%?
• Pelacakan dan Biaya: Siapa yang menjalankan analisis apa, dan berapa biayanya? Tanpa pelacakan yang baik, biaya cloud bisa meledak di luar kendali.
• Analisis Hilir: Setelah pipeline WDL selesai, hasilnya (misalnya, file VCF) perlu dianalisis lebih lanjut. Bagaimana Anda menyediakan lingkungan untuk analisis interaktif (seperti Jupyter Notebooks) yang terhubung langsung dengan hasil ini?

Cromwell tidak dirancang untuk menyelesaikan masalah-masalah ini. Untuk itu, kita memerlukan lapisan di atasnya—sebuah platform manajemen.

Memperkenalkan Terra: Platform Terintegrasi untuk Sains Skala Cloud

Terra adalah platform berbasis web open-source yang dikembangkan oleh Broad Institute, Microsoft, dan Verily. Tujuannya adalah untuk menyediakan satu lingkungan terintegrasi di mana para peneliti dapat mengakses data, menjalankan alur kerja bioinformatika skala besar, dan berkolaborasi. Anggap saja Terra sebagai “kokpit” untuk analisis bioinformatika Anda di Google Cloud.

Terra secara cerdas membungkus dan mengelola layanan Google Cloud yang kompleks (seperti Google Cloud Storage, Google Compute Engine, dan BigQuery) di balik antarmuka yang ramah peneliti. Ia secara langsung menjawab tantangan skala produksi:

1. Workspace sebagai Unit Analisis: Konsep inti di Terra adalah Workspace. Sebuah Workspace adalah sebuah kompartemen proyek yang mengikat bersama:
   • Data: Tautan ke data Anda yang tersimpan dengan aman di Google Cloud Storage.
   • Workflows: Koleksi alur kerja WDL Anda.
   • Notebooks: Lingkungan Jupyter Notebooks untuk analisis interaktif.
   • Kolaborator: Daftar anggota tim yang memiliki akses ke Workspace tersebut.
2. Eksekusi WDL yang Dikelola: Terra menggunakan Cromwell sebagai engine di balik layar, tetapi Anda tidak perlu berinteraksi dengannya secara langsung. Anda cukup memilih workflow WDL, memilih data dari tabel data Workspace, dan menekan “Jalankan”. Terra akan secara otomatis mengirimkan pekerjaan tersebut ke Google Life Sciences API, yang kemudian menyediakan VM, menjalankan task Anda di dalam kontainer Docker, dan mematikannya setelah selesai.
3. Reproduktifitas Total: Dengan mengkloning sebuah Workspace Terra, seorang peneliti dapat secara instan mendapatkan salinan identik dari data, tools, dan lingkungan komputasi yang digunakan dalam sebuah publikasi, memungkinkan verifikasi hasil yang sesungguhnya.

Arsitektur Pipeline Modern di Terra: Sebuah Cetak Biru

Mari kita lihat bagaimana sebuah pipeline genomik dari ujung ke ujung diimplementasikan dalam arsitektur ini.

1. Ingesti Data: Data sekuensing mentah (file FASTQ atau BAM) diunggah ke sebuah Google Cloud Storage (GCS) Bucket. Bucket ini berfungsi sebagai “danau data” (data lake) pusat yang aman.
2. Setup Workspace Terra: Sebuah Workspace baru dibuat di Terra. Workspace ini tidak menyalin data, melainkan hanya menautkan ke GCS Bucket. Metadata sampel (misalnya, ID Sampel, tipe penyakit, lokasi file FASTQ) diimpor ke dalam tabel data di dalam Workspace.
3. Eksekusi Pipeline WDL: Peneliti memilih workflow WDL untuk analisis (misalnya, pipeline GATK Best Practices untuk pemanggilan varian). Mereka memilih seluruh 500 sampel dari tabel data dan meluncurkan analisis. Terra, melalui Google Cloud, akan secara otomatis menjalankan 500 instance dari pipeline ini secara paralel. Hasil akhir (misalnya, file VCF untuk setiap sampel) secara otomatis ditulis kembali ke GCS Bucket.
4. Agregasi dan Analisis Hilir: Hasil dari 500 VCF kini perlu dianalisis bersama. Peneliti meluncurkan Jupyter Notebook langsung dari dalam Workspace Terra yang sama. Notebook ini memiliki akses langsung ke GCS Bucket yang berisi hasil. Menggunakan pustaka Python seperti Hail atau Pandas, peneliti dapat melakukan analisis statistik, kontrol kualitas, dan membuat visualisasi dari hasil gabungan.

Arsitektur ini menciptakan siklus analisis yang mulus, dari data mentah hingga wawasan ilmiah, semuanya dalam satu platform yang terkelola.

baca Juga:Mahasiswa Universitas Teknokrat Indonesia Buat dan Berikan Alat Smart Roaster Berbasis IoT Kepada Mitra UMKM

Praktik Terbaik: Mengelola Biaya dan Keamanan

Bekerja di cloud memberikan kekuatan yang luar biasa, tetapi juga tanggung jawab yang besar.

• Optimasi Biaya: Salah satu fitur paling kuat yang dikelola oleh Terra adalah penggunaan Preemptible VMs. Ini adalah VM Google Cloud yang ditawarkan dengan diskon besar (hingga 80%) tetapi dapat “diambil kembali” oleh Google kapan saja. WDL dirancang untuk pekerjaan yang dapat diulang, jadi jika sebuah task gagal karena VM-nya diambil, Cromwell akan secara otomatis mencoba menjalankannya kembali. Menggunakan preemptible VM adalah cara standar untuk mengurangi biaya analisis secara drastis.
• Keamanan dan Akses: Terra terintegrasi dengan Google Cloud Identity and Access Management (IAM). Anda dapat mengontrol dengan sangat rinci siapa yang dapat melihat data, siapa yang dapat menjalankan analisis (dan mengeluarkan biaya), dan siapa yang dapat berbagi Workspace.

penulis:dafa Aditya.f