Nvidia memperkenalkan pendekatan baru dalam penggunaan AI perusahaan: tidak semua tugas butuh model berat.
Untuk itu, mereka meluncurkan Nemotron 3.5 Lightning, model AI berbasis mixture-of-experts (MoE) dengan 30 miliar parameter.
Model ini dirancang untuk menyesuaikan intensitas kerja sesuai kompleksitas tugas.
Dengan NeMo Switchyard, sistem agen AI dapat memilih model paling tepat: ringan untuk tugas sederhana, atau berat untuk pekerjaan kompleks.
Keunggulan Nemotron 3.5 Lightning
Arsitektur MoE hanya mengaktifkan 'ahli' yang relevan per permintaan. Hasilnya, model ini 4x lebih cepat dalam menghasilkan output dibanding model sekelas.
Selain itu, Nemotron 3.5 Lightning 30% lebih cepat menyelesaikan tugas agentic kompleks. Yang membuatnya revolusioner adalah kemudahan kustomisasi.
Perusahaan bisa melakukan post-training menggunakan Nvidia NeMo dengan data internal mereka. Mereka tidak perlu membangun model dari nol.
Kustomisasi Murah dan Cepat
Nvidia menunjukkan bahwa pelatihan ulang model ini sangat terjangkau. Mitra mereka, CodeRabbit, berhasil melatih model selama satu epoch dengan hardware standar.
Prosesnya hanya butuh 2 jam dan biaya 85 dolar AS (sekitar Rp1,5 juta). Nvidia juga merilis dataset post-training, resep pelatihan, dan framework lengkap.
Pengembang bebas menggabungkan aset ini dengan data perusahaan untuk menciptakan AI spesifik industri. Mulai dari layanan pelanggan hingga analisis teknis.
NeMo Switchyard: Otak di Balik Pemilihan Model
Jika Nemotron 3.5 Lightning adalah 'otot', maka NeMo Switchyard adalah 'otak' yang mengatur kapan dan bagaimana menggunakannya.
Switchyard adalah library open source yang memungkinkan sistem agen AI menganalisis jenis permintaan.
Sistem ini memilih model paling sesuai dari gudang model yang tersedia. Tujuannya untuk menyeimbangkan kualitas, kecepatan, latensi, dan biaya.
Misalnya, permintaan 'apa cuaca hari ini?' akan dialihkan ke model ringan.
Sementara permintaan 'analisis laporan keuangan Q2 dan prediksi risiko' akan dialihkan ke model reasoning tinggi.
Pendekatan ini mencegah pemborosan sumber daya dan menghemat jutaan dolar bagi perusahaan skala besar.
Nemotron 3.5 Lightning adalah bagian dari keluarga Nemotron 3 yang diperkenalkan Nvidia pada Desember 2025.
