Peringatan baru dari dalam industri kecerdasan buatan kembali menyalakan debat lama soal apakah AI canggih bisa lepas dari kendali manusia dan mengancam kelangsungan hidup umat manusia.
Debat itu juga menyoroti apakah perusahaan pengembang teknologi ini sudah melakukan cukup upaya untuk mencegah skenario tersebut.
CEO Anthropic, perusahaan di balik Claude, menilai industri perlu memperlambat laju kerja mereka.
Ia memperingatkan bahwa sekelompok agen AI bisa mengambil alih internet dalam enam bulan hingga satu tahun jika perusahaan tidak meluangkan lebih banyak waktu untuk menyiapkan pengamanan.
Dario Amodei memaparkan rencana bagi perusahaan seperti miliknya dan pemerintah di seluruh dunia untuk memastikan model AI yang makin canggih tetap selaras dengan perintah dan nilai orang-orang yang bertanggung jawab.
Pernyataan itu muncul beberapa hari setelah dua mantan peneliti keselamatan Anthropic secara terbuka menyuarakan kekhawatiran bahwa ancaman eksistensial AI terhadap manusia kurang mendapat perhatian.
Model AI Makin Kuat, Kekhawatiran Meningkat
Kekhawatiran atas risiko teknologi ini meningkat seiring munculnya model AI baru yang lebih kuat.
Kekuatan itu memperbesar potensi penyalahgunaan oleh orang dengan tujuan kriminal, seperti menciptakan dan menyebarkan penyakit yang membunuh sebagian besar populasi dunia, sekaligus risiko sistem AI bertindak di luar kendali secara berbahaya.
Anthropic mengungkap pekan lalu bahwa mereka memblokir upaya aktor jahat menggunakan model AI-nya untuk aktivitas berbahaya, seperti serangan siber, pengawasan, dan riset yang bisa mengarah pada senjata biologis.
Perusahaan itu menyatakan telah memasang pengamanan lebih kuat pada model terbarunya untuk membatasi riset biologis yang bisa dipakai membuat senjata.
Namun Anthropic mencatat bahwa seiring model makin canggih, risikonya akan meningkat kecuali pengembang AI dan pihak pembela masyarakat bertindak membuatnya lebih aman.
Tahun lalu, Anthropic melaporkan bahwa peretas menggunakan AI perusahaan itu dalam serangan siber yang menyasar sekitar 30 perusahaan dan lembaga pemerintah di seluruh dunia.
Perusahaan menyebut peretas kemungkinan besar berasal dari kelompok yang didukung negara China.
Sejumlah model AI telah bertindak sendiri.
Ketika agen AI bertindak di luar kendali, artinya AI melakukan tindakan melampaui tugas yang diminta.
Baik Anthropic maupun OpenAI, pembuat ChatGPT, pada Juli mengatakan model AI mereka berhasil bertindak sendiri.
Anthropic mengungkap tiga model AI, yakni Claude Opus 4.7, Claude Mythos 5, dan model uji riset internal, meretas tiga organisasi lain selama pengujian.
Itu terjadi hanya beberapa hari setelah OpenAI mengungkap sistem AI-nya meretas server startup AI Hugging Face.
OpenAI menyebut intrusi oleh kombinasi model, termasuk GPT-5.6 Sol yang baru dirilis dan model yang masih diuji internal, sebagai insiden keamanan signifikan.
Meta menyusul pada awal Agustus dengan kasus serupa, yakni model AI menemukan cara melewati keamanan digital perusahaan lain.
Meski sejumlah pengamat mencatat ada pihak yang menonaktifkan sebagian pengaman pada kasus OpenAI dan Anthropic, episode itu tampak mencerminkan salah satu ketakutan terbesar soal AI.
Yakni, jika model mencapai kecerdasan buatan umum atau AGI, istilah yang didefinisikan secara longgar untuk AI yang bisa menyamai atau melampaui kemampuan manusia dalam berbagai tugas intelektual, teknologi itu bisa memicu peristiwa katastrofik yang tak bisa dipulihkan atau menundukkan umat manusia.
Bagaimana dan Kapan AI Bisa Picu Bencana Masih Diperdebatkan
Skenario kiamat umumnya terbagi dua kategori: AI yang mencapai superinteligensi yang mampu memperbaiki diri mengendalikan manusia, atau AI yang dipakai negara nakal atau aktor jahat.
Kekhawatiran bahwa kecerdasan buatan bisa melampaui batas jangkauan atau tindakan manusia bukan hal baru.
Alan Turing, matematikawan Inggris yang dianggap salah satu otoritas paling awal soal kecerdasan buatan, memperkirakan pada 1951 bahwa AI akhirnya akan mengambil kendali dari manusia.
Kurang dari satu dekade kemudian, Norbert Wiener, matematikawan lain, memperingatkan bahwa mesin cerdas akan berupaya mencapai tujuannya sendiri dan manusia tidak akan mampu menghentikannya.
Pada 2026, seberapa masuk akal kekhawatiran bahwa AI, baik karena lepas dari kendali manusia maupun disalahgunakan orang tak bermoral, bisa menyebabkan peristiwa katastrofik atau keruntuhan peradaban?
Tidak ada yang tahu.
Para ahli di bidang ilmu komputer, filsafat, dan bidang lain membayangkan banyak jalur yang bisa membuat sistem AI masa depan memicu bencana global, baik karena lepas dari kendali manusia maupun di tangan orang tak bermoral.
Jalur itu berkisar dari mengerahkan senjata dan mengidentifikasi patogen mematikan hingga memanipulasi pemerintah agar berkonflik atau mengganggu jaringan pangan, energi, dan komunikasi yang menopang fungsi masyarakat.
Tidak ada perkiraan yang diterima luas soal seberapa cepat skenario itu bisa terjadi dan tidak ada konsensus soal kemungkinannya.
Pada 2023, lembaga nirlaba Center for AI Safety mengeluarkan pernyataan yang ditandatangani lebih dari 350 peneliti dan eksekutif teknologi, termasuk Amodei dari Anthropic dan CEO OpenAI Sam Altman.
Pernyataan itu menyebut mitigasi risiko kepunahan akibat AI harus menjadi prioritas global bersama pandemi dan perang nuklir.
Laporan Keselamatan AI Internasional 2026, yang disusun dengan panduan lebih dari 100 ahli independen, menyatakan sistem saat ini menunjukkan tanda-tanda awal kemampuan relevan, tetapi belum pada tingkat yang bisa memungkinkan hilangnya kendali.
Laporan itu menyebut kemungkinan, sifat, dan waktu risiko tersebut sebagai sangat ambigu.
Sejumlah pihak menekankan perlunya pengamanan AI sebelum terlambat.
Seorang peneliti Anthropic pekan lalu mengatakan ia mengundurkan diri dari perusahaan itu karena khawatir perusahaan maupun pesaingnya tidak bertindak bertanggung jawab dalam mengembangkan teknologi tersebut.
Dalam unggahan media sosial, Jacob Coxon memperkirakan ada peluang 10 persen AI menyebabkan kepunahan manusia dalam dekade berikutnya.
Ia menilai Anthropic dan OpenAI sama-sama berlomba menuju superinteligensi yang mampu memperbaiki diri dan mempertaruhkan hidup manusia.
Para peneliti menyerukan perlambatan pengembangan AI dan bertahun-tahun memperingatkan bahwa teknologi itu bisa menimbulkan risiko eksistensial bagi manusia.
Setelah insiden terbaru, para ahli menyerukan pengujian yang lebih baik oleh perusahaan AI dan dialog lebih banyak antara Amerika Serikat dan China untuk mencari solusi bersama.
Namun AI tumbuh begitu cepat sehingga pemerintah dan sistem evaluasi kesulitan mengikuti laju teknologi.
Negara-negara menyusun undang-undang mereka sendiri, sebagian saling bertentangan.
Pemimpin China Xi Jinping memperingatkan pada konferensi Juli tentang perlunya mencegah AI lepas dari kendali manusia.
Pemerintahan Trump awalnya menunjukkan keengganan mengatur AI, tetapi menjadi lebih ingin mengurangi risiko keamanan siber.
Pada Minggu, Presiden Trump meremehkan kebutuhan pemerintahannya memeriksa pengembangan AI, tetapi mengakui perlunya sejumlah regulasi.
