Mereka memperingatkan perkembangan teknologi itu bisa melampaui kemampuan untuk mengendalikannya.
Namun, kekuatan AI seperti China dan Amerika Serikat tidak mendukung gagasan tersebut.
Perusahaan-perusahaan AI sendiri semakin meminta koordinasi global soal keselamatan AI.
CEO OpenAI Sam Altman dijadwalkan berbicara di Dewan Keamanan PBB pada Rabu.
Pendiri Anthropic Dario Amodei dan salah satu pendiri Hugging Face Clement Delangue juga akan berpartisipasi secara jarak jauh, menurut pejabat Prancis, Selasa.
Prancis yang memegang presidensi Dewan Keamanan bulan ini menggagas pertemuan itu dan menilai ancaman AI terhadap perdamaian serta keamanan internasional belum cukup dibahas di tingkat dewan.
Sekretaris Jenderal PBB Antonio Guterres menyerukan dialog antara AS dan China mengenai masa depan teknologi itu, mirip dengan keterlibatan AS-Soviet di puncak Perang Dingin.
"Pemerintah dengan kemampuan AI terbesar memiliki tanggung jawab terbesar kepada umat manusia, untuk membangun saluran dialog, transparansi, kepercayaan, dan kerja sama," kata Guterres dalam pidatonya di majelis.
"Pada momen penting selama Perang Dingin, rival strategis menyadari perlunya mengelola risiko eksistensial bersama."
China dan AS saat ini membahas pembentukan saluran komunikasi untuk kekhawatiran AI menjelang pertemuan puncak Washington antara Trump dan Presiden China Xi Jinping pada Kamis.
Kedua kekuatan itu menghadapi kekhawatiran meningkat bahwa sistem AI yang semakin canggih bisa lepas kendali manusia, bahkan saat mereka berlomba untuk supremasi teknologi.
