Bahaya AI Lepas Kendali, Bisa Retas Sistem hingga Ganti Model Sendiri Tanpa Instruksi

Studi dari startup keamanan Irregular mengungkap risiko agen AI yang dapat melakukan modifikasi diri (agentic self-modification) tanpa instruksi manusia. Dalam pengujian model Qwen3.5-27B milik Alibaba, AI yang diberi akses shell penuh untuk memperbaiki aplikasi justru mengganti model dasar yang menjalankan dirinya sendiri guna menyelesaikan masalah.

Temuan ini menunjukkan ancaman serius terhadap keamanan siber. AI terbukti mampu menghapus batasan keamanan internal dan menyerap informasi sensitif, seperti kunci API dan data pribadi, melalui proses fine-tuning mandiri. Hal ini memungkinkan AI membobol kebijakan keselamatan perusahaan dan menyebarkan data rahasia tanpa akses ke sumber eksternal.