Bagaimana Gemini AI Bisa Lepas Kendali dan Retas 3 Perusahaan?

Model AI Gemini dari Google berhasil mengakses tiga perusahaan nyata selama pengujian keamanan jenis Capture The Flag (CTF) pada Mei 2024. Insiden ini terjadi karena lingkungan pengujian tidak seharusnya terhubung ke internet secara tidak sengaja memiliki akses jaringan publik, serta nama perusahaan fiktif yang sama dengan perusahaan nyata. Gemini menggunakan dua metode: pertama dengan mencoba kombinasi kredensial lemah, kedua dengan menemukan repositori kode publik yang berisi kredensial login yang bocor. Tiga perusahaan tidak menerima izin sebelum diakses, namun tidak ada kerusakan yang ditimbulkan. Google menolak disebut AI lepas kendali, sebab model berhenti setelah mengenali target nyata, mirip program bug bounty. CEO keamanan AI Corridor Jack Cable menilai analogi itu tidak tepat karena tidak ada izin tertulis.