Metode Distillation Bantu AI Kecil Belajar dari Model Besar

Persaingan AI antara AS dan China mencakup teknik 'model distillation', yang memungkinkan model kecil belajar dari model besar. AS menuding perusahaan China seperti DeepSeek dan Moonshot menggunakan teknik ini untuk 'mencuri' kemampuan dari model tertutup perusahaan AS seperti Claude (Anthropic) dan ChatGPT (OpenAI) tanpa izin. Teknik ini sendiri sah dalam penelitian, tetapi kontroversi muncul karena dugaan pengambilan data keluaran model secara sistematis untuk meniru kemampuan komersial.

Distillation bekerja dengan memanfaatkan model besar sebagai 'guru' untuk menghasilkan contoh data (jawaban, kode), yang kemudian digunakan melatih model 'murid' yang lebih kecil dan efisien. Model hasil distillation tidak menyalin seluruh sistem asli, hanya mempelajari perilaku tertentu. Keunggulannya adalah biaya operasional yang lebih rendah dan dapat dijalankan pada perangkat sederhana.

Perdebatan bukan pada teknik distillation itu sendiri, tetapi pada akses tanpa izin terhadap model tertutup. Perusahaan AS membedakan antara penelitian sah dan upaya memanen keluaran model berharga. Baru-baru ini, kemampuan 'reasoning traces' atau jejak penalaran dari model canggih menjadi sangat bernilai, sehingga akses output-nya menjadi isu sensitif.", "tags": ["kecerdasan artifisial", "model distillation", "persaingan as-china", "privasi data", "teknologi ai"]