Secara teknis, distillation tidak bekerja dengan cara menyalin kode sumber (source code) atau parameter model secara langsung. Jika Anda menyalin file model, itu adalah pencurian data yang sangat jelas. Namun, distillation bekerja dengan cara yang jauh lebih halus dan sulit dilacak.
Proses ini melibatkan penggunaan output dari model besar sebagai target bagi model kecil. Berikut adalah mekanisme utamanya:
Soft Targets: Alih-alih hanya belajar dari jawaban "benar" atau "salah", model kecil mempelajari probabilitas atau distribusi dari jawaban model besar. Misalnya, jika ditanya tentang gambar hewan, model besar tidak hanya berkata "ini kucing", tetapi memberikan informasi bahwa "ini 90% kucing, 9% anjing, dan 1% mobil". Informasi probabilitas ini (disebut logits) mengandung kekayaan informasi tentang hubungan antar kelas yang sangat berharga bagi model kecil.
Loss Function yang Terarah: Selama proses pelatihan, model kecil diberikan instruksi untuk meminimalkan perbedaan antara prediksinya dengan prediksi model besar. Dengan demikian, model kecil "dipaksa" untuk meniru perilaku model besar.
Efisiensi Parameter: Hasil akhirnya adalah model dengan jumlah parameter yang jauh lebih sedikit, namun memiliki akurasi yang mendekati model aslinya.
Mengapa Metode Ini Menjadi Pemicu Ketegangan AS-China?
Pertanyaan besarnya adalah: jika metode ini adalah teknik riset yang sah dan sangat bermanfaat bagi efisiensi teknologi, mengapa Amerika Serikat menganggapnya sebagai bentuk "pencurian"? Jawabannya terletak pada kombinasi antara ekonomi, hak kekayaan intelektual, dan sanksi teknologi.
1. Melewati Pembatasan Chip (Hardware Sanctions)
Amerika Serikat telah menerapkan kontrol ketat terhadap ekspor chip AI kelas atas (seperti seri NVIDIA H100) ke China. Tanpa chip tersebut, perusahaan China akan kesulitan melatih model AI raksasa dari nol. Namun, dengan menggunakan distillation, mereka dapat menggunakan model yang sudah ada (yang mungkin diakses melalui API atau metode lain) untuk melatih model lokal mereka sendiri yang lebih kecil. Ini dianggap sebagai cara untuk mengakali (bypass) pembatasan perangkat keras yang diterapkan Washington.
