Ketika noise mendominasi, kita terjebak dalam situasi di mana model AI terlihat sangat hebat di atas kertas, namun gagal total saat diminta menangani proyek perangkat lunak yang dinamis dan penuh dengan ketergantungan (dependencies) yang rumit di dunia nyata.
Bahaya Kontaminasi Data: Hafalan yang Menipu
Salah satu faktor utama penyebab noise adalah kontaminasi data. Dalam proses pelatihan LLM, model menyerap triliunan baris kode dari berbagai sumber terbuka seperti GitHub. Masalah muncul ketika soal-soal yang digunakan dalam benchmark evaluasi ternyata sudah ada di dalam kumpulan data pelatihan tersebut.
Jika sebuah model AI telah "membaca" soal ujian sebelum ujian dimulai, maka skor tinggi yang ia dapatkan bukanlah hasil dari kecerdasan, melainkan hasil dari memori. Ini menciptakan ilusi kemajuan teknis. Fenomena ini sangat berbahaya bagi industri, karena perusahaan yang mengadopsi AI berdasarkan skor benchmark yang terkontaminasi mungkin akan menemukan bahwa asisten AI mereka tidak mampu menangani logika bisnis yang unik dan spesifik.
Jebakan Unit Test yang Terlalu Sederhana
Metode evaluasi berbasis unit test juga menghadapi tantangan serius. Sebuah fungsi mungkin saja lolos dari tes karena ia memenuhi kondisi-kondisi dasar, namun secara fundamental kode tersebut bisa jadi sangat tidak efisien, tidak aman, atau sulit untuk dipelihara (unmaintainable).
Misalnya, sebuah AI bisa saja menulis kode yang menyelesaikan masalah matematika dengan benar, namun menggunakan algoritma dengan kompleksitas waktu yang sangat buruk ($O(n^2)$ alih-alih $O(n \log n)$). Dalam skala produksi, kode seperti ini dapat menyebabkan kegagalan sistem. Oleh karena itu, evaluasi yang hanya berfokus pada "apakah kode ini berjalan" tanpa melihat "bagaimana kode ini berjalan" adalah bentuk noise yang signifikan.
Strategi OpenAI: Menuju Evaluasi yang Lebih Robust
Menanggapi permasalahan ini, OpenAI menyatakan bahwa arah pengembangan evaluasi harus bergeser dari sekadar pengecekan sintaksis menuju penilaian yang lebih holistik. Ada beberapa strategi utama yang perlu diterapkan untuk memastikan bahwa kita benar-benar mengukur kemampuan kognitif AI:
1. Fokus pada Pemecahan Masalah yang Kompleks dan Baru
Alih-alih menggunakan soal-soal standar yang sudah umum, evaluasi harus melibatkan masalah yang memerlukan integrasi antara berbagai konsep. Misalnya, meminta AI untuk tidak hanya menulis fungsi tunggal, tetapi juga merancang arsitektur modul yang harus berinteraksi dengan API pihak ketiga atau mengelola status data yang kompleks. Hal ini menuntut penalaran sistemik, bukan sekadar pencocokan pola.
2. Menilai Kualitas Kode secara Multidimensional
Evaluasi masa depan tidak boleh hanya berhenti pada hasil akhir. Parameter penilaian harus mencakup:
