Berikut adalah rincian dari ketiga pilar tersebut:
Ketajaman dan Rigorositas (Rigorous): Penilaian tidak boleh hanya bersifat permukaan atau sekadar memeriksa daftar periksa (checklist) administratif. Auditor harus mampu melakukan pengujian teknis yang mendalam, mencakup simulasi berbagai skenario risiko ekstrem, serta menguji ketahanan model terhadap berbagai bentuk serangan atau manipulasi input.
Keamanan Data dan Kekayaan Intelektual (Secure): Salah satu tantangan terbesar dalam audit AI adalah menjaga kerahasiaan. Auditor memerlukan akses ke model yang sangat sensitif dan data yang bersifat rahasia. Oleh karena itu, proses audit harus dirancang dengan protokol keamanan tingkat tinggi agar tidak terjadi kebocoran bobot model (model weights) atau data pelatihan yang dapat disalahgunakan oleh pihak yang tidak bertanggung jawab.
Independensi Tanpa Kompromi (Independent): Untuk memastikan hasil audit valid dan dipercaya oleh masyarakat, auditor harus bebas dari konflik kepentingan. Independensi ini mencakup aspek finansial maupun operasional, sehingga hasil penilaian benar-benar mencerminkan realitas keamanan model, bukan sekadar memberikan "stempel persetujuan" bagi perusahaan.
Menargetkan Model Frontier dan Safeguards
Fokus utama dari kerangka kerja ini adalah "frontier models". Model jenis ini adalah model AI yang memiliki kapabilitas yang belum pernah ada sebelumnya, yang jika tidak dikelola dengan baik, dapat menimbulkan risiko sistemik bagi masyarakat. OpenAI menyadari bahwa pengujian terhadap model ini jauh lebih sulit dibandingkan model AI standar karena sifatnya yang tidak terduga (emergent properties).
Selain menguji model itu sendiri, OpenAI juga menekankan pentingnya menguji "safeguards" atau pagar pengaman yang dipasang pada model tersebut. Pagar pengaman ini adalah lapisan teknis yang dirancang untuk mencegah AI memberikan jawaban berbahaya, seperti instruksi pembuatan bahan peledak atau konten ilegal lainnya. Auditor harus mampu membuktikan bahwa pagar pengaman ini tidak mudah ditembus melalui teknik-teknik seperti jailbreaking atau prompt injection.
Tantangan dalam Menjalankan Penilaian Pihak Ketiga
Meskipun visi OpenAI terlihat sangat ideal, implementasi di lapangan diprediksi akan menghadapi berbagai tantangan besar. Beberapa di antaranya meliputi:
