Beberapa fokus utama dari Open Secure AI Alliance meliputi:
Standardisasi Protokol Keamanan: Mengembangkan kerangka kerja seragam untuk memverifikasi integritas model AI sebelum diimplementasikan ke dalam agen otonom.
Deteksi Serangan Real-Time: Menciptakan alat pemantauan berbasis AI yang mampu mendeteksi upaya injeksi perintah (prompt injection) atau manipulasi model secara instan.
Transparansi Model: Mendorong praktik "provenance" atau pelacakan asal-usul data dan model untuk memastikan bahwa model yang digunakan tidak telah dimodifikasi oleh pihak yang tidak bertanggung jawab.
Kolaborasi Lintas Sektor: Membuka ruang bagi perusahaan perangkat keras, pengembang perangkat lunak, dan peneliti keamanan untuk berbagi intelijen ancaman secara kolektif.
Mengapa Agen AI Menjadi Target Utama?
Pertanyaan mendasar yang muncul adalah mengapa fokus beralih dari sekadar model bahasa (LLM) menuju keamanan agen AI. Jawabannya terletak pada tingkat interaktivitas. Jika LLM hanya memberikan informasi, agen AI dapat melakukan eksekusi.
Dalam skenario dunia nyata, agen AI dapat digunakan untuk mengelola email, melakukan transaksi keuangan, hingga mengontrol perangkat IoT (Internet of Things). Jika seorang peretas berhasil mengompromikan logika berpikir dari agen AI tersebut, mereka tidak hanya mencuri data, tetapi dapat mengambil kendali penuh atas sistem yang dikelola oleh agen tersebut. Inilah yang disebut sebagai "Autonomous Risk," di mana serangan dapat menyebar secara otomatis tanpa campur tangan manusia.
