Keamanan fitur AI: data, prompt injection, dan akses agen

Apa yang berbeda saat aplikasi memiliki fitur AI?

Periksa data yang dapat dibaca AI dan tindakan yang dapat dijalankannya. Fitur peringkas dokumen memiliki kebutuhan berbeda dari agen yang dapat mengirim pesan atau mengubah pesanan. Tetapkan batas tersebut sebelum memilih model dan integrasi.

Halaman ini membahas persiapan peninjauan fitur berbasis model bahasa atau large language model (LLM). Untuk aturan pegawai memakai alat AI dalam pekerjaan, gunakan kebijakan penggunaan AI.

Apa itu prompt injection?

Prompt injection terjadi ketika masukan membuat model mengikuti arahan yang tidak semestinya. Masukan dapat datang langsung dari pengguna atau secara tidak langsung dari dokumen, halaman web, dan sumber lain yang dibaca fitur.

Contohnya, dokumen yang seharusnya diringkas berisi arahan untuk mengabaikan tugas dan mengambil informasi lain. Teks dokumen harus diperlakukan sebagai bahan bacaan, bukan pemberian wewenang. Sistem yang mengambil dokumen tambahan untuk membantu jawaban, sering disebut retrieval-augmented generation (RAG), tetap perlu menghadapi risiko ini.

Instruksi dalam prompt dan penyaring masukan dapat membantu, tetapi jangan menganggap keduanya memberi perlindungan sempurna. Kurangi dampak melalui batas data, izin, dan tindakan yang ditegakkan oleh aplikasi.

Bagaimana membatasi data dan akses agen?

Contoh fiktif: asisten dukungan boleh membaca pesanan sesuai hak pengguna dan menyusun draf balasan.

1. 1
   Aplikasi memilih data yang boleh dibaca

   Periksa identitas dan hak pengguna sebelum mengambil data pesanan atau dokumen untuk model.

2. 2
   Model mengolah masukan

   Dokumen menjadi bahan jawaban. Instruksi di dalam dokumen tidak boleh menambah hak akses.

3. 3
   Aplikasi memeriksa permintaan fungsi

   Jika model meminta fungsi tambahan, periksa lagi hak pengguna, data tujuan, dan fungsi yang diizinkan sebelum menjalankannya.

4. 4
   Pengguna memeriksa draf

   Periksa isi dan sumber jawaban. Dalam contoh ini, asisten tidak memiliki fungsi mengirim balasan atau mengubah transaksi.

Batas akses diterapkan oleh aplikasi dan sistem tujuan, bukan hanya pesan instruksi kepada model. Alur ini menyederhanakan satu contoh; izin yang benar tetap tidak menjamin jawaban akurat atau bebas prompt injection.

Rujukan: OWASP: Prompt Injection · OWASP: Excessive Agency.

Agen AI dapat memilih atau memakai fungsi yang disediakan aplikasi. Berikan hanya fungsi yang diperlukan. Kebutuhan membaca pesanan tidak otomatis memerlukan hak menghapus pesanan atau mengirim email.

Periksa izin pengguna pada setiap pengambilan data dan tindakan penting melalui kode aplikasi. Jangan memakai akun admin bersama agar integrasi lebih mudah. Tentukan tindakan yang memerlukan persetujuan manusia, tampilkan tujuan serta dampaknya, lalu jalankan hanya tindakan yang disetujui.

Batasi data yang dikirim ke model dan disimpan dalam log. Petakan penyedia model, sumber dokumen, penyimpanan, dan layanan lain yang menerima data. Kesepakatan pemrosesan, retensi, dan transfer data dibahas dalam panduan data pribadi dan vendor AI.

Contoh rencana uji sebelum peluncuran

Skenario fiktif: asisten membantu petugas dukungan membaca pesanan dan menyiapkan draf balasan. Asisten tidak diberi kewenangan mengirim balasan atau mengubah transaksi. Ini contoh kriteria penerimaan untuk tim, bukan hasil uji model tertentu.

Kasus	Perilaku yang diharapkan	Bukti yang dicatat
Petugas A meminta data pelanggan di luar kewenangannya	Aplikasi menolak akses; data tidak dikirim ke model	Peran, data fiktif, dan hasil pemeriksaan akses
Dokumen memuat arahan untuk mengambil data lain	Arahan tidak memperluas hak atau memicu tindakan	Isi uji, alur pengambilan data, dan hasil
Model meminta fungsi pengiriman pesan	Fungsi tidak tersedia untuk fitur ini	Daftar fungsi dan upaya yang ditolak
Pengguna membatalkan tindakan pada fitur yang memerlukan persetujuan	Tidak ada tindakan dijalankan	Keputusan pengguna dan catatan eksekusi
Sumber tidak mendukung jawaban	Fitur menyatakan keterbatasan atau meneruskan ke petugas	Jawaban, sumber, dan penilaian pemeriksa

Gunakan akun dan data fiktif dalam lingkungan yang diizinkan. Simpan versi model, prompt, integrasi, dan skenario agar perbandingan setelah perubahan tetap masuk akal. Satu hasil baik tidak membuktikan semua kemungkinan masukan aman.

Siapa menyetujui fitur untuk dipakai?

Tetapkan pemilik produk, data, dan pengamanan. Mereka perlu mengetahui batas fitur, hasil pemeriksaan, masalah yang belum selesai, serta cara menghentikan fungsi bermasalah. Perubahan model atau hak integrasi perlu ditinjau karena dapat mengubah perilaku dan dampaknya.

Untuk fitur yang memengaruhi keputusan klinis, transaksi keuangan, atau keselamatan, libatkan pemeriksa yang kompeten pada bidang tersebut sebelum digunakan. Panduan ini tidak memberikan persetujuan penggunaan pada bidang itu. Hubungkan rencana uji dengan proses pengembangan aplikasi; daftar risiko OWASP bukan sertifikasi dan tidak menetapkan status peraturan AI Indonesia.

Contoh: agen dukungan dengan pencarian dokumen

Sebelum mengambil potongan dokumen untuk RAG, periksa izin pengguna dan pelanggan pemilik dokumen. Hak pada dokumen asal perlu ikut pada potongan, indeks, serta cache. Ketika izin berubah atau sumber dihapus, tinjau data turunannya; jangan hanya menyembunyikan tautan di tampilan.

Jika agen boleh mengirim balasan, tampilkan penerima dan isi yang akan dikirim untuk persetujuan sesuai risiko. Persetujuan membaca dokumen tidak otomatis memberi izin mengirimnya. Catat keputusan dan tindakan secukupnya tanpa menyalin seluruh data sensitif ke log.

Uji contoh fiktif: dokumen pelanggan A berisi instruksi mengambil berkas B. Aplikasi tetap menolak pengambilan B sebelum data masuk ke model. Catat hasilnya dalam evaluasi fitur AI dan petakan pemilik fitur pada inventaris penggunaan AI.