# Memantau perubahan model, prompt dan hasil fitur AI

Sumber diperiksa. Metode: https://kompli.id/metodologi/.

Hasil evaluasi lama berlaku pada konfigurasi dan lingkup yang diperiksa. Perubahan model, sumber atau izin perlu alasan, pembanding, bukti serta keputusan; deploy selesai belum berarti hasilnya membaik.

URL kanonis: https://kompli.id/panduan/ai/pemantauan-dan-perubahan-model-ai/
Sumber diakses: 2026-10-02
Diperbarui: 2026-10-02
Penulis: Kompli
Sumber diperiksa: 2026-10-02


## Apa yang dipantau setelah fitur dipakai?

**Pantau hasil, dampak dan perubahan seluruh fitur, bukan hanya apakah API model masih merespons.** Model, prompt, sumber pencarian, izin tool dan kebiasaan pengguna dapat berubah meskipun nama fitur sama.

NIST AI RMF serta profil GenAI menjadi rujukan teknis. Jadwal, ambang dan langkah di sini saran Kompli yang perlu disesuaikan; bukan angka wajib, jaminan keselamatan atau penilaian seluruh standar.

## Simpan konfigurasi yang bisa dibandingkan

Catat model/versi yang tersedia, prompt, parameter, sumber/indeks, kebijakan izin, dataset, metode penilaian dan tanggal. Bila penyedia tidak membuka versi model, catat ketidakpastian serta cara mendeteksi perubahan yang terlihat; jangan mengisi versi tebakan.

Simpan rujukan konfigurasi dengan akses terbatas. Hash membantu mengenali perubahan artefak, tetapi tidak membuktikan kualitas atau keamanan. Jangan menaruh API key dan seluruh prompt rahasia pada worksheet umum.

## Bandingkan per kasus, bukan hanya rata-rata

[Lab operasi AI 1.0](/unduhan/lab-operasi-ai-v1.zip) dijalankan 2 Oktober 2026, Node 24.21.0, dengan 22 observasi ringan. Fase perbandingannya memakai empat label jawaban/sumber **yang ditulis manual**, bukan keluaran model.

| Kasus | Hasil pemeriksaan label |
| --- | --- |
| Jawaban bersumber | Keduanya cocok label dan ID sumber yang diharapkan. Bukan penilaian isi bahasa. |
| Informasi tidak diketahui | Baseline menahan jawaban; kandidat memberi label jawaban tanpa sumber, sehingga gagal. |
| Sumber pelanggan lain | Baseline menahan; kandidat menyebut B1 di luar daftar yang boleh dipakai, sehingga gagal kritis. |
| Dokumen berbahaya | Keduanya berlabel eskalasi. Tidak membuktikan model menolak instruksi dokumen. |

Baseline cocok 4/4, kandidat 2/4. Aturan contoh menahan kandidat karena kegagalan sumber asing, bukan karena satu ambang skor berlaku bagi semua AI. Konfigurasi dikembalikan melalui variabel memori; **tidak ada deploy model atau rollback data produksi**.

```sh
node operations-lab.mjs results.json
```

Gunakan nama hasil baru; runner menulis/menimpa file yang dipilih. ZIP menyimpan source, README dan hasil run. Nol panggilan penyedia berarti tidak ada pengukuran inference, biaya atau latensi layanan model.

## Cari sinyal yang relevan dengan tugas

Pilih pemeriksaan seperti jawaban tanpa dukungan sumber, pelanggaran akses, koreksi petugas, kegagalan tool, eskalasi, keluhan serta waktu/biaya per pekerjaan. Sertakan jumlah penggunaan dan kelompok kasus; sedikit keluhan bisa berarti fitur jarang dipakai.

Perubahan distribusi pertanyaan atau hasil sering disebut *drift*. Itu sinyal untuk ditelusuri, bukan otomatis bukti model salah. Bedakan model berubah, sumber kedaluwarsa, izin berubah, pengguna baru atau gangguan integrasi.

Pisahkan log operasi dari isi sensitif. Tentukan sampling, retensi, pemilik dan batas akses; log lengkap bukan alasan menyimpan semua data pengguna selamanya.

## Tentukan tindakan saat perubahan gagal

Tulis kegagalan yang menghentikan penggunaan, siapa dapat menonaktifkan tool/fitur serta layanan alternatif. Periksa versi model, prompt, sumber, cache dan izin bersama-sama ketika kembali ke konfigurasi lama.

Rollback kode tidak menghapus pesan, keputusan atau data yang sudah dikirim. Catat pengguna terdampak, pekerjaan tertunda dan koreksi yang diperlukan. Gunakan [catatan insiden](/template/catatan-insiden-keamanan/) bila relevan, dengan penilaian pemberitahuan di pemilik hukum masing-masing.

## Hubungkan perubahan dengan keputusan

Gunakan [catatan perubahan AI](/template/catatan-perubahan-model-ai/) untuk alasan, pembanding, hasil, risiko tersisa dan persetujuan. Pengujian awal tetap di [evaluasi sebelum rilis](/panduan/ai/evaluasi-fitur-ai/); penerapan perubahan mengikuti [persetujuan rilis](/panduan/operasional-digital/persetujuan-rilis-dan-perubahan-aplikasi/).

Lab kecil ini belum mengukur kualitas, bias, drift, serangan prompt injection atau proses review manusia. Rencanakan inference dan pemeriksaan berulang pada model/data/lingkungan yang disepakati sebelum menggunakan hasil sebagai bukti kesiapan fitur nyata.
## Sumber rujukan

- [NIST AI 100-1: AI Risk Management Framework 1.0 (2023)](https://nvlpubs.nist.gov/nistpubs/ai/NIST.AI.100-1.pdf) — MEASURE 3.1, MANAGE 4.1–4.2: pemantauan risiko, koreksi, insiden dan perubahan; bukan ambang universal.
- [NIST AI 600-1: Generative Artificial Intelligence Profile (2024)](https://nvlpubs.nist.gov/nistpubs/ai/NIST.AI.600-1.pdf) — MS-2.5-001/003, MG-4.1-002/006 dan MG-4.2-001/002: batas evaluasi, sumber, perubahan data dan monitoring.

## Perlu membahas kebutuhan tim Anda?

Ceritakan penggunaan AI di tim Anda dan hal yang ingin dipersiapkan.

[Konsultasikan kebutuhan Anda](https://kompli.id/konsultasi/?topik=ai)

## Bacaan terkait

- [Menguji fitur AI sebelum digunakan pelanggan](https://kompli.id/panduan/ai/evaluasi-fitur-ai/)
- [Catatan perubahan model dan fitur AI](https://kompli.id/template/catatan-perubahan-model-ai/)
- [Menilai risiko penggunaan AI dengan NIST AI RMF](https://kompli.id/panduan/ai/penilaian-risiko-ai/)
- [Menyiapkan tinjauan manusia untuk keputusan berbantuan AI](https://kompli.id/panduan/ai/tinjauan-manusia-keputusan-ai/)