Karar problemi ve bağlam
Model, sık görülen merkez dilini veya en çok belgelenen lokasyonu genel kural sanabilir. Yerel bilgiye erişim daha azsa sessiz grupların deneyimi sonuçta kaybolur.
Test, teknik doğruluk kadar bağlam, adalet ve yetki ihlalini ölçer. NIST AI RMF’nin bağlam ve insan gözetimi vurgusu bu tasarımın araştırma dayanaklarından biridir.
Saha veya uygulama protokolü
- Aynı soruyu farklı dil, deyim, rol ve lokasyonlarla test vakası olarak yazın.
- Eski ve güncel SOP ile çelişen yerel pratik örneklerini ayrı sınıfa koyun.
- Yanıtta kaynak, sürüm, izin ve güven düzeyini arayın.
- Yetkisiz rolün çapraz lokasyon verisini görmesini negatif testle deneyin.
- Ağır hata veya kaynak yokluğunda ajanı güvenli cevaba ve insan kuyruğuna yönlendirin.
Çalışma formu
| Kayıt | Kanıt / yanıt | Sahip / karar |
|---|---|---|
| Test vakası | [Dil, yer, rol, izin] | [Beklenen yanıt] |
| Hata | [Bağlam kaybı / yetki / uydurma] | [Önem ve sahip] |
| Düzeltme | [Veri, kural veya model değişimi] | [Yeniden test] |
Boş alanlar varsayımla doldurulmaz. Kaynak, tarih, erişim düzeyi ve itiraz veya düzeltme yolu bu formun üst bilgisidir.
Risk ve bağımsız sınır
AI yerel topluluk veya çalışan hakkında karakter hükmü üretmez. Klinik, finansal ve hukuki nihai karar yetkili insanda kalır. Hassas test verisi yalnız izinli ortamda kullanılır.
Ölçüm, devir ve sonraki döngü
Kaynak gösterimi, ağır hata, lokasyon/dil bazlı fark ve insan eskalasyonu ölçülür; genel ortalama ağır yerel hatayı gizlemez.
D-IC-08 bilgi sistemi ve D-AI yönetişim belgelerine devir yapılır.
Kabul kapısı: Ajan kaynak, yer, geçerlilik ve belirsizliği güvenilir biçimde ayırıyor mu?
Temsili saha vakası ve karar yürüyüşü
Temsili vaka: Ajan yerel ağızla sorulan soruyu yanlış lokasyonun SOP'siyle yanıtlar; güven düzeyini belirtmez.
Karar yürüyüşü: Aynı senaryo iki dil, iki rol ve eski/güncel sürümle negatif teste alınır; kaynak yoksa insan kuyruğuna yönlendirme beklenir.
Vaka gerçek bir kurumun sonucu değildir. Kurum uygulamasında yer, dönem, katılımcı, işlem ve istisna kayıtlarıyla yeniden kurulmalıdır.
P.U.R. iş paketi ve görev ayrılığı
| Aşama | Yapılacak iş | İz ve sorumluluk |
|---|---|---|
| Planlama | D-IC-08 RAG, D-IC-19 dil varyasyonları, izinli test vakaları girdisini kaynak, izin ve kapsam bakımından doğrula; karar sorusunu ve pilot sınırını yaz. | AI değerlendirme lideri işi sahiplenir; Yerel uzman, CISO ve etik kurul karşı görüşü verir. |
| Uygulama | Çok lokasyonlu değerlendirme seti, hata sınıfları ve durdurma eşiği çıktısını sınırlı bağlamda üret; normal akış ve istisnayı ayrı dene. | İcra ekibi işlemi yürütür; kural sahibi istisnayı onaylar. |
| Raporlama | Ajan kaynak, yer, geçerlilik ve belirsizliği güvenilir biçimde ayırıyor mu? sorusunu kanıt, karşı kanıt ve açık riskle cevapla. | Gözden geçiren rol sonucu inceler; sonraki planın sahibi düzeltmeyi tarihler. |
Üreten ekip değerlendirmeye katılır; kendi kuralını tek başına onaylayıp denetleyemez. Üç aşama yeniden öğrenmeye dönmeden kapatılmaz.
Bağımsız kabul testi ve durdurma sinyali
Bağımsız test: AI değerlendirme lideri ağır hata kümesini lokasyon bazında raporlar; CISO yetkisiz erişimi ayrıca test eder.
Durdurma veya düzeltme sinyali: Tek bir ağır yetki sızıntısı veya yüksek etkili kaynaksız öneri canlı dağıtımı durdurur.
Kabul kaydında sürüm, karar sahibi, test örneği, karşı kanıt, açık itiraz, risk seviyesi ve sonraki gözden geçirme tarihi tutulur. Ajan kaynak, yer, geçerlilik ve belirsizliği güvenilir biçimde ayırıyor mu?
Karar, kayıt ve yeniden öğrenme
Bu belge kuruma uyarlanırken kaynak kanıt, tek hesap veren rol, katılımcı görüşü, risk sınırı, onay tarihi ve sonraki gözden geçirme tarihi kaydedilir. Yapılan iş raporlanıp yeni öğrenmeye dönmüyorsa döngü kapanmış sayılmaz.
Kabul sorusu: Ajan kaynak, yer, geçerlilik ve belirsizliği güvenilir biçimde ayırıyor mu?