
Bir görüntünün üzerine çizilen kutu, askerî bir kararın başlangıç noktası olabilir. Yapay zekâ değerlendirme şirketi Vals’ın 17 Kasım’da yayımladığı çalışma, modellerin bu tür görevlerde kullanımına karşı korumaları gündeme taşıdı. Ekip, testlerde sivillerin ve sivil yapıların hedef olarak işaretlenebildiğini bildirdi. Sonuçları okurken sorulması gereken soru, modelin verdiği önerinin insan kararına nasıl dönüştüğü. Bunun için deneyin kapsamını, savaş hukukunun gerektirdiği değerlendirmeyi ve karar veren kişinin elindeki bilgiyi birlikte ele almak gerekiyor.
Test neyi gösteriyor?
Vals, modellerin askerî görev zincirinde dar roller üstlenmeye ne ölçüde razı olduğunu inceledi. Çalışma, benzetim görüntüleri ve bazı gerçek uydu görüntüleri içeriyor. Araştırmacılar, belirli görevlerin oyun olarak sunulmasının bazı reddetmeleri aşabildiğini aktardı. Deneyin ölçtüğü davranış, sınanan koşullardaki yanıtlarla sınırlı. Ekip, gerçek bir silah sistemindeki etkinliği veya gerçek askerî iş akışlarının performansını belirlemediğini açıkça belirtiyor. Bu sınır, bulgunun hangi soruya yanıt verdiğini anlamak açısından önemli.
Öneriden karara uzanan yol
SIPRI’nin otonom silahlar ile yapay zekâ destekli karar sistemlerini karşılaştıran raporu, bu araçların insanın rolünü farklı biçimlerde etkilediğini anlatıyor. Karar destek sistemleri, bilgiyi toplamak ve değerlendirmek dahil birden fazla aşamada kullanılabiliyor. Önerinin nasıl sunulduğu ve hangi karara girdiği, sonuç üzerindeki etkisini değiştirebilir. Bu nedenle değerlendirme, yalnız son anda kimin düğmeye bastığına bakılarak tamamlanamıyor. Ondan önce hangi bilginin seçildiği, nelerin görünür kılındığı ve nelerin gözden kaçtığı da incelenmeli.
Gündelik bir karşılaştırma bu etkiyi anlaşılır kılıyor. Bir navigasyon uygulaması iki yol sunduğunda, sürücü seçeneklerden birini kendisi seçer. Ancak uygulamanın göstermediği bir yolu o sırada değerlendiremeyebilir. Askerî bir öneride hata yapmanın sonuçları çok daha ağır olabilir. Modelin ekrana getirdiği seçenekler, insanın hangi olasılıkları düşünmeye başlayacağını etkiler. Karar anında bir insan bulunmasıyla, o kişinin öneriyi bağımsız biçimde tartabilmesi arasındaki ilişkiyi bu nedenle ayrıca incelemek gerekir.
Bilginin kalitesi neden önemli?
Uluslararası Kızılhaç Komitesi ICRC, silahlı çatışmalarda kullanılan verilerin eksik ve bağlama özgü olabileceğini vurguluyor. Bir model büyük miktarda bilgiyi işlese de girdilerin güncelliği ve güvenilirliği ayrı bir sorun olarak kalıyor. Eski bir görüntü, bir yapının bugünkü kullanımını açıklamakta yetersiz olabilir. Aynı yer hakkında birbirini tamamlayan kaynaklara ihtiyaç duyulabilir. Modelin çıktısını değerlendiren kişinin, bu bilginin nereden geldiğini ve hangi koşullarda üretildiğini bilmesi gerekir.
Varsayımsal bir örnekte, aynı bina için iki farklı tarihli fotoğraf bulunduğunu düşünelim. Birinde çevre boş, diğerinde insanların hareket ettiği görülüyor. Fotoğrafların tarihleri görünmezse, kullanıcı bunları aynı ana ait sanabilir. Bu örnek belirli bir saldırıya ilişkin tespit içermiyor. Bilgiyi bir araya getirmenin, kaynakların zamanını ve bağlamını korumayı gerektirdiğini gösteriyor. Sonuç ne kadar düzenli bir tabloda sunulursa sunulsun, dayanakların birlikte incelenmesi gerekiyor.
İnsanın öneriye güvenmesi
ICRC’nin askerî yapay zekâ açıklaması, sistem çıktısına aşırı güvenmenin risklerine dikkat çekiyor. İnsanlar, özellikle zaman baskısı altında, düzgün ve kesin görünen bir öneriye gereğinden fazla ağırlık verebilir. Bu durum, hatalı bilginin kararın içine yerleşmesini kolaylaştırabilir. Denetimin işlemesi için kişinin öneriye itiraz edebilmesi, farklı bilgiye ulaşabilmesi ve değerlendirme için yeterli zamanı bulunması önem taşıyor. Bu imkânlar, insan kontrolünün pratikte ne kadar etkili olduğunu belirliyor.
Bir kontrol ekranını düşünelim. Kullanıcı yalnız bir sonuç ve bir onay düğmesi görüyorsa, önerinin dayanaklarını sorgulaması zorlaşabilir. Kaynakları, belirsizlikleri ve alternatif yorumları görebildiğinde ise farklı bir değerlendirme alanı oluşur. Bu, mevcut bir askerî sistemin tasviri olarak okunmamalı. İnsan denetiminin hangi bilgiyle yapılabileceğini açıklayan bir örnek. Sistemin tasarımıyla kurumun çalışma düzeni birlikte incelendiğinde, onayın gerçekten nasıl verildiği anlaşılabilir.
Hız hangi koşulda yarar sağlar?
ICRC, karar destek sistemlerinin bazı koşullarda büyük veri içinden sivil varlığına ilişkin bilgileri bulmaya yardım edebileceğini de belirtiyor. Daha fazla bilgiye ulaşmak, korunması gereken kişileri ve yapıları fark etmeye katkı sağlayabilir. Bunun yararı, verinin doğru değerlendirilmesine ve hukuki yükümlülüklerin yerine getirilmesine bağlı. Kurum, insan muhakemesinin korunmasını özellikle vurguluyor. Hızın artmasıyla kontrol süresinin kısalması birlikte gerçekleşirse, ek bilginin sağladığı fayda azalabilir. Bu ihtimal kullanım koşullarının değerlendirilmesini gerektiriyor.
Bir değerlendirme nasıl tamamlanır?
SIPRI’nin karşılaştırması, hukuki sorumluluk ve hesap verebilirliği de ayrı bir başlık olarak ele alıyor. Bir kararda yazılım kullanılması, o kararı veren ve uygulayan insanların yükümlülüklerini ortadan kaldırmıyor. Bu nedenle kurumun hangi aşamada kimin sorumlu olduğunu belirlemesi gerekiyor. Öneriyi hazırlayan sistem, onu inceleyen kullanıcı ve uygulanmasına karar veren yetkili arasındaki ilişki sonradan anlaşılabilir olmalı. Bir hata ortaya çıktığında hangi veriye dayanıldığının bilinmesi, düzeltmenin nerede yapılacağını değerlendirmeye yardım eder.
Teknik değerlendirmeyi kullanım düzeninden ayrı düşünmek bu yüzden eksik bir tablo bırakır. Aynı öneri, kaynakları kontrol etmek için yeterli zamanı olan bir ekipte ve acele karar vermek zorunda kalan bir ekipte farklı biçimlerde kullanılabilir. Sistemden beklenen görev, verilen yetki ve hataya karşı durdurma imkânı birlikte incelendiğinde, riskin nerede yoğunlaştığı daha açık görülebilir.
ICRC’nin insan muhakemesine ilişkin çalışması, çıktının başka kaynaklarla çapraz kontrol edilebilmesini ve kullanıcıya eleştirel değerlendirme için zaman tanınmasını öne çıkarıyor. Bu yaklaşım, bir sistemin yalnız doğru görünen cevaplar üretmesini ölçmenin ötesine geçiyor. Hatalı veya eksik bilgi karşısında ne yapıldığı, öneriye nasıl itiraz edildiği ve kararın nedeninin sonradan incelenip incelenemediği de önem kazanıyor. Kurumların uyguladığı kurallar ve eğitim, teknik performansla birlikte değerlendirilmeli.
Vals’ın bulgusu bu tartışmaya yeni bir test sonucu ekliyor. Sivil güvenliği açısından izlenecek gelişmeler, model sağlayıcılarının korumaları nasıl geliştirdiği ve kullanım koşullarının hangi bağımsız denetimlerle sınandığı olacak. Bir önerinin hızlı üretilmesi, onunla karar verecek kişinin hangi bilgiye sahip olduğunu tek başına açıklamıyor. Asıl değerlendirme, hatanın fark edilebildiği, sorgulanabildiği ve karara dönüşmeden durdurulabildiği sürecin pratikte çalışıp çalışmadığı üzerinden yapılacak.


