AI ajanları nasıl değerlendirilir?
Değerlendirmenin parçaları
Anthropic, bir AI değerlendirmesini sisteme girdi verip çıktısını puanlama mantığıyla ölçen bir test olarak tanımlar. Ajanlarda bu test, tek bir yanıtı incelemekten daha geniş olabilir. Ajan birden fazla tur boyunca tools kullanabilir, ortamın durumunu değiştirebilir ve ara sonuçlara göre davranışını uyarlayabilir.
Değerlendirmedeki her task, girdileri ve başarı ölçütleri tanımlanmış bir testtir. Aynı task üzerindeki her girişim bir trial olarak adlandırılır. Model çıktıları çalıştırmadan çalıştırmaya değişebildiği için Anthropic, daha tutarlı sonuçlar elde etmek üzere birden fazla trial yürütür.
Grader, ajan performansının bir yönünü puanlayan mantıktır. Bir task birden fazla grader içerebilir; her grader da birden fazla assertion içerebilir. Puanlama, grader puanlarının bir eşiğe ulaşmasını gerektiren ağırlıklı bir yapı olabilir. Bütün grader sonuçlarının geçmesini gerektiren ikili bir yapı veya ikisinin birleşimi de kullanılabilir.
Transcript, bir trial sırasında ortaya çıkan çıktıların, tool çağrılarının, ara sonuçların ve diğer etkileşimlerin tam kaydıdır. Outcome ise trial sonunda ortamın durumudur. Anthropic'in uçuş rezervasyonu örneğinde transcript içinde rezervasyonun yapıldığı söylenebilir; outcome ise ortamın SQL veritabanında gerçekten bir rezervasyon bulunup bulunmadığıdır.
Evaluation harness, değerlendirmeyi baştan sona çalıştıran altyapıdır. Talimatları ve tools sağlar, task'ları eşzamanlı çalıştırır, adımları kaydeder, çıktıları puanlar ve sonuçları bir araya getirir. Agent harness ise modelin ajan olarak hareket etmesini sağlayan sistemdir: girdileri işler, tool çağrılarını düzenler ve sonuçları döndürür. Anthropic'e göre bir ajan değerlendirilirken model ile agent harness birlikte değerlendirilir.
Task'ları ve başarı ölçütlerini belirleme
Anthropic, değerlendirme task'larının açık başarı ölçütlerine sahip olmasını önerir. İki alan uzmanının aynı task için birbirinden bağımsız biçimde aynı geçti veya kaldı kararına ulaşabilmesi, task kalitesinin ölçütlerinden biridir. Task açıklamasındaki belirsizlik, metriklere gürültü olarak yansır. Model-based grader için hazırlanan belirsiz rubric de tutarsız yargılara yol açabilir.
Talimatları doğru izleyen bir ajan task'ı geçebilmelidir. Anthropic, bir script yazılması istenen fakat dosya yolunun belirtilmediği bir örnek verir. Testler belirli bir dosya yolu varsayıyorsa ajan, kendi hatası olmadan başarısız olabilir. Grader'ın baktığı koşulların task açıklamasında açık olması gerekir.
Anthropic, her task için bütün grader'ları geçen, çalıştığı bilinen bir referans çözüm oluşturmayı da yararlı bulur. Bu çözüm, task'ın çözülebilir olduğunu gösterir ve grader'ların doğru yapılandırıldığını doğrular. Referans çözüm, ajanın aynı sonuca mutlaka aynı yoldan ulaşmasını gerektiren bir transcript tanımı değildir.
Bir evaluation suite, belirli yetenekleri veya davranışları ölçmek için düzenlenmiş task kümesidir. Anthropic'in müşteri desteği örneğinde suite, iadeler, iptaller ve konunun başka bir yetkiliye aktarılmasıyla ilgili task'lar içerebilir. Her task'ın kendi girdisi ve başarı ölçütü bulunur; suite ise bu task'ları ortak bir amaç altında toplar.
Anthropic, capability eval ile regression eval arasında da ayrım yapar. Capability eval, ajanın hangi işleri yapabildiğini ölçer ve ajanın zorlandığı task'ları hedefler. Regression eval ise ajanın daha önce yerine getirdiği task'ları hâlâ yapıp yapmadığını ölçer. Bir capability eval'deki task'lar ajan tarafından düzenli olarak geçilmeye başlandığında regression suite içinde kullanılabilir.
Grader türleri
Anthropic, ajan değerlendirmelerinde code-based, model-based ve human olmak üzere üç grader türünü açıklar. Her biri transcript'in veya outcome'un bir bölümünü değerlendirebilir. Anthropic, mümkün olduğunda deterministic grader, gerektiğinde veya ek esneklik için LLM grader kullanılmasını; ek doğrulamada ise human grader'lardan yararlanılmasını önerir.
Code-based grader yöntemleri arasında string match, binary test, static analysis, outcome doğrulaması ve tool çağrılarının doğrulanması bulunur. Tool çağrısı doğrulaması, kullanılan tools ve parametrelerini inceleyebilir. Transcript analizi ise tur sayısı veya token kullanımı gibi değerleri ele alabilir.
Anthropic, code-based grader'ları hızlı, nesnel ve tekrarlanabilir olarak tanımlar. Belirli koşulları doğrulayabilirler ve hata ayıklamaları kolaydır. Bununla birlikte, beklenen kalıpla tam eşleşmeyen geçerli değişikliklere karşı kırılgan olabilirler. Nüans içeren veya daha öznel bazı task'ları değerlendirmekte de sınırlıdırlar.
Model-based grader yöntemleri arasında rubric ile puanlama, doğal dilde assertion, ikili karşılaştırma, referansa dayalı değerlendirme ve birden fazla değerlendiricinin ortak kararı vardır. Anthropic bu grader'ların açık uçlu task'ları ve serbest biçimli çıktıları değerlendirebildiğini belirtir. Sonuçları deterministic değildir; doğruluk için human grader'larla kalibrasyon gerektirir.
Anthropic, LLM-as-judge değerlendirmesinde her boyut için açık ve yapılandırılmış rubric hazırlanmasını önerir. Tek bir değerlendiricinin bütün boyutları puanlaması yerine, her boyut ayrı bir LLM-as-judge ile değerlendirilebilir. Yeterli bilgi bulunmadığında değerlendiriciye “Unknown” döndürme seçeneği verilmesi de Anthropic'in belirttiği yöntemlerden biridir.
Human grader yöntemleri arasında uzman incelemesi, örneklem üzerinden inceleme ve değerlendiriciler arası uyum yer alır. Anthropic, insan değerlendirmesini model-based grader'ları kalibre etmek için kullanır. Bu yaklaşım zaman alabilir ve geniş ölçekte uzmanlara erişim gerektirebilir.
Ajanın yaptığı işe göre değerlendirme
Kod yazan bir ajan için Anthropic, task'ların açık tanımlanmasına, test ortamının kararlı olmasına ve üretilen kodun kapsamlı test edilmesine odaklanır. Doğruluk için unit test'ler; genel kod kalitesi için ise LLM rubric kullanılabilir. Tool çağrıları veya kullanıcıyla etkileşim gibi davranışlar da açık rubric kullanan model-based grader'larla değerlendirilebilir.
SWE-bench araştırmacıları, kod tabanı ve problem açıklamasını modele verir; model de bir .patch üretir. Değerlendirme sırasında test patch'i ve modelin ürettiği patch kod tabanına uygulanır, ardından test script'i çalıştırılır. Task'ın çözülmüş sayılması için FAIL TO PASS ve PASS TO PASS gruplarındaki testlerin tümünün geçmesi gerekir. Eksik veya geçmeyen bir test başarısız kabul edilir.
SWE-bench, task'ları değerlendirmeye almadan önce çözüm patch'i ile test patch'inin kod tabanına uygulanabildiğini ve testlerin çalıştırılabildiğini doğrular. Araştırmacılar, çözüm uygulanmadan önce ve uygulandıktan sonra test sonuçlarını karşılaştırır. En az bir testin çözüm öncesinde başarısız, çözüm sonrasında başarılı olması koşulunu sağlamayan task değerlendirme kümesinden çıkarılır.
Konuşma yürüten bir ajan için Anthropic, doğrulanabilir son durumlarla hem task tamamlanmasını hem de etkileşim kalitesini ele alan rubric'leri birlikte kullanır. Destek örneğinde ticket durumunun çözülmüş olması ve iadenin işlenmiş olması durum üzerinden değerlendirilebilir. Açıklamanın netliği gibi iletişim özellikleri ise rubric içinde yer alabilir.
Araştırma yapan bir ajanın çıktısı, yanıt veya rapor olabilir. Anthropic'e göre bu tür işlerde kapsamlılık ve doğruluk gibi ölçütler task'ın bağlamına bağlıdır. Groundedness kontrolü, iddiaların başvurulan içerikle desteklenip desteklenmediğini inceler. Coverage kontrolü ise iyi bir yanıtın içermesi gereken temel olguları tanımlar.
Computer use ajanları yazılımla ekran görüntüleri, fare tıklamaları, klavye girdileri ve kaydırma üzerinden etkileşir. Anthropic, bu ajanları değerlendirirken gerçek veya sandbox ortamında çalıştırıp amaçlanan outcome'a ulaşılıp ulaşılmadığını incelemeyi tarif eder. Veri değiştiren bir task'ta backend durumu da doğrulanabilir; böylece yalnızca ekranda bir onay görünmesine bakılmaz.
Tekrarlar ve sonuçların yorumlanması
Ajan davranışı çalıştırmalar arasında değişebildiği için Anthropic, her task'ta birden fazla trial yürütür. Her trial'ın temiz bir ortamdan başlaması gerekir. Önceki çalıştırmalardan kalan dosyalar, önbellekteki veriler veya paylaşılan diğer durumlar, ajan performansından bağımsız hatalara ya da yapay biçimde yüksek performansa yol açabilir.
Anthropic iki farklı tekrar ölçütü tanımlar. pass@k, k girişimden en az birinin doğru çözüm üretme olasılığını ölçer. pass^k ise k trial'ın tamamının başarılı olma olasılığını ölçer. İlk ölçütte tek bir başarı yeterlidir; ikinci ölçütte bütün trial'ların başarılı olması gerekir. Anthropic, kullanımın ürün gereksinimlerine bağlı olduğunu belirtir.
Transcript incelemesi, başarısızlığın nedenini anlamaya yardımcı olur. Anthropic'e göre transcript, ajanın hata yapıp yapmadığını veya grader'ın geçerli bir çözümü reddedip reddetmediğini gösterebilir. Belirsiz task açıklamaları, grader hataları ve agent harness üzerindeki kısıtlar da iyi bir ajan performansına rağmen düşük puan üretebilir.
Sınırlar
Anthropic'e göre bütün çözülebilir task'ların geçildiği bir capability eval, gerilemeleri izleyebilir; ancak gelişimi ölçmek için alan bırakmaz. Ayrıca otomatik değerlendirme, ajan performansının tek görünümü değildir. Anthropic, üretim ortamının izlenmesini, kullanıcı geri bildirimini, transcript incelemesini ve sistematik insan değerlendirmesini de performansı anlamanın parçaları arasında sayar.