Basit akışlar ve ajanlar arasında seçim

Görevin yapısı seçimi nasıl etkiler?

Anthropic, LLM uygulamalarında mümkün olan en basit çözümle başlamayı ve karmaşıklığı yalnızca gerektiğinde artırmayı öneriyor. Birçok uygulamada retrieval ve in-context examples ile iyileştirilmiş tek bir LLM çağrısı yeterli olabiliyor. Bu yaklaşımda görev için birden fazla adımdan oluşan agentic bir sistem kurulması gerekmeyebiliyor.

Anthropic'in ayrımında workflow, LLM ve tools kullanımının önceden tanımlanmış kod yollarıyla düzenlendiği bir sistem. Ajan ise sürecini ve tool kullanımını çalışma sırasında LLM'in yönlendirdiği bir sistem. Ayrım, görevi tamamlamak için izlenecek yolun önceden ne ölçüde belirlenebildiğiyle ilgili.

OpenAI, workflow'u kullanıcının hedefine ulaşmak için yürütülmesi gereken adımlar dizisi olarak tanımlıyor. Müşteri hizmetleri sorununu çözmek, rezervasyon yapmak, kod değişikliğini commit etmek ve rapor üretmek buna örnek. Bir uygulamanın LLM içermesi tek başına onu ajan yapmıyor. OpenAI'ye göre workflow'un yürütülmesini LLM ile yönetmeyen basit chatbot, tek turlu LLM uygulaması ve sentiment classifier ajan değil.

Anthropic'e göre iyi tanımlanmış görevlerde workflow, öngörülebilirlik ve tutarlılık sunar. Daha fazla esneklik ve kararların model tarafından verilmesi gerektiğinde ajan yaklaşımı kullanılabilir. Anthropic, aşağıdaki yapıları kullanım durumuna göre değiştirilebilen ve birbiriyle birleştirilebilen örüntüler olarak tarif ediyor.

Sabit alt görevler için prompt chaining

Anthropic'in prompt chaining olarak adlandırdığı workflow, bir görevi sıralı adımlara ayırır. Her LLM çağrısı önceki çağrının çıktısını işler. Ara adımlara programatik kontroller de eklenebilir. Görev kolayca ve açık biçimde sabit alt görevlere ayrılabiliyorsa bu yapı kullanılabilir.

Bu yapıda her çağrıya daha kolay bir iş verilir. Anthropic, bunun daha yüksek doğruluk karşılığında gecikmeyi artıran bir tercih olduğunu belirtiyor. Örneklerinden birinde önce pazarlama metni üretilir, ardından metin başka bir dile çevrilir. Üretim ve çeviri ayrı çağrılarda, belirlenmiş bir sırayla yapılır.

Başka bir örnekte önce bir metnin taslağı hazırlanır. Ardından taslağın belirli ölçütleri karşılayıp karşılamadığına bakılır ve metin bu taslağa göre yazılır. Kontrol, iki üretim adımı arasında yer alır. Anthropic bu tür programatik kontrollerin ara adımlara eklenebileceğini söylüyor.

Ayrı kategoriler için routing

Routing, girdiyi sınıflandırır ve ilgili devam görevine yönlendirir. Anthropic'e göre bu yapı, farklı girdi türleri için daha özel prompt'lar oluşturulmasına olanak verir. Routing olmadan bir girdi türü için yapılan iyileştirme, diğer türlerdeki performansı olumsuz etkileyebilir.

Anthropic, routing için iki koşul tarif ediyor. Görevde ayrı ele alınması gereken belirgin kategoriler bulunmalı ve sınıflandırma doğru yapılabilmeli. Sınıflandırmayı bir LLM yapabileceği gibi geleneksel bir sınıflandırma modeli veya algoritması da yapabilir.

Müşteri hizmetlerinde genel soruların, iade taleplerinin ve teknik destek isteklerinin farklı süreçlere, prompt'lara ve tools'a yönlendirilmesi bir routing örneği. Sınıflandırma adımı istek türünü belirler; devam görevi de bu kategoriye göre düzenlenir. Böylece genel bir soru ile teknik destek isteği farklı süreçlere gidebilir.

Bağımsız işler için parallelization

Anthropic'in parallelization olarak adlandırdığı workflow'da LLM'ler bir görev üzerinde eş zamanlı çalışabilir ve çıktıları programatik olarak birleştirilebilir. Sectioning, işi paralel yürütülen bağımsız alt görevlere ayırır. Voting ise farklı çıktılar elde etmek için aynı görevi birden fazla kez çalıştırır.

Anthropic, alt görevler hız için paralel yürütülebildiğinde veya sonuçlara daha fazla güvenmek için birden fazla bakış açısı ya da deneme gerektiğinde parallelization'ın etkili olabileceğini söylüyor. Birden fazla konunun ele alındığı karmaşık görevlerde her konu ayrı bir LLM çağrısıyla işlenebilir.

Sectioning örneklerinden birinde bir model kullanıcı sorgusunu işlerken başka bir model uygunsuz içerik veya istekleri tarar. Başka bir örnekte LLM performansını değerlendiren her çağrı, belirli bir prompt için model performansının farklı bir yönünü inceler. Her iki örnekte de görev ayrı işlere bölünür.

Voting örneğinde farklı prompt'lar bir kod parçasını güvenlik açıkları açısından inceler ve sorun bulduklarında işaretler. Anthropic'in içerik değerlendirme örneğinde ise birden fazla prompt farklı yönleri değerlendirir veya farklı oy eşikleri kullanır. Bu eşikler, yanlış pozitif ve yanlış negatif sonuçlar arasındaki dengeyi etkiler.

Alt görevler önceden bilinmiyorsa

Anthropic'in orchestrator-workers yaklaşımında merkezi bir LLM görevi çalışma sırasında alt görevlere ayırır, işleri worker LLM'lere devreder ve sonuçları birleştirir. Parallelization ile temel fark, alt görevlerin önceden tanımlanmamasıdır. Orchestrator, alt görevleri belirli girdiye göre belirler.

Anthropic, birden fazla dosyada karmaşık değişiklikler yapan kodlama işlerini buna örnek veriyor. Değiştirilecek dosyaların sayısı ve her dosyada yapılacak değişikliğin niteliği göreve bağlı olabilir. Birden fazla yerde bilgi toplama ve bu bilgileri inceleme gerektiren arama işleri de bu yapının örnekleri arasında yer alıyor.

Bir çıktının değerlendirilip tekrar işlenmesi gerekiyorsa evaluator-optimizer workflow'u kullanılabilir. Bu yapıda bir LLM çağrısı yanıt üretirken başka bir çağrı döngü içinde değerlendirme ve geri bildirim sağlar. Anthropic, açık değerlendirme ölçütleri bulunduğunda ve tekrar iyileştirme ölçülebilir değer sağladığında bu yapının etkili olduğunu belirtiyor.

Anthropic iki uygunluk işareti de veriyor: Bir insanın dile getirdiği geri bildirimle LLM yanıtının geliştirilebilmesi ve LLM'in benzer geri bildirimi verebilmesi. Edebi çeviri buna örnek. İlk çeviride bazı nüanslar yakalanmasa da değerlendirici LLM yararlı eleştiriler sunabilir.

Anthropic'in başka bir örneğinde karmaşık bir arama görevi, bilgi toplamak için birden fazla arama ve inceleme turu gerektirir. Değerlendirici, ek aramaların gerekli olup olmadığına karar verir. Değerlendirme döngüsü bu örnekte aramanın devam edip etmeyeceğini de kapsar.

Ajanın çalışma sırasında karar verdiği işler

Anthropic'e göre ajanlar, gereken adım sayısını öngörmenin zor veya imkânsız olduğu ve sabit bir yolun kodlanamadığı açık uçlu problemlerde kullanılabilir. LLM birçok tur boyunca çalışabilir. Bu yaklaşım, modelin karar verme yetisine belirli ölçüde güvenilmesini gerektirir.

Anthropic'in tarif ettiği ajan, bir kullanıcı komutuyla veya kullanıcıyla yapılan etkileşimli görüşmeyle işe başlar. Görev netleştikten sonra bağımsız biçimde plan yapıp çalışabilir; ek bilgi ya da değerlendirme gerektiğinde kullanıcıya dönebilir. Her adımda tool çağrılarının sonuçları veya kod çalıştırma çıktıları gibi ortamdan gelen bilgilerle ilerleyişini değerlendirir.

Ajan, belirli kontrol noktalarında veya bir engelle karşılaştığında insan geri bildirimi için durabilir. Görev tamamlandığında çalışma sona erebilir. Anthropic, kontrolü sürdürmek için durma koşulları eklenmesinin de yaygın olduğunu belirtiyor; azami yineleme sayısı buna örnek.

OpenAI'nin ajan tanımında LLM, workflow'un yürütülmesini yönetir ve kararlar alır. Workflow'un tamamlandığını anlayabilir, gerektiğinde eylemlerini düzeltebilir ve başarısızlık durumunda yürütmeyi durdurup kontrolü kullanıcıya geri verebilir. Ajan, bağlam toplamak ve eylem gerçekleştirmek için dış sistemlerle etkileşen tools'a erişir; workflow'un durumuna göre uygun tool'u dinamik olarak seçer.

OpenAI, bir ajanın temel bileşenlerini model, tools ve instructions olarak sıralıyor. Model, ajanın akıl yürütmesini ve karar vermesini sağlayan LLM'dir. Tools, ajanın eylem için kullanabildiği dış işlevler veya API'lerdir. Instructions ise ajanın davranışını tanımlayan açık yönergeleri ve guardrails'ı içerir.

Uygunluk ölçütleri ve sınırlar

OpenAI, geleneksel yöntemlerle otomasyonda güçlük yaşanan workflow'lar için üç ölçüt sıralıyor. İlki, istisnalar veya bağlama duyarlı kararlar içeren karmaşık karar verme süreçleri. Müşteri hizmetlerinde bir iadenin onaylanması buna örnek. İkincisi, kapsamlı ve karmaşık kurallar yüzünden güncellenmesi maliyetli veya hataya açık hâle gelen sistemler. OpenAI, tedarikçi güvenlik incelemelerini buna örnek veriyor.

Üçüncü ölçüt, yapılandırılmamış verilere yoğun bağımlılık. Doğal dili yorumlamak, metinlerden anlam çıkarmak veya kullanıcılarla konuşarak etkileşmek bu gruba giriyor. OpenAI, konut sigortası talebinin işlenmesini örnek gösteriyor. Kullanım durumu bu ölçütleri açık biçimde karşılamıyorsa OpenAI'ye göre deterministik bir çözüm yeterli olabilir.

Ajan seçiminin sınırları da var. Anthropic, agentic sistemlerde daha iyi görev performansı karşılığında gecikme ve maliyetin artabildiğini söylüyor. Ajanların özerkliği daha yüksek maliyete ve hataların birikmesi olasılığına yol açabilir. Anthropic bu riskler için sandbox ortamlarında kapsamlı test ve uygun guardrails öneriyor.

OpenAI, insan müdahalesini özellikle iki durumda ele alıyor. Ajan belirlenen başarısızlık eşiğini aşarsa kontrol insana aktarılabilir. Hassas, geri alınamaz veya sonuçları ağır eylemler de insan gözetimini gerektirebilir. OpenAI'nin örnekleri arasında kullanıcı siparişlerinin iptali, büyük iadelerin onaylanması ve ödeme yapılması yer alıyor.