Embedding ve metin parçalama
Embedding metni nasıl temsil eder?
OpenAI, text embedding'i metin dizileri arasındaki ilişkiyi ölçen bir temsil olarak tanımlar. Bir embedding, kayan noktalı sayılardan oluşan bir vektördür. İki vektör arasındaki mesafe, temsil ettikleri metinlerin ilişkisine dair bir ölçü verir. Küçük mesafe yüksek ilişkiye, büyük mesafe düşük ilişkiye işaret eder.
OpenAI, embedding kullanım alanları arasında arama, kümeleme ve sınıflandırmayı sayar. Aramada sonuçlar bir sorgu metniyle ilişkilerine göre sıralanır. Kümelemede benzer metinler gruplandırılır. Sınıflandırmada ise metinler kendilerine en çok benzeyen etikete göre sınıflandırılır.
Google Cloud, dense vector temsillerinin bir metin parçasının anlamını temsil etmek üzere tasarlandığını belirtir. Bu yaklaşım, doğrudan sözcük veya sözdizimi eşleşmesi aramak yerine sorgunun anlamıyla örtüşen pasajların bulunmasına yöneliktir. Google Cloud'a göre pasajlar farklı bir dilde olsa da bu tür bir arama yapılabilir.
OpenAI'ın embeddings API yanıtı, embedding vektörünün yanında ek metadata da içerir. Vektör yanıttan çıkarılıp bir vector database içinde saklanabilir. Google Cloud da embedding üretildikten sonra vektörlerin bir vector database'e eklenebileceğini belirtir.
Metin ne zaman parçalanır?
Microsoft'a göre parçalama, metin modelin kabul ettiği girdi boyutunu aştığında gerekir. Büyük bir metni daha küçük parçalara ayırmak, embedding ve chat completion modellerinin token girdi sınırları içinde kalmaya yardımcı olur. Parçalama, metnin kesilmesi yüzünden oluşabilecek veri kaybını önlemeye de yardımcı olur.
Metin girdi sınırına sığsa bile tek vektörle iyi temsil edilmeyebilir. Microsoft, birçok farklı alt konuyu ele alan bir wiki sayfasını örnek verir. Sayfa modelin girdi koşullarını karşılayacak kadar kısa olsa da daha küçük parçalara ayrılması daha iyi sonuç verebilir.
Microsoft'un Azure AI Search içindeki yaklaşımında indexer ve skillset bileşenleri metni bölebilir ve parçalardan embedding üretebilir. Integrated vectorization kullanılmadığında metni parçalamak için başka yaklaşımlar da vardır. Microsoft, büyük metinler için parçalama adımının indexleme ve sorgu iş akışlarına eklenmesini anlatır.
Integrated vectorization kullanıldığında Text Split skill ile varsayılan bir parçalama stratejisi uygulanabilir. Custom skill kullanılarak özel bir parçalama stratejisi de uygulanabilir. Microsoft, parçalama sunan harici kütüphaneler arasında LangChain Text Splitters ve Semantic Kernel TextChunker'ı sayar.
Parçalama yöntemleri
Microsoft'un anlattığı sabit boyutlu yöntemde parçalar belirlenen bir boyuta göre oluşturulur. Bu boyut, anlamlı paragrafları içerecek ve parçalar arasında bir miktar overlap bırakacak şekilde tanımlanabilir. Overlap, bir parçadaki metnin bir bölümünün komşu parçada da bulunmasıdır.
Değişken boyutlu parçalama ise metnin özelliklerini kullanır. Cümle sonu noktalama işaretleri ve satır sonu işaretleri ayrım noktası olabilir. Metin yapısını algılayan Natural Language Processing kütüphaneleri de kullanılabilir. HTML veya Markdown içindeki başlık işaretleri, metni bölümlere ayırmak için bir başka seçenektir.
Semantic chunking, metni bağlamı ve cümleler ile paragraflar arasındaki anlamsal ilişkileri koruyan birimlere ayırır. Microsoft'a göre bu birimler sayfa sınırlarını aşabilir. Azure Content Understanding skill, Markdown çıktısıyla semantic chunking özelliği sunar.
Azure Content Understanding, çıkarma ve parçalamanın bir arada yapıldığı bir pipeline içinde token cinsinden semantic chunk veya karakter cinsinden sabit boyutlu chunk oluşturabilir. Microsoft, semantic chunking özelliğinin semantic ranking veya görsel açıklamalarını etkinleştirmediğini belirtir. Görsel açıklamaları ayrı yapılandırılır.
Yöntemler bir arada da kullanılabilir. Microsoft, büyük bir metni değişken boyutlu parçalara ayırıp metnin ortasından gelen parçalara başlığı eklemeyi örnek gösterir. Başlığın eklenmesi, bu parçalarda bağlam kaybını önlemeye yöneliktir.
Microsoft ayrıca parsing ile indexleme için büyük metinlerden daha küçük arama birimleri üretilebildiğini belirtir. Bu işlem teknik olarak chunking değildir. Yine de bazı durumlarda benzer bir amaca hizmet edebilir.
Overlap ve parça boyutu
Sabit boyutlu parçalamada parçalar arasında küçük bir metin bölümünün tekrarlanması, sürekliliğin ve bağlamın korunmasına yardımcı olabilir. Microsoft, overlap miktarının içerik türüne ve kullanım amacına göre değişebileceğini belirtir. Çok yapılandırılmış veriler daha az overlap gerektirebilir. Konuşma veya anlatı metinleri ise daha fazla overlap'tan yarar görebilir.
Metnin biçimi ve yoğunluğu da parça boyutuyla ilişkilidir. Microsoft'a göre metnin veya pasajların bütün kalması gerektiğinde daha büyük parçalar ve cümle yapısını koruyan değişken boyutlu parçalama daha iyi sonuç verebilir. Belirli bir bilgiyi hedefleyen sorgularda büyük parçalar ve overlap, bağlamın ve anlamsal zenginliğin korunmasına yardımcı olur.
Microsoft, birden fazla model kullanılan iş akışlarında parça boyutunun bu modellerle birlikte ele alınmasını da anlatır. Örneğin aynı metin hem özetleme hem embedding için kullanıldığında, her iki modelin parça boyutuna ilişkin koşulları vardır. Microsoft, kullanılan modellerin tümüyle çalışan bir parça boyutu belirlenmesini söyler.
Azure AI Search ile parçalama ayarları
Microsoft'un Text Split skill yaklaşımında textSplitMode, metnin nasıl bölüneceğini belirler. pages varsayılan moddur ve bir parça birden fazla cümleden oluşur. sentences modunda ise parçalar tek cümlelerden oluşur. Cümle sınırının ne olduğu dile bağlıdır ve dil defaultLanguageCode parametresiyle belirlenir.
pages modu ek parametreler kullanır. maximumPageLength, her parça için en yüksek karakter veya token sayısını tanımlar. Text Split skill cümleleri bölmekten kaçınır. Bu yüzden parçanın gerçek karakter sayısı içeriğe bağlıdır.
pageOverlapLength, önceki parçanın sonundan ne kadar karakterin sonraki parçanın başına ekleneceğini belirler. Bu değer ayarlandığında, en yüksek sayfa uzunluğunun yarısından küçük olmalıdır. Aynı moddaki maximumPagesToTake ise bir metinden kaç sayfa veya parçanın alınacağını belirler. Varsayılan değeri 0 olduğunda tüm sayfalar ya da parçalar alınır.
Microsoft, karakterlerle token'ların aynı ölçü olmadığını belirtir. Sabit karakter boyutuyla çalışan Text Split skill'in ölçtüğü karakter sayısı ile bir LLM'in ölçtüğü token sayısı farklı olabilir. pages modunda karakter sayısı, cümle sınırlarının parça içinde nerede bulunduğuna göre değişir. Token uzunluğu da parçanın içeriğine göre değişir.
Microsoft'un LangChain örneğinde PDF yüklenir, token sayıları tahmin edilir ve bir text splitter oluşturulur. Örnekte ortalama ve en yüksek token sayıları, parça boyutunu belirlemek için kullanılır. Ardışık iki parçanın çıktısı da ilk parçadaki metnin bir bölümünün ikinci parçada tekrarlandığını gösterir.
Parçalardan aramaya
Anthropic'in Voyage AI örneğinde önce metinlerin her biri bir embedding vektörüne dönüştürülür. Ardından sorgu için de embedding üretilir. Örnek, embedding uzayındaki mesafeye dayanarak ilgili metni bulmak için nearest neighbor search kullanır.
Aynı örnekte input_type, girdinin rolünü belirtir. Metin embedding'i üretilirken input_type="document", sorgu embedding'i üretilirken input_type="query" kullanılır. Anthropic, retrieval görevlerinde bu parametrenin kullanılmasını ve None olarak ayarlanmamasını söyler.
Anthropic'e göre Voyage AI, input_type kullanıldığında embedding üretmeden önce girdinin başına göreve özgü bir prompt ekler. Sorgu ve metin için eklenen prompt'lar farklıdır. Girdinin rolünü belirtmek, retrieval için daha iyi dense vector temsilleri oluşturabilir ve retrieval kalitesini iyileştirebilir.
Voyage AI embedding'leri dot-product similarity, cosine similarity veya Euclidean distance ile kullanılabilir. Anthropic, bu embedding'lerin normalize edildiğini ve uzunluklarının bir olduğunu belirtir. Bu durumda cosine similarity ile dot-product similarity eşdeğerdir. Cosine similarity ve Euclidean distance da aynı sıralamayı verir.
Anthropic ayrıca Voyage AI'ın contextualized chunk embedding modellerini anlatır. Bu modeller, metnin tamamının bağlamını yakalayan parça düzeyinde vektörler üretir. Anthropic, bu yaklaşımın metadata'yı elle genişletmeden çalıştığını ve bu modellerin embed() yerine contextualized_embed() ile çağrıldığını belirtir.
Sınırlar ve ayrımlar
Microsoft'a göre parçalama her metin için zorunlu değildir. Zorunluluk, metnin modelin girdi boyutunu aşması durumunda ortaya çıkar. Öte yandan tek bir vektörün metni iyi temsil etmediği durumlarda da parçalama yararlı olabilir.
Microsoft, kendi LangChain örneğinde çok büyük bir overlap değerinin hiç overlap görünmemesine yol açabileceğini belirtir. Örnekte parça boyutu belirlenirken metnin ortalama ve en yüksek token sayıları kullanılır.
Google Cloud'un text embeddings API açıklamasında, tek bir girdi için token sınırını aşan bölümün varsayılan davranışta sessizce kesilebildiği belirtilir. autoTruncate değeri false olarak ayarlandığında sessiz kesme kapatılır; sınırı aşan metin isteğin başarısız olmasına yol açar. Google Cloud'un örnek REST yanıtında statistics altında truncated ve token_count alanları bulunur.