Yapay Zekâda Token Nedir?

Bir dil modeli metni harf harf ya da kelime kelime değil, token adı verilen parçalar halinde okur ve yazar.

Token neye benzer?

Model, eğitim sırasında sık görülen harf gruplarından bir sözlük çıkarır. Sık kullanılan kısa bir kelime tek token olabilir; uzun ya da nadir bir kelime birkaç parçaya bölünür. Örneğin "bilgisayarlarımızdan" gibi uzun bir kelime birkaç parçaya bölünür; parçaların nerede ayrılacağı modelin sözlüğüne göre değişir. Noktalama işaretleri ve boşluklar da token sayısına girer.

Türkçe gibi eklemeli dillerde aynı anlam, birçok modelde İngilizceye göre çoğu zaman daha fazla token tutar; bu, aynı metnin işlenmesinin biraz daha pahalı olabileceği anlamına gelir.

Bağlam penceresi

Her modelin bir seferde dikkate alabileceği en fazla token sayısı vardır; buna bağlam penceresi denir. Sohbetin geçmişi, verdiğin belgeler ve modelin cevabı bu sınırın içine sığmalıdır. Sınır aşılırsa eski kısımlar kırpılır ya da özetlenir; model sohbetin başında söyleneni "unutmuş" gibi görünebilir.

Ücretlendirme

Pek çok yapay zeka hizmeti kullanımı token üzerinden hesaplar: modele gönderilen (girdi) ve modelin ürettiği (çıktı) token'lar ayrı ayrı sayılır. Uzun belgeler göndermek ya da çok uzun cevap istemek maliyeti artırır.

Pratik ipuçları

• Gereksiz uzun metinleri modele göndermeden önce kısalt.
• Uzun sohbetlerde önemli kararları ara ara özetle.
• Aynı belgeyi tekrar tekrar yapıştırmak yerine ilgili bölümü ver.

Özet

• Token, modelin metni böldüğü küçük parçalardır.
• Bağlam penceresi bir seferde işlenebilecek token sınırıdır.
• Kullanım ücreti çoğu zaman token sayısına göre hesaplanır.