Büyük Dil Modelleri (LLM) Nedir?

Büyük dil modeli (İngilizce Large Language Model, kısaca LLM), çok büyük miktarda metinle eğitilmiş ve insan diline benzer metinler üretebilen bir yapay zeka türüdür.

Temel fikir: sonraki kelimeyi tahmin et

Bir LLM, aslında sürekli tek bir şey yapar: verilen metnin ardından en olası sonraki kelimeyi tahmin eder. "Bugün hava çok..." dendiğinde "güzel", "sıcak" gibi kelimeleri olasılıklarına göre sıralar. Bu basit işlem milyarlarca kez tekrarlandığında akıcı paragraflar ortaya çıkar.

Transformer mimarisi

Modern LLM'lerin çoğu Transformer adlı bir yapıya dayanır. Transformer'ın kalbindeki dikkat (attention) mekanizması, modelin bir cümledeki kelimelerin birbiriyle ilişkisini yakalamasını sağlar — böylece uzun metinlerde bağlamı koruyabilir.

Ne yapabilir, ne yapamaz?

• Yapabilir: özetleme, çeviri, kod yazma, soru cevaplama, fikir üretme.
• Dikkat: LLM'ler bazen kendinden emin ama yanlış bilgi üretebilir (buna "halüsinasyon" denir). Önemli konularda çıktıları doğrulamak gerekir.

Neden "büyük"?

Bu modeller milyarlarca parametre (öğrenilen ağırlık) içerir ve eğitimleri büyük hesaplama gücü ister. Parametre sayısı arttıkça modelin yetenekleri genelde artar — ama verinin kalitesi de en az boyut kadar önemlidir.