Ekran Kartı (GPU) Nedir, Yapay Zeka Neden GPU İster?

Bilgisayarda iki tür işlemci düşün. CPU az sayıda ama çok güçlü çekirdekle her türlü işi sırayla ve esnek biçimde yapar. GPU ise binlerce küçük çekirdekle aynı basit işlemi aynı anda çok sayıda veri üzerinde yapar.

Neden önce oyunlar için yapıldı

Ekrandaki bir görüntü milyonlarca pikselden oluşur ve her pikselin rengi saniyede onlarca kez hesaplanır. Bu hesapların her biri basittir ama sayıları çok fazladır. GPU tam olarak bu iş için tasarlandı: aynı hesabı çok sayıda piksel üzerinde paralel yapmak.

Yapay zeka neden GPU ister

Bir yapay zeka modeli içeride devasa sayı tablolarının (matrislerin) çarpımıyla çalışır. Bir dil modelinin tek bir cevap üretmesi milyarlarca çarpma ve toplama demektir. Bu işlem pikselleri hesaplamaya çok benzer: basit, tekrar eden ve paralel yapılabilen hesap. GPU bu yüzden CPU'ya göre bu işte onlarca, bazen yüzlerce kat hızlıdır.

VRAM: ekran kartının kendi belleği

• GPU'nun üzerinde kendine ait hızlı bir bellek bulunur: VRAM.
• Bir yapay zeka modelini GPU'da çalıştırmak için modelin büyük kısmının VRAM'e sığması gerekir.
• Bu yüzden yerel yapay zeka için çoğu zaman GPU'nun hızından çok VRAM miktarı belirleyicidir.

Bilgisayar alırken

• Ofis işleri ve internet için ayrı ekran kartı gerekmez. İşlemcinin içindeki tümleşik grafik yeterlidir.
• Oyun, video kurgu ve 3D için ayrı ekran kartı fark yaratır.
• Bilgisayarında yapay zeka modeli çalıştırmak istiyorsan VRAM'i yüksek bir kart seç.

CPU bir orkestra şefidir, GPU ise aynı notayı aynı anda çalan binlerce müzisyen.

İlgili makaleler: İşlemci (CPU) Nasıl Çalışır? · RAM Nedir? · Büyük Dil Modelleri (LLM) Nedir?