Yapay zeka konuşulan her yerde aynı cümleyi duyuyoruz: "Bunun için güçlü bir ekran kartı lazım." Peki gerçekten öyle mi? Yapay zeka için ekran kartı gerekli mi, yoksa normal bir işlemci (CPU) ile de iş görülür mü? Kısa cevap: yaptığınız işe göre değişir. Bu yazıda hangi işlerde GPU'nun şart olduğunu, hangilerinde gereksiz bir masraf olduğunu tablolarla anlattık.
Kısa Cevap
- Sıfırdan model eğitmek istiyorsanız: Evet, GPU şart. Hem de genelde birden fazla.
- Büyük bir dil modelini (ör. 70 milyar parametre) hızlı çalıştırmak istiyorsanız: GPU şiddetle önerilir.
- Küçük ve orta boy modelleri düşük trafikle çalıştırmak, embedding üretmek, metin sınıflandırmak istiyorsanız: CPU çoğu zaman yeterli.
- Hazır yapay zeka servislerini (ChatGPT benzeri API'ler) kullanıyorsanız: Hiç GPU'ya ihtiyacınız yok, hesaplama sağlayıcının sunucularında yapılıyor.
GPU Neden Yapay Zekada Bu Kadar İyi?
Yapay zeka modellerinin yaptığı işin büyük kısmı aslında devasa matris çarpımları. Milyarlarca sayıyı aynı anda çarpıp toplamak gerekiyor. İşlemci (CPU) az sayıda ama çok güçlü çekirdekle her türlü işi yapmak için tasarlanmış. Ekran kartı (GPU) ise binlerce küçük çekirdekle aynı basit işlemi aynı anda binlerce kez yapmak için tasarlanmış. Yapay zekanın ihtiyacı tam olarak bu.
İkinci ve belki daha önemli sebep bellek bant genişliği. Bir dil modeli her kelimeyi üretirken modelin neredeyse tamamını bellekten okuyor. GPU'nun kendi belleği (VRAM) sistem RAM'ine göre çok daha hızlı olduğu için cevaplar da çok daha hızlı geliyor.
| CPU (işlemci) | GPU (ekran kartı) | |
|---|---|---|
| Çekirdek sayısı | Az ama güçlü (masaüstünde 8–24, sunucuda 128'e kadar) | Binlerce küçük çekirdek |
| Paralel işlem | Sınırlı | Çok yüksek |
| Bellek bant genişliği | ~50–100 GB/s (masaüstü), sunucuda birkaç yüz GB/s | ~1–3 TB/s ve üzeri |
| Bellek miktarı | Bol ve ucuz (yüzlerce GB RAM mümkün) | Sınırlı ve pahalı (VRAM) |
| Güçlü olduğu iş | Genel amaçlı her iş, sıralı mantık | Matris işlemleri, grafik, yapay zeka |
İş Türüne Göre Ekran Kartı Gerekli mi?
Asıl soru "yapay zeka" değil, "yapay zeka ile ne yapacağım?" sorusu. Aşağıdaki tablo en yaygın işleri özetliyor:
| İş | GPU gerekli mi? | Not |
|---|---|---|
| Sıfırdan model eğitimi | Evet, şart | Büyük modeller için çok sayıda veri merkezi GPU'su gerekir |
| Fine-tuning / LoRA (modeli kendi verinle uyarlamak) | Evet | LoRA ile tek bir güçlü GPU çoğu zaman yeterli |
| Büyük dil modeli çalıştırma (30B–70B+) | Şiddetle önerilir | CPU'da çalışır ama çok yavaştır |
| Küçük–orta dil modeli çalıştırma (1B–8B) | Gerekmez | Sıkıştırılmış modeller CPU'da kullanılabilir hızda çalışır |
| Embedding ve anlam bazlı arama | Gerekmez | Küçük modeller CPU'da hızlıdır |
| Görüntü üretimi (Stable Diffusion vb.) | Önerilir | CPU'da bir görsel dakikalar sürebilir |
| Konuşmayı yazıya çevirme (Whisper vb.) | Duruma göre | Küçük modeller CPU'da yeterli, gerçek zamanlı ve büyük modellerde GPU iyi olur |
| Klasik makine öğrenmesi (sınıflandırma, tahmin) | Genelde gerekmez | Çoğu klasik algoritma CPU'da rahat çalışır |
| Hazır yapay zeka API'si kullanmak | Hayır | Hesaplama sağlayıcıda yapılır |
VRAM Neden Bu Kadar Önemli?
GPU ile çalışacaksanız en önemli özellik çoğu zaman çekirdek sayısı değil, VRAM miktarı. Çünkü modelin tamamı ekran kartının belleğine sığmalı. Sığmazsa model ya hiç çalışmaz yada bir kısmı sistem RAM'ine taşınır ve hız ciddi şekilde düşer. Yani 10 GB'lık bir model, 8 GB VRAM'li hızlı bir karttan çok 16 GB VRAM'li orta seviye bir kartta daha iyi çalışır.
Model boyutuna göre yaklaşık VRAM ihtiyacı (bağlam ve ek yük hariç):
| Model boyutu | 4-bit sıkıştırılmış (Q4) | Tam hassasiyet (FP16) |
|---|---|---|
| 1–3B | ~1–2 GB | ~2–6 GB |
| 7–8B | ~5 GB | ~14–16 GB |
| 13–14B | ~9 GB | ~26–28 GB |
| 30–34B | ~20 GB | ~60–68 GB |
| 70B | ~40 GB | ~140 GB |
Tablodan da görüldüğü gibi sıkıştırma (quantization) işin rengini değiştiriyor. Tam hassasiyette birden fazla veri merkezi GPU'su isteyen bir model, sıkıştırılınca tek bir karta sığabiliyor. Sıkıştırmanın kaliteye etkisi çoğu iş için hissedilmeyecek kadar az.
Tüketici Ekran Kartı mı, Veri Merkezi GPU'su mu?
Oyun bilgisayarlarındaki ekran kartları ile veri merkezlerinde kullanılan GPU'lar aynı mantıkla çalışıyor ama farklı ihtiyaçlar için üretiliyor:
| Tüketici (oyun) ekran kartı | Veri merkezi GPU'su | |
|---|---|---|
| VRAM | ~8–32 GB | ~40–80 GB ve üzeri |
| Hata düzeltmeli bellek (ECC) | Genelde yok | Var |
| 7/24 çalışma | Uzun süreli tam yük için tasarlanmamış | Sürekli çalışmak için tasarlanmış |
| Çoklu GPU bağlantısı | Sınırlı | Yüksek hızlı GPU-GPU bağlantısı |
| Fiyat | Görece uygun | Çok yüksek |
| Kimler için? | Deneme, geliştirme, küçük modeller | Eğitim, büyük modeller, yüksek trafikli ürünler |
Ekran Kartı Olmadan Yapay Zeka Kullanmanın Yolları
- Hazır API'ler: En güçlü modelleri GPU'ya hiç dokunmadan kullanmanın en kolay yolu. Kullandıkça ödersiniz.
- CPU'da küçük modeller: 1B–8B arası sıkıştırılmış modeller normal bir sanal sunucuda iç asistan, özetleme, sınıflandırma gibi işler için yeterli. Nasıl yapıldığını yapay zeka sanal sunucuda nasıl çalışır yazımızda adım adım anlattık.
- Embedding ve arama: Doküman arama, benzer içerik bulma gibi işler küçük modellerle CPU'da hızlıca yapılabilir.
- Karma kullanım: Basit ve yüksek hacimli işleri kendi sunucunuzda, karmaşık olanları API ile yapmak çoğu zaman en ekonomik çözüm.
CPU'da küçük modelleri denemek için VECDC sanal sunucu paketleri iyi bir başlangıç: NVMe disk, adanmış CPU ve 32 GB'a kadar RAM, aylık $6'dan başlayan fiyatlarla yaklaşık 5 dakikada hazır.
Ne Zaman Ekran Kartına Geçmeli?
CPU ile başladıysanız şu işaretler GPU zamanının geldiğini gösterir:
- Cevaplar kullanıcılarınızın bekleyemeyeceği kadar yavaş geliyorsa,
- Aynı anda çok sayıda kullanıcıya hizmet vermeniz gerekiyorsa,
- İşiniz için daha büyük (30B ve üzeri) bir model gerekiyorsa,
- Modeli kendi verinizle eğitmek ya da fine-tune etmek istiyorsanız,
- Görüntü üretimi gibi yoğun hesaplama isteyen işler yapıyorsanız.
GPU'lu bir altyapı kuracaksanız hangi kartın, ne kadar VRAM'in ve nasıl bir sunucunun gerektiği bütçeyi doğrudan etkiler. Bu konuda donanım danışmanlığı ekibimiz, yapay zeka projeleriniz için de AI servisimiz yardımcı olabilir.
Sık Sorulan Sorular
Yapay zeka CPU'da çalışır mı?
Evet. Özellikle 1B–8B arası sıkıştırılmış dil modelleri, embedding modelleri ve klasik makine öğrenmesi algoritmaları CPU'da çalışır. Hız GPU'ya göre düşüktür ama düşük trafikli ve tek kullanıcılı işler için yeterlidir.
ChatGPT gibi araçları kullanmak için ekran kartı gerekir mi?
Hayır. ChatGPT gibi hazır yapay zeka servisleri hesaplamayı kendi sunucularında yapar; sizin cihazınızda ekran kartı olması gerekmez. Ekran kartı sadece modeli kendi bilgisayarınızda veya sunucunuzda çalıştırmak istediğinizde önemlidir.
Yapay zeka için kaç GB VRAM gerekir?
Çalıştıracağınız modelin boyutuna bağlıdır. 4-bit sıkıştırılmış modellerde kabaca 7–8B için ~5 GB, 13–14B için ~9 GB, 70B için ~40 GB VRAM gerekir. Bağlam uzunluğu ve ek yük için biraz daha pay bırakmak gerekir.
Entegre (dahili) ekran kartı yapay zeka için yeterli mi?
Çoğu entegre ekran kartı yapay zeka için ciddi bir hız avantajı sağlamaz; bu durumda modeller pratikte CPU ile çalışır. Paylaşımlı yüksek bant genişlikli belleğe sahip bazı yeni nesil işlemciler ise küçük ve orta modelleri oldukça iyi çalıştırabilir.
Kısacası
Yapay zeka için ekran kartı her zaman şart değil. Model eğitmek, büyük modelleri hızlı çalıştırmak ve görüntü üretmek için GPU gerekiyor; küçük modelleri çalıştırmak, embedding üretmek ve hazır API'leri kullanmak için ise normal bir işlemci yeterli oluyor. Pahalı bir ekran kartına yatırım yapmadan önce gerçekten ne yapacağınızı netleştirmek, bütçenin büyük kısmını kurtarır. Kararsız kaldığınız birşey olursa bize yazın, birlikte bakalım.