Yapay zeka denince akla genelde dev veri merkezleri ve pahalı ekran kartları geliyor. Ama işin bir de küçük tarafı var: açık kaynak modeller sayesinde bir yapay zeka modelini kendi sunucunuzda, hatta bir sanal sunucuda çalıştırmak artık mümkün. Peki yapay zeka sanal sunucuda nasıl çalışır, hangi model hangi sunucuya sığar ve gerçekten mantıklı mı? Bu yazıda hepsini sade bir dille, tablolarla anlattık.
Önce Temel: Bir Yapay Zeka Modeli Çalışırken Ne Oluyor?
ChatGPT gibi sohbet eden yapay zekalar aslında büyük dil modelleri (LLM). Bir model, milyarlarca sayıdan (parametre) oluşan büyük bir dosya. Siz bir soru sorduğunuzda model bu sayılarla hesap yaparak cevabı kelime kelime (token token) üretiyor. Buna çıkarım (inference) deniyor.
Modeli eğitmek (training) gerçekten devasa donanım ister, ama hazır eğitilmiş bir modeli sadece çalıştırmak çok daha mütevazı bir iş. Sanal sunucuda yapacağımız şey de bu: hazır bir açık kaynak modeli indirip çalıştırmak.
Çalıştırırken iki kaynak belirleyici oluyor:
- Bellek (RAM veya ekran kartı belleği): Modelin tamamı belleğe sığmalı. Sığmazsa ya hiç çalışmaz yada çok yavaşlar.
- İşlem gücü (CPU veya GPU): Cevabın ne kadar hızlı üretileceğini belirler.
Model Boyutuna Göre RAM İhtiyacı
İyi haber şu: modeller genelde quantization (sıkıştırma) ile küçültülerek kullanılıyor. 4-bit (Q4) sıkıştırılmış bir model, orijinaline göre kabaca 4 kat daha az yer kaplıyor ve kalitesi çoğu iş için yeterli kalıyor. Aşağıdaki değerler 4-bit sıkıştırılmış modeller için yaklaşık değerler:
| Model boyutu | Yaklaşık RAM ihtiyacı (Q4) | Ne için uygun? |
|---|---|---|
| 1–3 milyar parametre (1B–3B) | ~1–3 GB | Basit sohbet, sınıflandırma, özetleme, metin düzeltme |
| 7–8B | ~5–6 GB | Genel amaçlı asistan, müşteri destek botu, RAG |
| 13–14B | ~9–10 GB | Daha tutarlı cevaplar, kod yardımı |
| 30–34B | ~20–22 GB | Daha karmaşık görevler |
| 70B | ~40–45 GB | Büyük modellere yakın kalite |
Modelin kendisine ek olarak işletim sistemi, uygulamanız ve sohbet geçmişi (context) için de birkaç GB pay bırakmak lazım.
CPU mu, GPU mu?
En çok sorulan soru bu. Kısa cevap: GPU çok daha hızlı, ama küçük modeller CPU'da da çalışıyor.
| CPU (standart sanal sunucu) | GPU sunucu | |
|---|---|---|
| Hız (7–8B model) | Saniyede birkaç kelime (~3–10 token/sn) | Saniyede onlarca–yüzlerce token |
| Uygun model boyutu | 1B–14B (sıkıştırılmış) | Büyük modeller dahil hepsi |
| Aynı anda çok kullanıcı | Zayıf | İyi |
| Maliyet | Düşük, aylık birkaç dolardan | Yüksek |
| Kimler için? | Deneme, iç araçlar, düşük trafikli botlar, embedding | Canlı ürün, yüksek trafik, büyük modeller |
Rakamlar işlemciye, modele ve ayarlara göre değişiyor; ama genel tablo bu. Tek kişinin kullandığı bir iç asistan için CPU yeterli olabilir, binlerce kullanıcıya hizmet verecek bir ürün için GPU şart.
Sanal Sunucuda Yapay Zeka ile Neler Yapılabilir?
- Şirket içi asistan: Verileriniz dışarı çıkmadan çalışan bir sohbet asistanı.
- RAG (dokümanlarla soru-cevap): Şirket dokümanlarınızı yükleyip onlara göre cevap veren bir bot.
- Embedding ve arama: Metinleri vektöre çevirip anlam bazlı arama yapmak. Bu iş küçük modellerle CPU'da bile hızlı çalışır.
- Otomasyon: E-postaları sınıflandırmak, destek taleplerini önceliklendirmek, metin özetlemek gibi arka plan işleri.
- Geliştirme ve test: Uygulamanızı canlıya almadan önce yapay zeka entegrasyonunu denemek.
Adım Adım: Ollama ile Sanal Sunucuda Yapay Zeka Kurulumu
Bir modeli sunucuda çalıştırmanın en kolay yolu Ollama. Model indirme, çalıştırma ve API sunma işlerini tek bir araçla hallediyor. Linux bir sanal sunucuda kurulum şöyle:
# 1) Ollama'yı kurun
curl -fsSL https://ollama.com/install.sh | sh
# 2) Küçük bir modeli indirip çalıştırın
ollama run llama3.2:3b
# 3) Kurulu modelleri görün
ollama listOllama arka planda bir API de açıyor, böylece kendi uygulamanızdan modele istek atabiliyorsunuz:
curl http://localhost:11434/api/generate -d '{
"model": "llama3.2:3b",
"prompt": "Sanal sunucu nedir? Tek cümleyle anlat.",
"stream": false
}'Docker ile çalışmayı seviyorsanız Ollama'nın resmi Docker imajı da var; Open WebUI gibi bir arayüzü de yanına koyarak tarayıcıdan ChatGPT benzeri bir ekran elde edebilirsiniz. Docker kurulu teslim edilen Developer VDS bu iş için hızlı bir başlangıç noktası.
Hangi VECDC Paketi Hangi Model İçin?
VECDC sanal sunucuları GPU'suz, CPU tabanlı. Aşağıdaki eşleştirme 4-bit sıkıştırılmış modeller ve tek kullanıcı/düşük trafik için kabaca bir rehber:
| Paket | Kaynak | Rahat çalışan modeller | Önerilen kullanım |
|---|---|---|---|
| VPS-1 | 2 Core, 8 GB RAM | 1B–3B | Embedding, sınıflandırma, deneme |
| VPS-2 / VPS-3 | 4 Core, 12–16 GB RAM | 3B–8B | İç asistan, basit RAG, otomasyon |
| VPS-4 | 6 Core, 24 GB RAM | 7B–14B | Daha kaliteli cevaplar, küçük ekip kullanımı |
| VPS-5 | 8 Core, 32 GB RAM | 7B–14B (rahat), daha büyükleri yavaş | Birden fazla model, RAG + embedding birlikte |
Paketlerin hepsinde NVMe disk var; bu da model dosyalarının (birkaç GB) diskten belleğe hızlı yüklenmesini sağlıyor. NVMe'nin neden önemli olduğunu merak ediyorsanız NVMe disk nedir yazımıza bakabilirsiniz. Sanal sunucu paketlerimiz aylık $6'dan başlıyor ve otomatik kurulumla yaklaşık 5 dakikada hazır.
API mi Kullanmalı, Kendi Sunucunuzda mı Çalıştırmalı?
Hazır yapay zeka API'leri (büyük sağlayıcıların sunduğu servisler) ile kendi sunucunuzda model çalıştırmak arasında net farklar var:
| Hazır yapay zeka API'si | Kendi sunucunuzda model | |
|---|---|---|
| Kurulum | Yok, anahtar alıp başlarsınız | Sunucu ve model kurulumu gerekir |
| Model kalitesi | En güçlü modellere erişim | Açık kaynak modellerle sınırlı |
| Maliyet | Kullandıkça öde (token başına) | Sabit aylık sunucu ücreti |
| Veri gizliliği | Veri sağlayıcıya gider | Veri sunucunuzdan çıkmaz |
| Hız | Genelde hızlı | Donanıma bağlı (CPU'da yavaş) |
| Kimler için? | En iyi kaliteyi isteyen, değişken kullanım | Gizlilik önemli, sabit ve tahmin edilebilir kullanım |
Çoğu zaman en iyi çözüm ikisinin karışımı oluyor: hassas veya yüksek hacimli basit işler kendi sunucunuzda, karmaşık işler API ile.
Performans İçin Birkaç İpucu
- Doğru boyutu seçin: İşiniz için yeterli olan en küçük modeli kullanın. 3B bir model birçok sınıflandırma işini 70B kadar iyi yapar.
- Sıkıştırılmış model kullanın: Q4 veya Q5 modeller kalite/hız dengesi için iyi bir başlangıç.
- Bağlam uzunluğunu abartmayın: Çok uzun context hem RAM'i hem hızı olumsuz etkiler.
- Swap'a düşmeyin: Model RAM'e sığmayıp diske taşarsa hız dramatik şekilde düşer; RAM'i ona göre seçin.
Sık Sorulan Sorular
Yapay zeka modeli GPU olmadan çalışır mı?
Evet. 1B–14B arası sıkıştırılmış (ör. 4-bit) açık kaynak modeller CPU'lu sunucularda çalışır. Hız GPU'ya göre düşüktür ama tek kullanıcılı asistanlar, embedding, sınıflandırma ve otomasyon işleri için yeterlidir.
Bir yapay zeka modeli için ne kadar RAM gerekir?
4-bit sıkıştırılmış modellerde kabaca: 1–3B için 1–3 GB, 7–8B için 5–6 GB, 13–14B için 9–10 GB, 70B için 40 GB civarı. İşletim sistemi ve uygulamanız için birkaç GB ek pay bırakmak gerekir.
Ollama nedir?
Ollama, açık kaynak yapay zeka modellerini tek komutla indirip çalıştırmanızı sağlayan ücretsiz bir araçtır. Modeli kendi uygulamanızdan kullanabilmeniz için yerel bir API de sunar.
Kendi sunucumda yapay zeka çalıştırmak verilerimi korur mu?
Model kendi sunucunuzda çalıştığında sorduğunuz sorular ve dokümanlarınız üçüncü bir sağlayıcıya gönderilmez. Yine de sunucunun ve API portunun güvenli şekilde yapılandırılması gerekir.
Kısacası
Yapay zeka modelleri sanal sunucuda da çalışıyor; işin sırrı model boyutunu sunucunun RAM'ine ve beklentinize göre seçmek. Küçük ve orta boy açık kaynak modeller CPU'lu bir sanal sunucuda iç asistan, RAG ve otomasyon gibi işler için gayet yeterli. Büyük modeller ve yüksek trafik için GPU gerekiyor. Projeniz için hangisinin uygun olduğunu konuşmak isterseniz, AI servisimize göz atın ya da bize yazın, birlikte bakalım.