📐 Matematiksel Formül ve Hesaplama Mantığı
VRAM_{total} = (P \times B_{quant}) + (2 \times L \times H \times C \times B_{batch} \times 2\text{ bytes}) + \text{CUDA}_{overhead} 🔬 Mühendislik Metodolojisi ve Sektör Kıyaslaması
Büyük Dil Modellerini (LLM) yerel iş istasyonlarında veya bulut GPU sunucularında çalıştırırken bellek ihtiyacı üç katmandan oluşur: statik model ağırlıkları, bağlam uzunluğuyla büyüyen dinamik Key-Value (KV) önbelleği ve CUDA çalışma zamanı tamponu.
Sadece parametre sayısını bit değeriyle çarpmak (örneğin 70B × 0.56 byte = 39 GB), 16K–32K token bağlam penceresinde ve çoklu kullanıcı yükünde Out-Of-Memory (OOM) çökmelerine yol açar.
PIS7 mühendislik formülü; vLLM, llama.cpp ve ExLlamaV2 motorlarının gerçek dünyadaki KV-Cache büyümesini ve CUDA çekirdek yükünü milimetrik olarak hesaba katar.
🛠️ Adım Adım Hesaplama ve Simülasyon Rehberi
- Model Parametre Sayısı (Milyar / B): "Model Parametre Sayısı (Milyar / B)" parametresini girin (varsayılan referans değer: 70).
- Kuantalama Hassasiyeti (Ağırlık Başına Bit): "Kuantalama Hassasiyeti (Ağırlık Başına Bit)" parametresini girin (varsayılan referans değer: 4.5).
- Bağlam Penceresi Uzunluğu (Context Tokens): "Bağlam Penceresi Uzunluğu (Context Tokens)" parametresini girin (varsayılan referans değer: 16384).
- Eşzamanlı İstek Sayısı (Batch Size): "Eşzamanlı İstek Sayısı (Batch Size)" parametresini girin (varsayılan referans değer: 4).