📐 Mathematische Formel & Herleitung
VRAM_{total} = (P \times B_{quant}) + (2 \times L \times H \times C \times B_{batch} \times 2\text{ bytes}) + \text{CUDA}_{overhead} 🔬 Methodik, Richtwerte & Fachanalyse
Bei der Bereitstellung großer Sprachmodelle (LLMs) setzt sich der VRAM-Bedarf aus drei Komponenten zusammen: den statischen Modellgewichten, dem dynamischen Key-Value (KV) Cache für das Kontextfenster sowie dem CUDA-Aktivierungspuffer.
In der Praxis führt eine reine Multiplikation der Parameteranzahl oft zu Out-Of-Memory (OOM) Fehlern, sobald längere Kontexte (16k–128k Tokens) oder parallele Nutzeranfragen hinzukommen.
Dieser Rechner berücksichtigt moderne Grouped-Query Attention (GQA) Faktoren sowie einen realistischen CUDA-Laufzeitpuffer für vLLM, llama.cpp und TensorRT-LLM.
🛠️ Schritt-für-Schritt-Anleitung zur Berechnung
- Modell-Parameter (in Milliarden / B): Legen Sie den Parameter „Modell-Parameter (in Milliarden / B)“ fest (Standardwert: 70).
- Quantisierungs-Präzision (Bits pro Gewicht): Legen Sie den Parameter „Quantisierungs-Präzision (Bits pro Gewicht)“ fest (Standardwert: 4.5).
- Kontextfenster-Länge (Tokens): Legen Sie den Parameter „Kontextfenster-Länge (Tokens)“ fest (Standardwert: 16384).
- Gleichzeitige Anfragen (Batch Size): Legen Sie den Parameter „Gleichzeitige Anfragen (Batch Size)“ fest (Standardwert: 4).