AION On-Premise PGX.Öffnen Sie die Maschine.
Der KI-Computer in Buchgröße, auf dem AION On-Premise läuft. Scrollen Sie: Wir drehen ihn um, nehmen den Deckel ab und gehen bis zum Chip.
Auf der Rückseite nur das Nötigste.
Unter dem Deckel: ein einziger Chip.
Keine zusätzlichen Grafikkarten, keine separaten RAM-Module: CPU, GPU und Speicher sitzen rund um einen einzigen Superchip, den GB10.
NVIDIA GB10 Grace Blackwell.
150 × 150 × 50,5 mm · 1,2 kg · 240 W
Ein einziger Speicher, ganz für das Modell.
In einem herkömmlichen PC arbeitet die GPU nur mit ihrem eigenen VRAM, und die Daten kommen aus dem RAM über den PCIe-Bus. Im GB10 teilen sich CPU und GPU dieselben 128 GB.
Zwei getrennte Speicher: Das Modell muss in den VRAM der GPU passen, und jeder Transfer aus dem RAM ist eine Kopie über PCIe.
- Unified Memory
- 128 GB LPDDR5x
- Schnittstelle
- 256 Bit
- Bandbreite
- 273 GB/s
- Modelle auf einer Einheit
- bis zu 200 Mrd. Parameter
Modellkapazität laut NVIDIA; zwei verbundene Einheiten erreichen 405 Milliarden Parameter.
Ein Modell mit 125 Milliarden Parametern, auf einem Drittel des Platzes.
AION-Modelle sind quantisiert: Jedes Gewicht wird von 16 auf 4 Bit reduziert. Das Modell belegt etwa 30% des ursprünglichen Platzes und lässt Speicher frei für lange Kontexte und für mehrere Modelle gleichzeitig.
Originalgewichte · 16 Bit pro Parameter
FP16 · 100%AION · ~30%
- Kompression
- 69–70%
- Qualitätsverlust
- 1–3%
- Erhaltene Qualität
- 97–99%
Beispielmodell mit 125 Milliarden Parametern
Jedes Quadrat entspricht 1 GB Speicher.
FP16 · 16 Bit
250GB
125 Milliarden × 2 Byte (16 Bit)
AION · 4 Bit
≈ 75GB
125 Milliarden × ~0,6 Byte (4 Bit + Skalierung)
Passt nicht in den Speicher. Es fehlen 122 GB: Das Originalmodell kann auf der Maschine nicht laufen.
Über 30 Open-Source-Modelle, startbereit.
AION Hub ist der Katalog, der auf Ihrer Maschine lebt: Er lädt die von AION optimierten Modelle herunter, startet und stoppt sie auf der GPU. Wir gehen von den großen Open-Source-Anbietern aus und bereiten ihre Modelle für eine DGX Spark vor.
- Keine Nutzungsgrenzen
- Nutzen Sie die Modelle, so oft Sie möchten: Die Nutzung ist nicht begrenzt.
- Immer aktuell
- Mit der AION On-Premise-Lizenz bleiben die Katalogmodelle stets auf dem neuesten Stand.
Wie ein Katalogmodell entsteht
Open-Source-Basis
Wir starten bei den Modellen der großen Anbieter: offen und überprüfbar.
- Qwen
- GLM
- Kimi
- Mistral
AION-Quantisierung
Die Gewichte sinken auf 4 Bit: Große Modelle passen in 128 GB.
Fine-Tuning
Wo es nötig ist, passen wir sie an Aufgaben und Fachgebiet an.
Optimierte Engines
Die Inferenz läuft auf Engines, die AION für den GB10 abgestimmt hat.
AION Hub
Demonstrationsbeispiel
- Gestoppt
Sprachmodell
Denkt und antwortet
- Gestoppt
Embeddings
Sucht nach Bedeutung
- Gestoppt
Reranker
Ordnet die Ergebnisse
- Gestoppt
OCR
Liest Scans und Bilder
OpenAI-kompatibles Gateway
Kein Dienst aktiv
Illustratives Beispiel: Der belegte Platz hängt von den gewählten Modellen ab. Modelle werden per VPN aktualisiert oder, wenn die Maschine vom Netz getrennt ist, per USB-Stick.
Über 120 Token pro Sekunde. Lokal.
Die Antwort wird auf der Maschine erzeugt, in Ihren Büros. Keine Aufrufe externer Dienste, keine Daten verlassen das Haus.
Richtwert für die Geschwindigkeit mit quantisierten AION-Modellen auf einer einzelnen Einheit; variiert je nach Modell und Kontextlänge.
Analysiere den Liefervertrag und identifiziere die Risikoklauseln.
Ich habe den Liefervertrag analysiert (42 Seiten). Identifizierte Risikoklauseln: 1. Art. 7.2 — Verzugsstrafen ohne Obergrenze: potenziell unbegrenztes Risiko. 2. Art. 11 — Stillschweigende Verlängerung um 36 Monate bei nur 30 Tagen Kündigungsfrist. 3. Art. 14.4 — Ausländischer Gerichtsstand: hohe Rechtskosten im Streitfall. 4. Art. 18 — Nicht aufgeführte Unterauftragnehmer verarbeiten personenbezogene Daten: DSGVO-Prüfung erforderlich. Empfehlung: eine Obergrenze für Vertragsstrafen von 10% des Jahreswerts aushandeln und die Verlängerung auf 12 Monate verkürzen. Verarbeitung lokal abgeschlossen: Keine Daten haben den Unternehmensbereich verlassen.
- Token
- 0
- Geschwindigkeit
- —
- Zeit
- —
- Ausgehende Daten
- 0 byte
Von einer bis zu vier Einheiten.
Wenn mehr Nutzer oder größere Modelle gefragt sind, werden Einheiten hinzugefügt, die mit hoher Geschwindigkeit verbunden sind. Der Speicher addiert sich.
Gesamtspeicher
128 GB
Eine einzelne Maschine, auf dem Schreibtisch oder im Rack: der Startpunkt für eine Abteilung.
- Verbindung
- Keine: Einzeleinheit
- Dimensionierung
- Stufe 1 · etwa 10 aktive Nutzer, bis zu 8 gleichzeitige Anfragen
- Modelle
- Bis zu 200 Milliarden Parameter (NVIDIA-Angabe)
Die genannten Nutzerzahlen sind Schätzwerte zur Dimensionierung: Die tatsächliche Zahl hängt von Modellen, Kontexten und Nutzung ab.
Datenblatt.
Die Daten der Referenzeinheit, Lenovo ThinkStation PGX.
Quellen: NVIDIA und Lenovo PSREF. Die verfügbaren Konfigurationen können abweichen.
Superchip NVIDIA GB10
- CPU
- Grace, 20 Arm-Kerne (10 × Cortex-X925, 10 × Cortex-A725)
- GPU
- Blackwell, 6.144 CUDA-Kerne, Tensor Cores der 5. Gen., RT Cores der 4. Gen.
- KI-Leistung
- Bis zu 1 PFLOP FP4 (mit Sparsity)
- Verbindung
- NVLink-C2C, 900 GB/s bidirektional
Speicher und Datenspeicherung
- Speicher
- 128 GB LPDDR5x unified, 256 Bit, 273 GB/s
- Datenspeicher
- M.2-NVMe-SSD mit 1 TB oder 4 TB, selbstverschlüsselnd
Konnektivität
- Cluster
- 2 × QSFP, NVIDIA ConnectX-7 mit 200 Gb/s
- Netzwerk
- Ethernet 10 GbE (RJ-45)
- USB
- 4 × USB-C (3 mit 20 Gb/s, 1 für die Stromversorgung)
- Video
- HDMI 2.1a
- Drahtlos
- Wi-Fi 7, Bluetooth 5.3
Einheit
- Abmessungen
- 150 × 150 × 50,5 mm
- Gewicht
- 1,2 kg
- Stromversorgung
- 240 W, USB-C PD 3.1
Software
- Betriebssystem
- NVIDIA DGX OS
- Stack
- NVIDIA AI Software Stack, CUDA 13
- Mit AION
- AION On-Premise und quantisierte AION-Modelle, von uns installiert
Sprechen wir über Ihre Maschine.
Wir zeigen Ihnen AION auf DGX Spark an einem realen Fall und dimensionieren gemeinsam, wie viele Einheiten Sie brauchen.
- [email protected]
- Standort
- Corso Vercelli 89, 28100 Novara