AION On-Premise PGX.Apri la macchina.
Il computer AI grande quanto un libro su cui gira AION On-Premise. Scorri: lo giriamo, togliamo il coperchio e arriviamo al chip.
Sul retro, solo quello che serve.
Sotto il coperchio, un solo chip.
Niente schede video aggiuntive né banchi di RAM separati: CPU, GPU e memoria stanno attorno a un unico superchip, il GB10.
NVIDIA GB10 Grace Blackwell.
150 × 150 × 50,5 mm · 1,2 kg · 240 W
Una sola memoria, tutta per il modello.
In un PC tradizionale la GPU lavora solo con la sua VRAM e i dati arrivano dalla RAM attraverso il bus PCIe. Nel GB10 CPU e GPU condividono gli stessi 128 GB.
Due memorie separate: il modello deve stare nella VRAM della GPU e ogni passaggio dalla RAM è una copia via PCIe.
- Memoria unificata
- 128 GB LPDDR5x
- Interfaccia
- 256 bit
- Banda
- 273 GB/s
- Modelli su una unità
- fino a 200 mld di parametri
Capacità di modello indicata da NVIDIA; due unità collegate arrivano a 405 miliardi di parametri.
Un modello da 125 miliardi di parametri, in un terzo dello spazio.
I modelli AION sono quantizzati: ogni peso passa da 16 a 4 bit. Il modello occupa circa il 30% dello spazio originale e lascia memoria libera per contesti lunghi e per più modelli insieme.
Pesi originali · 16 bit per parametro
FP16 · 100%AION · ~30%
- Compressione
- 69–70%
- Perdita di qualità
- 1–3%
- Qualità mantenuta
- 97–99%
Modello di esempio da 125 miliardi di parametri
Ogni quadratino vale 1 GB di memoria.
FP16 · 16 bit
250GB
125 miliardi × 2 byte (16 bit)
AION · 4 bit
≈ 75GB
125 miliardi × ~0,6 byte (4 bit + scale)
Non entra in memoria. Servono 122 GB in più di quelli disponibili: il modello originale non può girare sulla macchina.
Oltre 30 modelli open source, pronti da avviare.
AION Hub è il catalogo che vive sulla tua macchina: scarica, avvia e ferma sulla GPU i modelli che AION ha ottimizzato. Partiamo dai grandi provider open source e li prepariamo per una DGX Spark.
- Nessun limite di utilizzo
- Interroghi i modelli quanto serve: l'uso non ha limiti.
- Sempre aggiornati
- Con la licenza di AION On-Premise i modelli del catalogo restano sempre aggiornati.
Come nasce un modello del catalogo
Base open source
Partiamo dai modelli dei grandi provider, aperti e verificabili.
- Qwen
- GLM
- Kimi
- Mistral
Quantizzazione AION
I pesi scendono a 4 bit: i modelli grandi entrano nei 128 GB.
Fine-tuning
Dove serve, li adattiamo a compiti e dominio.
Motori ottimizzati
L'inferenza gira su motori messi a punto da AION per il GB10.
AION Hub
Esempio dimostrativo
- Fermo
Modello linguistico
Ragiona e risponde
- Fermo
Embeddings
Cerca per significato
- Fermo
Reranker
Ordina i risultati
- Fermo
OCR
Legge scansioni e immagini
Gateway compatibile OpenAI
Nessun servizio attivo
Esempio illustrativo: lo spazio occupato dipende dai modelli scelti. I modelli si aggiornano via VPN o, se la macchina è isolata dalla rete, con una chiavetta.
Oltre 120 token al secondo. In locale.
La risposta si genera sulla macchina, nei tuoi uffici. Nessuna chiamata a servizi esterni, nessun dato in uscita.
Velocità indicativa con modelli AION quantizzati su una singola unità; varia in base al modello e alla lunghezza del contesto.
Analizza il contratto di fornitura e individua le clausole di rischio.
Ho analizzato il contratto di fornitura (42 pagine). Clausole di rischio individuate: 1. Art. 7.2 — Penali per ritardo senza tetto massimo: esposizione potenzialmente illimitata. 2. Art. 11 — Rinnovo tacito di 36 mesi con disdetta entro soli 30 giorni. 3. Art. 14.4 — Foro competente estero: costi legali elevati in caso di contenzioso. 4. Art. 18 — Sub-fornitori non elencati trattano dati personali: verifica GDPR necessaria. Suggerimento: negoziare un tetto alle penali pari al 10% del valore annuo e ridurre il rinnovo a 12 mesi. Elaborazione completata in locale: nessun dato ha lasciato il perimetro aziendale.
- Token
- 0
- Velocità
- —
- Tempo
- —
- Dati in uscita
- 0 byte
Da una a quattro unità.
Quando servono più utenti o modelli più grandi si aggiungono unità, collegate ad alta velocità. La memoria si somma.
Memoria complessiva
128 GB
Una sola macchina, sulla scrivania o in rack: il punto di partenza per un reparto.
- Collegamento
- Nessuno: unità singola
- Dimensionamento
- Livello 1 · circa 10 utenti attivi, fino a 8 richieste contemporanee
- Modelli
- Fino a 200 miliardi di parametri (dato NVIDIA)
Gli utenti indicati sono stime di dimensionamento: il numero reale dipende da modelli, contesti e uso.
Scheda tecnica.
I dati dell'unità di riferimento, Lenovo ThinkStation PGX.
Fonti: NVIDIA e Lenovo PSREF. Le configurazioni disponibili possono variare.
Superchip NVIDIA GB10
- CPU
- Grace, 20 core Arm (10 × Cortex-X925, 10 × Cortex-A725)
- GPU
- Blackwell, 6.144 core CUDA, Tensor Core di 5ª gen., RT Core di 4ª gen.
- Prestazioni AI
- Fino a 1 PFLOP FP4 (con sparsità)
- Interconnessione
- NVLink-C2C, 900 GB/s bidirezionali
Memoria e archiviazione
- Memoria
- 128 GB LPDDR5x unificata, 256 bit, 273 GB/s
- Archiviazione
- SSD NVMe M.2 da 1 TB o 4 TB, autocrittografante
Connettività
- Cluster
- 2 × QSFP, NVIDIA ConnectX-7 a 200 Gb/s
- Rete
- Ethernet 10 GbE (RJ-45)
- USB
- 4 × USB-C (3 a 20 Gb/s, 1 per l'alimentazione)
- Video
- HDMI 2.1a
- Wireless
- Wi-Fi 7, Bluetooth 5.3
Unità
- Dimensioni
- 150 × 150 × 50,5 mm
- Peso
- 1,2 kg
- Alimentazione
- 240 W, USB-C PD 3.1
Software
- Sistema operativo
- NVIDIA DGX OS
- Stack
- NVIDIA AI Software Stack, CUDA 13
- Con AION
- AION On-Premise e modelli AION quantizzati, installati da noi
Parliamo della tua macchina.
Ti mostriamo AION su DGX Spark con un caso reale e dimensioniamo insieme quante unità servono.
- [email protected]
- Sede
- Corso Vercelli 89, 28100 Novara