Pour chaque requête, le bon choix.

AION Router place vos PGX (NVIDIA DGX Spark) et, si vous le souhaitez, un fournisseur externe derrière un endpoint unique compatible OpenAI. Pour chaque requête, il décide sur quel PGX la traiter, avec quel modèle et ce qui peut sortir de l'entreprise.

Retour à AION On-Premise
01

Plusieurs PGX, une seule adresse.

Vos applications appellent un seul endpoint. Le Router contrôle la charge de chaque PGX, l'ordinateur NVIDIA DGX Spark sur lequel tourne AION On-Premise, et envoie la requête au plus libre. Si vous en ajoutez un autre, il se met aussitôt au travail, sans modifier les applications.

Exemple illustratif

02

Toute question ne demande pas le grand modèle.

Avant de décider, le Router évalue la difficulté de la requête en croisant trois signaux : des règles rapides, la similarité avec des requêtes déjà vues et un petit modèle qui sert d'arbitre. Il choisit ensuite le modèle le plus léger capable de bien répondre.

Traduis cet e-mail en anglais.
Modèle rapide
Compare le contrat avec notre modèle et signale les clauses différentes.
Grand modèle

Pour chaque équipe, vous choisissez ce qui compte le plus : le coût, la qualité, un équilibre entre les deux ou la confidentialité.

03

Avant de sortir, il vous le demande.

Dans l'entreprise, la requête reste telle quelle. Si elle doit partir vers un fournisseur externe, le Router reconnaît les données personnelles, comme les noms et e-mails, les remplace par des marqueurs et affiche dans le chat le texte qui sortirait. C'est à son auteur de choisir : l'envoyer masqué ou le garder en interne.

Agents · chatAION Router

Compare le contrat de Mario Rossi avec notre modèle standard et signale les clauses différentes.

Cette requête peut partir vers le fournisseur externe. Elle sortirait ainsi :

Compare le contrat de [PERSONNE_1] avec notre modèle standard et signale les clauses différentes.

L'envoyer masquée ?

Reste en interne : PGX 1 répond avec le grand modèle.

Essayez de choisir et voyez où va la requête
04

Par défaut, elle reste en interne, dehors seulement avec votre accord.

Le fournisseur externe est une option, pas une dépendance. Vous l'activez vous-même, uniquement pour les équipes et les modèles que vous choisissez, et uniquement vers des fournisseurs compatibles OpenAI. Sans cette règle, chaque requête reste sur vos PGX.

Cette requêtereste sur PGX 1 · changer de choix

Un endpoint, vos règles.

Les quatre choix suivent des règles que vous fixez. L'équipe AION gère la console du Router : elle configure avec vous clés, règles et budgets et vous envoie les rapports.

Endpoint
Compatible OpenAI : les applications et les clients de chat que vous utilisez déjà se connectent en changeant seulement l'adresse.
Clés API
Chaque clé ne voit que les modèles autorisés pour cette équipe.
Règles
Coût, qualité, équilibre ou confidentialité : une règle pour chaque équipe.
Budgets
Un budget pour chaque équipe, avec les coûts attribués à qui les génère.
Rapports
Usage, coûts et trajet de chaque requête, dans une seule vue.

Envie de voir le Router à l'œuvre ?

Nous vous montrons comment il répartit le travail de votre équipe entre PGX, modèles et, si vous le souhaitez, un fournisseur externe.

Siège
Corso Vercelli 89, 28100 Novara

Vos données sont traitées selon notre Politique de Confidentialité et ne seront pas cédées à des tiers.