LLM Bastion Docs

Appearance

Clés Virtuelles & Quotas 🔑 ​

Gérez les accès, contrôlez vos budgets et sécurisez vos clés d'API tierces grâce au système de Clés Virtuelles (Virtual Keys) et de Quotas de LLM Bastion.

🔑 Qu'est-ce qu'une Clé Virtuelle ? ​

Une Clé Virtuelle est un jeton d'accès sécurisé généré par LLM Bastion. Elle remplace les clés API de vos fournisseurs (OpenAI, Anthropic, Mistral, etc.) dans vos applications clientes.

Avantages Majeurs : ​

  • Abstraction Totale : Vos dĂ©veloppeurs ou applications n'ont jamais accès aux vraies clĂ©s d'API des fournisseurs.
  • RĂ©vocation InstantanĂ©e : DĂ©sactivez ou renouvelez une clĂ© en un clic sans modifier les clĂ©s maĂ®tresses des fournisseurs.
  • SĂ©grĂ©gation Fine : Rattachez chaque clĂ© Ă  un projet, un environnement (dev, prod), ou une Ă©quipe spĂ©cifique.

🛠️ Création d'une Clé Virtuelle dans la Console ​

Pour créer et configurer une clé virtuelle via la Console d'administration (http://llmbastion-app.localhost) :

  1. Accédez à la section Clés : Dans le menu latéral gauche, cliquez sur Virtual Keys.
  2. Nouveau Jeton : Cliquez sur le bouton Create Virtual Key en haut Ă  droite.
  3. Configuration Générale :
    • Label / Name : Donnez un nom clair (ex: support-chatbot-prod, data-science-rnd).
    • Project : Assigne la clĂ© Ă  un projet spĂ©cifique pour regrouper les analytiques.
    • Expiration : (Optionnel) DĂ©finissez une date de validitĂ© pour les clĂ©s temporaires ou externes.
  4. Permissions & Modèles :
    • SĂ©lectionnez les modèles de LLM autorisĂ©s pour cette clĂ© (ex: autoriser uniquement gpt-4o-mini pour rĂ©duire les coĂ»ts).
    • Cochez les scopes d'autorisation (ex: pii:decrypt si l'application est autorisĂ©e Ă  dĂ©masquer les donnĂ©es personnelles au retour).
  5. Sauvegarde : Cliquez sur Generate Key.

WARNING

Copiez immédiatement la clé générée (commençant par lb_...). Pour des raisons de sécurité, elle ne sera plus jamais affichée dans son intégralité.

💰 Gestion des Quotas & Budgets ​

LLM Bastion vous permet d'appliquer des limites budgétaires et de consommation strictes pour chaque clé ou projet afin d'éviter les factures imprévues (FinOps).

Types de Limites : ​

  • Budget Financier : Fixez un plafond financier mensuel ou journalier en dollars (ex: limitateur Ă  $50/mois pour la R&D).
  • Token Limits (TPM / TPD) : DĂ©finissez le nombre maximum de tokens consommĂ©s par minute ou par jour.
  • Rate Limits (RPM) : Limitez le nombre de requĂŞtes par minute pour Ă©viter les abus ou les boucles infinies de requĂŞtes.

Configuration du Quota : ​

  1. Lors de la création ou modification d'une Clé Virtuelle, allez dans l'onglet Quotas & Limits.
  2. Activez Enable Monthly Budget et saisissez le montant maximum autorisé (ex: 50.00 $).
  3. (Optionnel) DĂ©finissez un seuil d'alerte (ex: 80%) pour recevoir une notification webhook avant le blocage.
  4. Enregistrez les modifications.

Comportement en cas de Dépassement : ​

Dès que la limite est atteinte, LLM Bastion rejette instantanément les appels suivants avec une erreur standardisée :

  • HTTP Status : 429 Too Many Requests
  • JSON Response Code : Quota Exceeded (conforme au standard d'erreur compatible OpenAI).

🛡️ Association des Guardrails de Sécurité ​

Chaque clé virtuelle peut être configurée avec des règles de sécurité obligatoires (Guardrails) appliquées de manière transparente à l'entrée et à la sortie :

  • Masquage PII : Anonymise automatiquement les donnĂ©es sensibles (emails, tĂ©lĂ©phones, cartes bancaires) avant de transmettre le prompt aux LLM externes.
  • DĂ©tection d'Injections : Bloque instantanĂ©ment les tentatives de manipulation de prompts ou de jailbreak.
  • Secret Detection : EmpĂŞche la fuite accidentelle de clĂ©s d'API privĂ©es ou de mots de passe de votre entreprise vers les LLM.

> **Best Practice** : Utilisez des clés virtuelles différentes pour vos environnements de `Staging` et de `Production`. Cela permet de tester les nouvelles règles de sécurité sans aucun risque sur le trafic utilisateur en direct.