LLM Bastion Docs

Appearance

Intégration LiteLLM 🚀 ​

TIP

Retrouvez le fichier de configuration complet et prêt à tourner de ce guide dans notre dépôt d'exemples : Cookbooks: LiteLLM Configuration (YAML)

LiteLLM est un outil de proxy et de standardisation très populaire permettant d'appeler plus de 100 LLMs avec un format unique compatible OpenAI.

Pointer LiteLLM vers LLM Bastion vous permet d'ajouter une couche de gouvernance de sécurité absolue, de filtrage de contenu et de cache sémantique ultra-rapide au-dessus de vos proxies et passerelles d'entreprise existants.

💻 Configuration de LiteLLM (config.yaml) ​

Pour intégrer LLM Bastion comme un modèle ou un fournisseur d'arrière-plan dans LiteLLM, ajoutez les paramètres suivants dans votre fichier de configuration config.yaml :

yaml
model_list:
  - model_name: llm-bastion-secure
    litellm_params:
      model: openai/auto # Utilise le modèle auto dynamique de Bastion
      api_key: lb_live_votre_virtual_key... # Clé virtuelle LLM Bastion
      api_base: https://api.llmbastion.fr/adapters/openai/v1

Vous pouvez ensuite lancer votre serveur LiteLLM de manière habituelle :

bash
litellm --config config.yaml

Désormais, tout appel vers le modèle llm-bastion-secure de votre proxy LiteLLM transitera de manière totalement sécurisée et auditée par LLM Bastion.

🛡️ Pourquoi coupler LiteLLM et LLM Bastion ? ​

  • Redondance & Résilience accrues : Alors que LiteLLM gère le routage réseau brut, LLM Bastion gère l'intelligence de repli sémantique (Failover), choisissant le meilleur modèle alternatif en fonction de la conformité de la région géographique et des contraintes budgétaires.
  • Masquage PII en Temps Réel : LiteLLM ne filtre pas nativement les secrets (clés d'API, mots de passe) ou les données nominatives. LLM Bastion analyse en temps réel les prompts acheminés par LiteLLM pour en extraire et anonymiser les données personnelles avant la transmission.
  • Cache Sémantique L1/L2 Partagé : Profitez de notre cache sémantique haute performance directement branché sur vos flux de production centralisés par LiteLLM, réduisant la consommation de tokens et diminuant la facture finale.