LLM Bastion Docs

Appearance

Intégration LlamaIndex 🦙 ​

TIP

Retrouvez le code exécutable complet et prêt à tourner de ce guide dans notre dépôt d'exemples : Cookbooks: LlamaIndex Quickstart (Python)

Pour vos architectures RAG (Retrieval-Augmented Generation), LLM Bastion assure le masquage des informations confidentielles extraites de vos documents locaux avant qu'elles ne soient envoyées aux LLM distants pour synthèse.

En remplaçant l'URL de base et la clé API dans la configuration globale de LlamaIndex, chaque document lu et chaque question d'utilisateur bénéficie automatiquement des filtres de sécurité et de conformité (RGPD, HIPAA, SOC2).

💻 Configuration Globale (Python) ​

Voici comment configurer LLM Bastion comme le moteur d'inférence globale par défaut dans vos scripts LlamaIndex :

python
import os
import sys
from llama_index.llms.openai import OpenAI
from llama_index.core import Settings

# Charger la clé API depuis l'environnement
api_key = os.getenv("BASTION_API_KEY", "lb_live_votre_virtual_key...")
base_url = os.getenv("BASTION_BASE_URL", "https://api.llmbastion.fr/adapters/openai/v1")

# 1. Configurer LLM Bastion comme moteur LLM global
Settings.llm = OpenAI(
    model="balanced",  # Profil équilibré vitesse/coût
    api_key=api_key,
    api_base=base_url
)

print("✅ LlamaIndex est maintenant configuré avec LLM Bastion comme moteur d'inférence sécurisé.")
print(f"📡 URL du proxy : {base_url}")
print(f"🤖 Modèle par défaut : {Settings.llm.model}")

🛡️ Focus RAG Sécurisé : Masquage des Documents ​

Dans une architecture RAG classique, LlamaIndex récupère des morceaux de textes (nodes) pertinents depuis une base de données vectorielle et les injecte dans le prompt final. Ces documents peuvent contenir des secrets, des numéros de compte, ou des informations de clients.

En plaçant LLM Bastion au milieu du flux :

flowchart TD Doc[Documents Locaux PDF / TXT] --> Vector[Base Vectorielle / Chroma / Qdrant] Vector -->|Récupération des Morceaux| Query[LlamaIndex QueryEngine] Query -->|Prompt Brut avec PII| Bastion[Passerelle LLM Bastion] Bastion -->|1. Détection & Masquage PII| Redact[Prompt Anonymisé] Redact -->|2. Envoi Sécurisé| OpenAI[API OpenAI Distante] OpenAI -->|3. Réponse Brute| Bastion Bastion -->|4. Rétablissement des PII| Client[Utilisateur Final]

Avantages de l'intégration : ​

  1. Zéro fuite de données d'entreprise : Le contenu de vos PDFs internes et bases de connaissances privées n'est jamais transmis en clair aux géants du Cloud.
  2. Conformité instantanée : Vous respectez les exigences de l'EU AI Act et de la RGPD sans complexifier vos pipelines d'ingestion de données LlamaIndex.
  3. Latence Ultra-Faible : Les requêtes similaires répétées sont directement interceptées par le cache sémantique local de LLM Bastion, permettant un temps de réponse instantané (< 1ms).