Update app.py

app.py

@@ -1,34 +1,34 @@
+# ✅ API FastAPI de chunking sémantique intelligent avec fallback automatique
+
 from fastapi import FastAPI
 from pydantic import BaseModel
 from typing import Optional
 
-# ✅ Modules LlamaIndex – version >= 0.10.0+
-from llama_index.core.settings import Settings
+# LlamaIndex (>= 0.10.0)
 from llama_index.core import Document
+from llama_index.core.settings import Settings
+from llama_index.core.node_parser import SemanticSplitterNodeParser, RecursiveTextSplitter
 from llama_index.llms.llama_cpp import LlamaCPP
-from llama_index.core.node_parser import SemanticSplitterNodeParser
-
 from llama_index.core.base.llms.base import BaseLLM
 
-# ✅ Pour l'embedding LOCAL via transformers
+# Embedding local (transformers + torch)
 from transformers import AutoTokenizer, AutoModel
 import torch
 import torch.nn.functional as F
+
 import os
 
 app = FastAPI()
 
-# ✅ Configuration locale du cache HF pour Hugging Face
-# ✅ Définir un chemin autorisé pour le cache (à l'intérieur du container Hugging Face)
+# ✅ Configuration des caches pour Hugging Face dans le container
 CACHE_DIR = "/app/cache"
 os.environ["HF_HOME"] = CACHE_DIR
 os.environ["TRANSFORMERS_CACHE"] = CACHE_DIR
 os.environ["HF_MODULES_CACHE"] = CACHE_DIR
 os.environ["HF_HUB_CACHE"] = CACHE_DIR
 
-# ✅ Configuration du modèle d’embedding local (ex: BGE / Nomic / GTE etc.)
+# ✅ Modèle d'embedding local (dense vector)
 MODEL_NAME = "BAAI/bge-small-en-v1.5"
-
 tokenizer = AutoTokenizer.from_pretrained(MODEL_NAME, cache_dir=CACHE_DIR)
 model = AutoModel.from_pretrained(MODEL_NAME, cache_dir=CACHE_DIR)
 
@@ -36,12 +36,14 @@ def get_embedding(text: str):
     with torch.no_grad():
         inputs = tokenizer(text, return_tensors="pt", truncation=True, padding=True)
         outputs = model(**inputs)
-        embeddings = outputs.last_hidden_state[:, 0]
+        embeddings = outputs.last_hidden_state[:, 0]  # CLS token
         return F.normalize(embeddings, p=2, dim=1).squeeze().tolist()
 
-# ✅ Données entrantes du POST
+# ✅ Format des données entrantes de l'API
 class ChunkRequest(BaseModel):
     text: str
+    max_tokens: Optional[int] = 1000
+    overlap: Optional[int] = 350
     source_id: Optional[str] = None
     titre: Optional[str] = None
     source: Optional[str] = None
@@ -50,11 +52,9 @@ class ChunkRequest(BaseModel):
 @app.post("/chunk")
 async def chunk_text(data: ChunkRequest):
     try:
-        # ✅ Vérification du texte reçu
-        print(f"✅ Texte reçu ({len(data.text)} caractères) : {data.text[:200]}...")
-        print("✅ ✔️ Reçu – On passe à la configuration du modèle LLM...")
+        print(f"\n✅ Texte reçu ({len(data.text)} caractères) : {data.text[:200]}...", flush=True)
 
-        # ✅ Chargement du modèle LLM depuis Hugging Face (GGUF distant)
+        # ✅ Chargement du modèle GGUF distant via llama-cpp
         llm = LlamaCPP(
             model_url="https://huggingface.co/TheBloke/CodeLlama-7B-Instruct-GGUF/resolve/main/codellama-7b-instruct.Q4_K_M.gguf",
             temperature=0.1,
@@ -64,44 +64,36 @@ async def chunk_text(data: ChunkRequest):
             model_kwargs={"n_gpu_layers": 1},
         )
 
+        print("✅ Modèle LLM chargé avec succès !")
 
-
-        print("✅✅ Le modèle CodeLlama-7B-Instruct Q4_K_M a été chargé sans erreur...")
-
-
-        print("✅ ✔️ Modèle LLM chargé sans erreur on continue...")
-
-        # ✅ Définition d’un wrapper simple pour l’embedding local
+        # ✅ Wrapper pour l'embedding local compatible avec LlamaIndex
         class SimpleEmbedding:
             def get_text_embedding(self, text: str):
                 return get_embedding(text)
 
-        assert isinstance(llm, BaseLLM), "❌ Ce LLM n’est pas compatible avec Settings.llm"
-        
-        # ✅ Nouvelle configuration (⚠️ ne plus utiliser ServiceContext)
+        # ✅ Configuration du moteur LLM et de l'embedding dans LlamaIndex
+        assert isinstance(llm, BaseLLM), "❌ L'objet LLM n'est pas compatible avec Settings.llm"
         Settings.llm = llm
         Settings.embed_model = SimpleEmbedding()
 
-        print("✅ LLM et embedding configurés - prêt pour le split")
-        print("✅ Début du split sémantique...", flush=True)
+        print("✅ Configuration du LLM et de l'embedding terminée. On initialise le Semantic Splitter...", flush=True)
 
-        # ✅ Utilisation du Semantic Splitter avec le LLM actuel
         parser = SemanticSplitterNodeParser.from_defaults(llm=llm)
-
         doc = Document(text=data.text)
 
         try:
             nodes = parser.get_nodes_from_documents([doc])
-            print(f"✅ Nombre de chunks générés : {len(nodes)}")
-            print(f"🧩 Exemple chunk : {nodes[0].text[:100]}...")
+            print(f"✅ Semantic Splitter : {len(nodes)} chunks générés")
+            if not nodes:
+                raise ValueError("Aucun chunk produit par le Semantic Splitter")
 
         except Exception as e:
-            import traceback
-            traceback.print_exc()
-            print(f"❌ Erreur lors du split sémantique : {e}")
-            return {"error": str(e)}
+            print(f"⚠️ Fallback vers RecursiveTextSplitter suite à : {e}")
+            splitter = RecursiveTextSplitter(chunk_size=data.max_tokens, chunk_overlap=data.overlap)
+            nodes = splitter.get_nodes_from_documents([doc])
+            print(f"♻️ Recursive Splitter : {len(nodes)} chunks générés")
 
-        # ✅ Résultat complet pour l’API
+        # ✅ Construction de la réponse JSON pour n8n ou autre client HTTP
         return {
             "chunks": [node.text for node in nodes],
             "metadatas": [node.metadata for node in nodes],
@@ -109,10 +101,11 @@ async def chunk_text(data: ChunkRequest):
             "titre": data.titre,
             "source": data.source,
             "type": data.type,
-            "error": None  # ← essentiel pour que n8n voie "rien à signaler"
+            "error": None  # n8n utilise cette clé pour détecter les erreurs
         }
 
     except Exception as e:
+        print(f"❌ Erreur critique : {e}")
         return {"error": str(e)}
 
 if __name__ == "__main__":