01 De quoi s'agit-il ?
Langfuse est la plateforme open source d'observabilité et d'évaluation pour les applications LLM. Elle capture chaque prompt, appel d'outil et trace de votre stack d'agents, puis fournit évaluations, datasets, gestion de prompts et suivi des coûts. Langfuse devient rapidement la couche d'observabilité par défaut des systèmes agentiques en production.
02 Pourquoi l'implémenter ?
- Traces de bout en bout pour chaque exécution d'agent et appel d'outil
- Évaluations online et offline avec évaluateurs personnalisés
- Versioning de prompts et tests A/B
- Suivi des coûts et de la latence au niveau de l'appel
- Open source, compatible self-hosted, SDK pour les principaux frameworks
03 Comment je vous aide
J'intègre Langfuse dans votre stack d'agents existante (LangGraph, LangChain, OpenAI Agents, Bedrock Agents), je conçois le harness d'évaluation, je mets en place des alertes sur les dérives et les violations de politique, et je redirige les traces vers votre SIEM pour l'audit.
04 Livrables attendus
- Conception du déploiement Langfuse self-hosted
- Intégration SDK sur l'ensemble de votre stack d'agents
- Harness d'évaluation avec évaluateurs personnalisés
- Alerting sur dérive et violations de politique
- Intégration SIEM pour l'audit