Мониторинг AI-агентов на VDS: Langfuse и метрики

Зачем нужен мониторинг AI?

AI-агенты в продакшне требуют мониторинга: сколько токенов тратится, как долго отвечает модель, какие запросы вызывают ошибки, насколько корректны ответы. Без мониторинга вы не знаете о проблемах до жалоб пользователей.

Langfuse — open-source AI observability

docker run -d --name langfuse \
  -p 3000:3000 \
  -e DATABASE_URL=postgresql://postgres:password@host:5432/langfuse \
  -e NEXTAUTH_SECRET=random-secret \
  --restart always \
  langfuse/langfuse:latest

Интеграция с LangChain

from langfuse.callback import CallbackHandler
from langchain_ollama import OllamaLLM

handler = CallbackHandler(
    public_key="pk-...",
    secret_key="sk-...",
    host="http://localhost:3000"
)
llm = OllamaLLM(model="llama3.2", callbacks=[handler])
result = llm.invoke("Тестовый запрос")

Ключевые метрики для AI-агентов

Системные метрики через Prometheus

# prometheus.yml
scrape_configs:
  - job_name: "ollama"
    static_configs:
      - targets: ["localhost:11434"]
    metrics_path: "/metrics"