工程化 上线必备

Agent 可观测性、评估与成本治理

能跑 ≠ 能上线。这一模块解决开发课的后半程问题:看得清(追踪)、管得住(运维)、花得省(成本)——让前面所有模块的产出达到生产标准。

为什么学这一模块

Agent 应用的问题定位极难:一次回答背后是几十次模型调用与工具执行。没有可观测性,出问题只能靠猜;没有运维护栏,线上故障全靠人肉盯;没有成本治理,Token 账单会失控(离线评测体系归测试课,本模块聚焦线上运营)。这是从「做出 Demo」到「敢给客户用」的分水岭。

核心技术栈

Langfuse LangSmith OpenTelemetry Trace / Span / Score 智能体追踪运维 轨迹回放定位 告警与巡检 Prompt 版本管理 Token 成本看板 模型路由 灰度发布 SLA 指标

技术亮点

全链路追踪
Langfuse 私有化部署,Trace/Span 还原每一次模型调用、工具执行与子智能体委托——DeepAgents / AnythingChatRAG 均有官方集成
追踪与运维体系
告警、巡检、SLA 指标体系建设;Bad Case 线上回流机制——问题样本自动沉淀给评测流水线(对接测试课)
成本治理三板斧
Token 成本多维看板(按应用/用户/模型)、提示词缓存与模型路由降本、预算告警与自动熔断

核心内容

Langfuse 私有化部署与 SDK 接入(Python / TS 双栈)
Agent 链路追踪:子智能体、工具调用、RAG 检索全程可视
智能体追踪与运维:告警、巡检、SLA 指标体系建设
Bad Case 回流机制:线上问题 → 评测样本(联动测试课评测体系)
轨迹回放定位:Bad Case 归因分析方法论
Prompt 版本管理与 A/B 实验
Token 成本治理:看板、预算告警、模型路由降本
灰度发布与安全护栏:预算告警、自动熔断、灰度策略

实战产出

  • 私有化可观测平台(Langfuse)
  • 线上运维告警与巡检体系
  • Token 成本治理看板与告警配置