模块11 · 应用工程化与企业级交付 · 大模型应用开发实战

金融、政企客户的外网隔离环境是常态，API Key 调 OpenAI 的方案直接出局。掌握开源模型推理部署 + 容器化交付 + 安全加固，你的产品才具备真正的商业交付能力——这也是但问知识库、智学平台、但问码图卖给企业的最后一块拼图。

vLLM Ollama Qwen / DeepSeek 开源模型推理网关 Docker / Compose CI/CD 内网私有化 Prompt 注入防护密钥管理 PII 脱敏 GPU 资源规划监控告警

开源模型生产级推理

vLLM 部署 Qwen / DeepSeek：连续批处理、量化选型、GPU 资源规划；Ollama 覆盖边缘与开发侧

离线交付工程化

Docker 镜像分层、离线依赖打包、一键部署脚本、License 控制——交付物而非交付源码

AI 应用安全基线

Prompt 注入防护、工具调用白名单、密钥托管、敏感数据脱敏、审计日志

vLLM 生产部署：并发、量化（FP8/INT4）、显存规划与压测

推理网关：统一鉴权、限流、多模型路由与故障转移

容器化：Dockerfile 最佳实践、Compose 编排、镜像瘦身

CI/CD：代码 → 测试 → 镜像 → 部署的全自动流水线

内网私有化交付 checklist：依赖离线化、模型文件分发、升级方案

应用安全：Prompt 注入攻击与防护、工具权限最小化

密钥与配置管理：Vault / KMS、环境隔离

可观测收尾：日志、指标、告警接入企业现有运维体系