vLLM Semantic Router：不只是路由，是 AI 请求全生命周期治理

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19

Client ──► Envoy (port 8801)
                │
                │  gRPC ext_proc (127.0.0.1:50051)
                ▼
   ┌─────────────────────────────────┐
   │  vLLM Semantic Router (Go 进程)  │
   │                                 │
   │  ┌─ extproc gRPC server         │
   │  ├─ Signal Engine (18路并发)     │
   │  ├─ Decision Engine             │
   │  └─ Selection Engine            │
   │         │                       │
   │     CGO (Rust 动态库)            │
   │         ▼                       │
   │  ┌─ candle-binding (GPU)        │
   │  ├─ onnx-binding                │
   │  ├─ openvino-binding            │
   │  └─ ml-binding (KNN/KMeans/SVM) │
   └─────────────────────────────────┘

1
2
3
4
5
6
7
8

type Decision struct {
    Name      string
    Rules     RuleCombination  // 递归布尔表达式树
    ModelRefs []ModelRef       // 候选模型列表
    Algorithm *AlgorithmConfig // 选择算法配置
    Plugins   []DecisionPlugin // 安全/缓存/RAG 等插件
    Emits     []EmitDirective  // 声明式副作用指令
}

1
2
3

Request → Headers → Body → [上游推理] → Resp Headers → Resp Body → Client
             │           │                              │              │
         安全门控    信号+决策+选模型                  记录 TTFT     TPOT/成本/缓存

1
2
3
4
5

models:
  - name: gpt-4o
    pricing:
      prompt_per_1m: 2.50
      completion_per_1m: 10.00

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14

候选模型列表
    │
    ▼
1. SLO 硬过滤（MaxTPOTMs / MaxTTFTMs / MaxCostPer1M / MaxInflight）
    │
    ▼
2. 信号采集（quality 静态配置 / latency p95 / cost 配置 / load 并发数）
    │
    ▼
3. Min-Max 归一化到 [0,1]
    │
    ▼
4. score = wQ*quality + wL*latency + wC*cost + wLoad*load
   权重自动归一化 sum=1，默认等权 0.25

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19

第一步：决策引擎选模型
    Signal → Decision → Selection → selectedModel = "deepseek-r1"

第二步：模型 → Backend 解析
    PreferredEndpoints = ["ep-vllm-rack2"]
    ExternalModelIDs["vllm"] → "deepseek-ai/DeepSeek-R1"

第三步：构建 Header Mutation
    x-selected-model: "deepseek-r1"      ← Envoy 路由匹配 key
    Authorization: "Bearer sk-xxx"       ← 下游凭证

第四步：Body Mutation
    {"model": "auto"} → {"model": "deepseek-ai/DeepSeek-R1"}

第五步：Envoy 根据 header 选择 cluster + Pod
    x-selected-model prefix "claude-"   → anthropic_api_cluster
    x-selected-model regex /^(gpt-|o1-)/ → openai_api_cluster
    else                                → vllm_backend_cluster
    （Pod 级负载均衡由 Envoy ROUND_ROBIN 完成）

 1
 2
 3
 4
 5
 6
 7
 8
 9
10

请求 "如何用 Python 排序"
    │
    ▼
1. 提取 query
2. 检查跳过：含 RAG/Memory 的决策跳过缓存（防泄露用户数据）
3. 生成 embedding
4. HNSW 向量搜索 (M=16, efConstruction=200, efSearch=50)
5. similarity >= threshold ?
   YES → 命中！返回缓存
   NO  → 请求发往模型，响应返回后写入缓存

1
2

规则: { threshold: 0.85, lookback_turns: 3 }
streak >= lookback ? 触发 : 不触发

1
2
3
4
5
6
7
8
9

传统 API 网关:
  Client ──► [鉴权/限流] ──► Backend ──► Response

AI 网关（新范式）:
  Client ──► [理解层] ──► [增强层] ──► [治理层] ──► Inference ──► [审计层] ──► Response
                │              │            │                         │
            信号提取        RAG/记忆注入   选模型/改参数             幻觉检测
            意图分类        prompt压缩     限流/缓存                 格式转换
            安全检测        工具选择       凭证注入                  成本计量

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16

┌───────────────────────────────┐
│  Session Layer（稳定）          │  创建时确定，session 内不变
│  system prompt                 │
│  user profile snapshot         │
│  turn history (append-only)    │
├───────────────────────────────┤
│  Request Layer（动态）          │  每轮独立
│  real-time RAG                 │
│  safety detection              │
│  model selection               │
├───────────────────────────────┤
│  Response Layer（后处理）       │  响应后执行
│  hallucination check           │
│  memory extraction             │
│  session history append        │
└───────────────────────────────┘