- • 前端:Web Chat(可 Open WebUI 客製 / 自研)
- • 閘道:Auth + 限流 + session
- • Hermes:意圖分類 / 規劃 / JSON
- • Handlers:Wiki/DB/業務/沙箱工具
- • active agent 硬上限:4–8
- • 佇列排隊,避免同時 20 人跑工具
- • 每 user:RPM / 日 token / 工具次數
- • 工具只在 sandbox / allowlist
- • Hermes 不做直接 wiki/DB 查詢
- • PHP/後端路由到受控 Python handler
- • 結構化輸出 → 業務動作
- • 可演化知識層保持 local-first 邊界
# 請求流(簡化)
User → Edge Auth → Chat API
→ (fast path) intent LLM → JSON {intent, slots, confidence}
→ Router:
if intent in [chat, explain]: stream LLM reply
if intent in [wiki.query, order.create]: call allowlisted handler
if intent needs multi-step: enqueue Agent job (scoped tools)
→ Worker pulls job → Hermes agent loop (bounded tools) → result
→ Session DB + Audit + SSE back to user
# 不要做
❌ 把 hermes proxy 當多用戶 Agent 後台
❌ 給公網用戶裸 terminal / 全檔案系統
❌ 讓模型直接寫生產 DB