AUROBASE 指南LLM 閘道選型
LLM 閘道選型清單.
企業導入生成式 AI 時，所有請求都應先經過 AI 閘道。本文整理選型時要確認的 10 件事，每一項附上 POC 時的驗證方法，讓資訊、資安與法遵單位用同一份清單比較方案。
最後更新：2026-11-02
01
// 01 — 一段話看懂
AI 閘道是什麼、選型先看什麼
AI 閘道（LLM Gateway）是企業內所有 AI 請求的必經入口：在請求送到模型之前檢查權限與政策，把請求送往經核准的模型，並記錄每一次推論、知識庫查詢與工具呼叫。
實務建議選型時，能接多少種模型是次要的，先確認三件事：
- 擋得住：不符合權限或含個資的請求，在送出前就被攔下。
- 查得到：每一次使用都有紀錄，而且能證明紀錄沒被改過。
- 搬得走：可放在自有機房或隔離網路，日後更換模型或部署位置不必重做。
推論前就檢查權限與政策
為什麼重要
- 不符合的請求應在送出前被擋下，不能等模型回覆後才記錄。
POC 怎麼驗證
- 用沒有權限的帳號呼叫受限的模型：應被拒絕、模型端收到 0 次請求，並留下一筆拒絕紀錄。
含個資的請求自動限定地端模型
為什麼重要
- 身分證字號、電話、電子郵件或密鑰不應離開企業環境。
POC 怎麼驗證
- 以測試用的假身分證字號送往雲端模型：應被拒絕且雲端端點收到 0 次請求；同一段提示改送地端模型應正常回應。
模型的回覆也要檢查
為什麼重要
POC 怎麼驗證
- 讓模型回覆一段含個資的內容：使用者看到的應是遮蔽後的結果，並留下紀錄。
可限定只用地端模型，並支援多種推論服務
為什麼重要
POC 怎麼驗證
- 設定為只用地端後指定雲端模型，應被拒絕；更換推論服務時，應用程式不需修改。
相容既有的 API 呼叫方式
為什麼重要
- 既有工具與應用程式應能改連線位址就接入，不必重寫。
POC 怎麼驗證
- 挑一個使用 OpenAI 相容 API 的既有應用，只改連線位址，確認功能正常。
知識庫權限到段落，撤權立即生效
為什麼重要
- 同一份文件的不同段落可能有不同密級；人員異動時，權限必須當下失效。
POC 怎麼驗證
- 撤銷某位使用者對一份文件的權限，下一次檢索就應查不到，不需等快取過期。
稽核紀錄防竄改、可離線驗證
為什麼重要
- 稽核人員要能證明紀錄寫入後沒有被修改，而且不必連上系統也能查驗。
POC 怎麼驗證
- 以資料庫管理員身分修改一筆稽核紀錄：應被拒絕，或在驗證時被指出；匯出證據包，在不連網的電腦上重算雜湊。
工具呼叫也要經政策檢查並留痕
為什麼重要
- AI Agent 會呼叫內部 API 與 MCP 工具，風險不只在模型本身。
POC 怎麼驗證
- 讓 AI 呼叫一個未授權的工具：應被拒絕並留下紀錄。
部署選項與更新方式
為什麼重要
- 金融、醫療與公部門常需要隔離網路；雲端與地端最好是同一套。
POC 怎麼驗證
- 確認在隔離網路中的安裝與更新方式（例如以離線映像包現場載入），以及搬移到其他環境時要重做哪些設定。
與既有身分系統整合、租戶與部門隔離
為什麼重要
- 權限應沿用企業既有的帳號與群組，跨部門或跨租戶的資料不能互通。
POC 怎麼驗證
- 用 AD／LDAP 或單一登入帳號登入；以 A 部門帳號查詢 B 部門的知識庫，應被拒絕。
奧洛的 Forge 是 AURO NEXUS 平台的治理化 AI 閘道，對應做法如下：推論前做權限與政策檢查；含個資的提示只能送往地端模型；回覆也經政策檢查；支援地端 Ollama、OpenAI 相容服務與 Anthropic，並可限定只用地端；以 OpenAI 相容 API 提供服務；知識庫與段落可設定密級，撤權在下一次檢索就生效；雜湊鏈稽核軌跡可匯出證據包離線驗證；工具呼叫先經政策決策並寫入稽核帳。
Forge 產品頁列有本機實測結果與實機畫面。若要在貴機構環境跑一次上述驗證，可以從一個部門、一個模型開始。
延伸閱讀：金融業運用 AI 指引怎麼落實・資安與資料處理
AI 閘道和 API 閘道有什麼不同？+
API 閘道處理一般服務呼叫的路由、流量與認證；AI 閘道另外看懂提示與回覆內容，在推論前檢查權限與資料敏感度、決定送往哪個模型，並逐筆記錄推論、知識庫查詢與工具呼叫。
已經在機房建好地端 LLM，還需要 AI 閘道嗎？+
需要。地端 LLM 解決的是資料不出機房；誰能用哪個模型、能查哪些知識庫、回覆是否含個資、紀錄能否證明沒被改過，仍需要放在模型前面的 AI 閘道處理。
LLM 閘道可以用開源元件自己組嗎？+
可以，但要自行補上推論前的政策檢查、個資路由、段落級權限、撤權即時生效與防竄改的稽核紀錄，並長期維護。可以用本文的 10 項 POC 驗證方法，比較自建與採購的方案。
LLM 閘道的 POC 要準備什麼？+
一個代表性的應用（例如內部知識問答）、一組測試帳號與權限、含假個資的測試提示、一台可放地端模型的主機，並請稽核或法遵人員一起驗證稽核紀錄。