從問 AI 到用 Agent · 架構補充

把開源腦養成公司資產:RAG vs 微調,怎麼選

把開源模型變成「自己的腦」,不是二選一。RAG 負責補知識、微調(FT)負責定行為,兩者搭起來,再把成果地端部署到各處——這就是把模型從「租來的成本」變成「養出來的資產」。

🏭 從資料到資產:一條 pipeline

資料 / 知識源處理步驟判斷分支產出成果部署 / 基礎設施

flowchart TB
  A[("原始文件
政策 / SOP / 問答")]:::data --> B["資料準備
整成 指令→理想回應 配對 (JSONL)"]:::proc
  B --> C{"要補什麼?"}
  C -->|定行為 / 語氣 / 流程| D["微調 FT
QLoRA 產出 LoRA adapter"]:::proc
  C -->|補知識 / 常變動| E["RAG
外掛知識庫檢索"]:::proc
  D --> F["驗證
學到行為? 有沒有掉能力?"]:::proc
  E --> F
  F --> G(["公司專屬模型
行為 = FT · 知識 = RAG"]):::result
  G --> H[["地端部署
各處各一台推論機 (量化後)"]]:::infra
  H --> I(["資產化
離線 · 可複製 · 版本可回溯"]):::result
  class C decision
  classDef data fill:#fef3c7,stroke:#d97706,stroke-width:2px,color:#78350f
  classDef proc fill:#dbeafe,stroke:#2563eb,stroke-width:2px,color:#17335e
  classDef decision fill:#ede9fe,stroke:#7c3aed,stroke-width:2px,color:#4c1d95
  classDef result fill:#dcfce7,stroke:#16a34a,stroke-width:2px,color:#14532d
  classDef infra fill:#e5e9f0,stroke:#475569,stroke-width:2px,color:#1e293b

文章的核心心法:「中央一顆腦(用 FT 定行為)＋各地各自的知識庫(用 RAG 掛在地文件)」。行為到哪都一致,知識在地各自適配。

🔀 RAG vs 微調(FT):各解決什麼

面向	RAG(檢索增強)	微調 FT(Fine-Tuning)
解決什麼	補知識:公司文件、政策、參考資料	定行為:語氣、回應格式、SOP 流程、分類邏輯
知識放哪	外掛知識庫,查詢時注入 prompt	寫進模型權重(用配對範例調參)
何時用	資料常變動、要即時更新、怕過時/幻覺	要固定風格與流程、要模型「內化」公司做法
更新成本	改來源文件即可,自動跟著更新	要重新訓練;不適合拿來塞會過時的知識
可否結合	可以,而且是正解。文章說多數 production 最後都走這條路:FT 定行為風格、RAG 供事實知識;避免把「會過時的知識」硬微調進去的昂貴錯誤。

🧱 資產化的意義

1離線部署資料不出門

量化後的模型可在地端推論機跑(免昂貴訓練 GPU)。
訓練素材與查詢都留在自家基礎設施內,
第三方碰不到 → 隱私守得住。

2複製到各處一顆腦,多個點

訓練出的 adapter 很小(約 100MB 級距),
每個點放一台一樣的推論機,行為到哪都一致;
在地知識庫各自掛 RAG,知識在地適配。

3省費用、變資產從成本變資產

文章對比:「租 API 是成本項,養模型是資產」。
一次訓練 vs 每月按 token 計費;
版本可追蹤、可回溯,更新從中央統一發到各點。

▶ 相關影片:為什麼用地端 📖 延伸閱讀:原文

📺 對應單集:為什麼有人堅持要用地端機器 | 📚 回課綱總表 →