一般 RAG 怎麼做

先講 RAG 要解決什麼。第一,文件太多,人根本記不住、也找不到。第二,傳統關鍵字搜尋是比對字面,你打「機器過熱」,它就找不到寫成「溫度異常」的那一段。第三,你直接問通用的 AI,它根本沒讀過你公司的內部文件,只能亂猜。RAG 就是把「你的文件」跟「AI 的表達能力」接起來,補掉這三個洞。

RAG 一句話講完:回答之前,先去你的資料裡撈出最相關的幾段,把那幾段連同問題一起交給 AI,讓它根據這些資料來回答,並且標出處。重點在「根據這些資料」—— AI 不是憑印象亂講,是看著你給的段落講。所以它答得準、可以查證,而且你的文件更新,它的答案就跟著更新。接下來的五個步驟,就是在把這件事做出來。

動手之前,先看一張圖,搞懂誰跟誰在講話。使用者把問題丟給檢索器;檢索器先把問題算成向量,拿去向量庫找語意最相近的片段,向量庫回傳最相關的前幾段;檢索器再把問題連同這些片段,一起交給生成 LLM;最後 LLM 根據這些片段,生成一個有根據、而且標了出處的答案,回給使用者。整條線就這樣走一遍。接下來我把每一步拆開講。

第一步,切塊,英文叫 chunk。你不能把整本兩百頁的手冊整個丟給 AI,太長,塞不進去,也撈不準。所以先把每份文件切成一小段一小段,原則是「一段大約講一件事」——一個章節、一條保養程序、一個警報代碼的說明,各自成一段。切得好不好,直接決定後面撈得準不準,這一步比想像中重要。

第二步,把每一段文字算成一串數字,這串數字叫向量,這個動作叫 embedding。你可以把它想成:給每段話標一個「語意座標」。意思相近的段落,座標就會靠得很近。這一步用一個現成的 embedding 模型就能做,不用你自己訓練任何東西 ——你只是「借用」這顆模型,把文字翻譯成數字。

這裡是 RAG 最關鍵的一招。因為每段話都變成了語意座標,「機器過熱」跟「溫度異常」這兩段,即使一個字都沒有重疊,它們的座標還是會靠得很近。所以你問「機器過熱怎麼辦」,它照樣撈得到那段寫「溫度異常」的處置。這就是向量勝過關鍵字搜尋的地方 —— 它比的是意思,不是字面。

第三步,把「每一段文字」跟「它算出來的向量」一起存進一個資料庫,這種能用向量搜尋的,叫向量資料庫。這一步做完,你的知識庫就算建好了,術語上叫「建索引」。規模不大的時候,用很輕量的方案就夠,不用一開始就上那種很重的專用向量庫。而且這一步只做一次;文件沒變,就不用重做。

前三步是準備,現在有人來問問題了,進入第四步:查,也就是檢索。做法很對稱:把使用者的問題,用同一顆 embedding 模型也算成一個向量,拿這個向量去資料庫裡,找座標最接近的那幾段。比如撈回最相關的三段。注意,問題跟文件一定要用「同一顆」模型算向量,座標系才對得上,不然就找錯了。

第五步,生成。把剛剛撈到的那幾段,連同使用者原本的問題,一起丟給 AI,並且明確告訴它:只准根據這些資料回答,而且要標出處 —— 這答案來自哪份文件、哪一段。這樣使用者不只拿到答案,還能點回去看原文查證。到這裡,切塊、算向量、存庫、檢索、生成,五步走完,一個 RAG 就跑起來了。

這裡有一條鐵律,一定要寫進去:只根據撈到的資料回答,查不到就老實說查不到。為什麼這麼重要?因為如果你沒下這個限制,AI 撈不到資料時,會很自然地用它自己的印象「腦補」一個聽起來很像的答案 —— 那就是幻覺,在工廠或醫療會出事。所以「只根據資料 + 標出處 + 查不到就講」這三件,是 RAG 能被信任的命根子。

很多人以為做這個要會訓練 AI,其實完全不用。這五步從頭到尾,embedding 模型是現成的、向量庫是現成的、生成的 AI 也是現成的,你做的事情是「組裝」,把它們串起來,不是「訓練」。所以一個最小可跑的 RAG,門檻比你想的低很多,一個人、幾天就能拼出第一版。先把這個最小版跑起來,比想一堆架構重要。

最後澄清一個很常見的誤會:RAG 跟 fine-tune 是兩回事。fine-tune 是拿你的資料去「改造模型本身」,貴、慢,而且你的文件一改就得重來。RAG 完全不動模型,它是「讓模型每次現場去查你的資料」。你公司的手冊三天兩頭在更新,這種情況幾乎都該用 RAG,不要 fine-tune ——改文件、重建個索引就好,不用重新訓練任何東西。

這集帶走一句話:RAG 就是五步 —— 切塊、算向量、存進向量庫、查、然後生成並標出處。它厲害的地方是比「意思」不比「字面」,而且完全不改模型,只是讓 AI 現場去查你的資料。先把這個最小、能跑的版本做出來,你就有一個真的懂你公司文件的問答系統了。至於怎麼挑模型、怎麼切得更好、怎麼變成一個服務 —— 那是把它做穩、做大之後的事。