雲端 vs 地端

先講你現在正在用的那種,叫雲端。你在對話框打字,那段文字透過網路送到供應商的伺服器,模型在他們的 GPU 上運算,算完再把答案傳回來給你。重點是:你手上這台電腦,從頭到尾只負責收和發,真正的運算完全不在你這裡發生。

雲端的計費邏輯是按用量。你不用買機器,註冊完就能用,門檻幾乎是零。但相對的,你用多少付多少 —— 通常是按 token,也就是按你叫它處理多少文字來算。這個模式在你剛開始用的時候非常划算,但當你天天大量在跑,帳單就會跟著你的用量一路往上長。

另一條路叫地端,英文常講 on-premise。意思是把模型直接下載到你自己的機器上跑,運算就在你家裡發生。這樣一來,資料整趟都不用出門,甚至不連網也能用。代價很明顯:硬體要你自己準備、自己維護。資料進出的那條界線,在雲端和地端是完全不一樣的。

這裡有一個很多人會踩的陷阱。很多公司以前就自建過機房,跑資料庫、跑網站,所以覺得「地端我懂,不就那樣」。但大模型吃的資源跟那些完全不是同一個量級。跑資料庫、跑網站,主要吃的是 CPU、記憶體跟磁碟;跑大模型完全不同,吃的是 GPU 記憶體和它的頻寬,而且是**開著就一直佔住**,不是有請求才用。用舊機房的經驗去估這件事,通常會低估非常多。

把取捨攤開來看就很清楚。雲端:省事,而且你隨時用得到市面上最新最強的模型;但資料要出門,費用會隨規模一路上升。地端:資料留在自己家,可以離線,長期不用按 token 付錢;但硬體貴、能跑的模型通常比雲端頂規小一截,而且要自己維運。沒有哪一邊絕對比較好,是條件決定的。

那為什麼有人非地端不可?第一個、也是最常見的理由,是資料本身不能出門。商業機密、客戶個資、內部文件,一旦送出去,就變成「**你要能說明它去了哪、被誰留著、留多久**」。企業級的雲端服務其實可以簽到不拿你的資料訓練、不留存、指定放在哪個地區 —— 但那是**你要去談、去證明**的東西,不是預設就有。地端的差別在於這一題根本不用談:東西從頭到尾沒離開過你的機器。反過來也要誠實講:**地端不會自動通過稽核**。稽核要看的是存取紀錄、權限控管、誰動過什麼,這些在地端一樣要自己做,只是資料落地那一關比較好交代。

第二個理由是離線。有些工作環境根本不連外網 —— 工廠的產線、實驗室、還有一些機敏場域,規定就是不能連出去。在那種地方,雲端 AI 不是變慢,是直接等於零,完全不能用。這種情況下地端不是選項之一,是唯一的選項。

第三個理由是規模。雲端按用量計費,在小量的時候很划算,但當你是天天大量在跑 —— 整個部門、整間公司都在用 —— 帳單會累積到很可觀的程度。到某一個規模之後,自己買機器攤下來反而比較便宜。但這個算數要算對,而且很多人算錯:**地端的成本不是被「總用量」決定的,是被「尖峰同時幾個人在用」決定的** —— 你得買撐得住尖峰的那台。而且那台機器**沒人用的時候一樣在折舊、一樣在吃電**,雲端則是沒人用就不用付。所以真正划算的條件不只是「量大」,是「**量大而且很平均、機器一直有事做**」。買了一台一天只忙一小時的機器,那是最貴的用法。

第四個理由比較少人講,但對長期使用的人很重要:自主權。模型是哪一版、行為怎麼樣,由你決定。供應商改版、調整策略、或者漲價,你不會被牽著走。而且你可以拿自己的資料去調整它,做成真正「自家專用」的版本。

講完好處,也要誠實講代價,不然你會估錯。地端不是免費,你只是把「按 token 付」換成「一次買硬體」。而且那筆硬體錢之外,還有電費、維護、要有人顧它、幾年後還要汰換。另外一個常被忽略的:地端能跑的模型,通常比雲端最頂規的弱一截,而且會跟不上最新的進度。算總帳,不要只比表面單價。

所以我要特別說一句:地端不是預設值,是有需要才做。如果你的資料本來就能公開、用量也不大,那雲端就是最好的選擇,省事、便宜、還用得到最強的模型。我看過不少case是為了「感覺比較安全」硬上地端,結果花了大錢、跑出來的效果還比較差,最後沒人想用。

給你一個判斷順序,而且順序有意義,不要跳著問。第一題:這批資料能不能出門?這題是門檻題,不能出門的話,後面不用問了。第二題:用量大到雲端費用會痛嗎?這題決定的是划不划算。第三題:需不需要離線?這題決定的是可行不可行。三題都「否」,安心用雲端;有一兩個「是」,開始認真評估;三個都「是」,地端幾乎是必然。不過還有第零題,而且我認為是最重要的一題:**在花錢之前,先租雲端的 GPU 把你真正要做的那件事跑一遍。**因為地端最常見的失敗不是硬體挑錯,是那個能在自己機器上跑的模型,在你這個任務上就是做不到你要的品質 —— 這件事花一個週末租機器就測得出來,不必等到機器搬進辦公室才發現。**先驗證任務,再驗證硬體,最後才刷卡。**

實務上最好的答案,通常不是選邊站,而是混著用。一般的、不敏感的任務走雲端,方便又用得到最強的模型;敏感的、大量的、需要離線的那些,走地端。這從來不是一道二選一的單選題,而是你要有能力判斷「這一件事該放哪裡」。另外提醒一個很多人不知道的中間選項:你可以**租雲端的 GPU,自己在上面部署開源模型**。算力是租的,但模型版本跟系統權限是你的,不用一次砸錢買機器。這條路特別適合「還在試、不確定要不要買」的階段。

如果今天你只帶走一句話:雲端和地端沒有誰比較好,是「資料多敏感、用量多大、要不要離線」這三件事決定你把它放哪。堅持地端的人不是在趕流行,他們多半是被資料主權、規模成本、或離線需求逼出來的。你現在就可以拿手上正在跑的那件事,用那三題問一遍,答案通常很快就出來了。