AI 到底跑在哪裡?

先講你最熟的那一條:雲端。你打一句話進對話框,這句話其實是透過網路,送到供應商的伺服器上。真正在算的,是他們機房裡那一整排昂貴的 GPU;算完,再把答案傳回你的螢幕。所以你手上這台電腦或手機,其實沒在做什麼粗重運算,它只負責把話送出去、把答案收回來。真正的引擎,在遠方別人家裡。

雲端最大的好處,是你不用養一台機器。不用買 GPU、不用管散熱、不用擔心它壞掉,想用就用。相對地,你付的是「使用費」,通常按用量算,也就是前面提過的 token,送進去和拿回來的字越多,付得越多。這種模式門檻很低,新手第一天就能上手;但要記得,它是用越多、帳單越大,規模一拉起來,成本會跟著往上走。

現在講另一條路:地端。意思是,你把 AI 模型整包下載下來,放在自己的機器、或公司自己的伺服器上跑。這樣做有兩個吸引人的地方:第一,資料從頭到尾都在你家,不會送出去;第二,運算在本地做,理論上斷網也還能跑。當然天下沒有白吃的午餐,代價是:那台夠力的機器,得你自己準備、自己買單。

講到「把東西放自己機器上跑」,你可能想:這哪裡新鮮?公司自建機房,跑資料庫、跑內部網站,做了幾十年了。沒錯,傳統地端就是這樣,而且那種工作特性很清楚:負載穩定、可以預估,規格開好大概能撐多少人,心裡有底。所以很多人第一直覺是:地端我懂,不就以前那一套。但這裡有個關鍵陷阱。

陷阱在這:以前地端跑資料庫、網站,吃的主要是 CPU 跟一般記憶體。但現在地端要跑的是「大模型推論」,吃的資源完全不同,主要是 GPU 上的記憶體,還有資料在晶片裡搬動的頻寬,是另一個量級。你拿以前規劃機房的老經驗直接套上去,幾乎一定估錯。一台跑得動公司網站的伺服器,很可能連一個像樣的模型都塞不進去。這是最多人踩的坑。

兩邊的取捨擺一起看就清楚。雲端:省事、隨開隨用,用到的通常是最新最強的模型;但資料要送出門,用量一大,帳單一路往上。地端:資料留在家、可離線、長期重度用不必一直付 token;但硬體很貴,受限於機器,能跑的模型通常比雲端頂規小一截,還得自己維護。沒有一邊是全贏的,全是取捨。

這裡要打破一個常見誤解:很多人以為地端不付 token,就是「免費」。錯。你只是把付錢方式換掉,從「每次用付一點」,換成「一次砸一大筆買硬體」。而且硬體之外還有一堆隱形成本:電費、維護、過幾年還要汰換升級。所以判斷地端划不划算,不能只看省下的 token,要把買機器、養機器的總帳一起算,再跟雲端長期費用比。

既然地端不免費、也不一定比較好,那看什麼決定?抓三件事。第一,資料多敏感:有些資料因為隱私或規範根本不能送出去,這時地端幾乎是唯一選項。第二,用量多大:偶爾問兩句,雲端划算;天天大量跑,長期算下來地端才可能回本。第三,要不要離線:場景常沒網路、斷網也得動,本地跑就有價值。這三件事想清楚,答案通常就浮出來了。

講到這你可能以為雲端和地端要二選一。其實不是,真實世界最務實的做法是「混著用」。大部分不敏感的任務走雲端,方便又用得到最強模型;只有那些真的碰不得的敏感資料、或量大到雲端費用嚇人、或非離線不可的場景,才特地放到地端跑。你完全可以左手雲端、右手地端,兩條路一起走,各自處理最適合它的那部分工作。

你可能問,前面十幾集都在講 AI 能幫我做什麼,為什麼到這集才聊「跑在哪」?因為你只是偶爾問問題時,跑在哪不太重要。但當你開始把 AI 當助理、交辦一整串任務、餵它比較重要的資料,「它在哪運算、我的資料流去了哪」就變成你必須搞懂的事。知道跑在雲端還是地端,你才握得住兩樣東西:資料安不安全,還有成本會不會失控。

給你一個實際的判斷順序。第一個永遠先問:這批資料能不能送出門?只要不能,不管貴不貴,地端就是方向,直接跳過後面。資料可以送,再問第二個:用量大到會讓雲端帳單很痛嗎?不痛,老實說雲端最省事。真的很痛,才進到第三個:那台夠力的機器,我養不養得起、有沒有人會顧?這三個問題按順序走一遍,你就不會被「聽起來很酷」牽著走。

如果這一集你只帶走一句話,就是這句:雲端和地端沒有誰比較好,是你的資料多敏感、用量多大、要不要離線,這三件事決定你把 AI 放在哪裡跑。它不是一場「哪個技術比較先進」的比賽,而是一道看你自己需求的取捨題。不過你可能好奇,雲端這麼方便,為什麼還有一群人寧可花大錢、自己養機器,也堅持要用地端?下一集,我就來講講他們背後的理由。我們下一集見。