你是不是也興致勃勃地想要在自己的電腦上下載開源 AI 模型進行本地離線運算，結果一打開軟體，迎面而來的卻是「35B」、「128K Context 上下文」、「Custom Ceiling 24.00GB」等一連串硬核名詞？甚至模型剛準備載入就瞬間跳出記憶體不足（OOM）的錯誤提示而閃退？別擔心！這篇文章將由淺入深帶你一次搞懂 35B 參數量到底代表什麼、上下文長度如何影響運算資源，以及 Custom Ceiling 記憶體上限設定的保命關鍵，讓你輕鬆掌握本地 AI 的運算精髓！
1. 什麼是 35B？參數量到底代表什麼？
當我們在 Hugging Face 或各大開源平台下載大型語言模型（LLM）時，常常會看到檔名標註著 7B、14B、32B 或是 35B。這裡的「B」代表的是英文的 Billion（十億），因此 35B 就代表該模型擁有 350 億個參數（Parameters）。
💡 簡單比喻：參數就像是人類大腦中神經元之間的連結權重。參數量越龐大，模型吸收的知識儲備、邏輯推理能力以及理解複雜語境的表現通常就越聰明、越精準。
不過，天下沒有白吃的午餐。模型的參數量直接決定了你需要多少顯示卡記憶體（VRAM）或電腦統一記憶體（Unified Memory）才能將它載入：
- 未壓縮的原生模型（FP16/16-bit）：每一個參數約佔用 2 Bytes，因此一個 35B 模型光是載入就需要高達 70 GB 的顯示卡記憶體，一般消費級電腦完全無法負擔。
- 4-bit 量化壓縮版（如 Q4_K_M / OptiQ-4bit）：透過演算法將模型權重進行 4-bit 壓縮後，35B 模型的容量能大幅縮減至 20 GB ~ 24 GB 左右，讓高階顯示卡（如 RTX 3090 / 4090）或具備 32GB 以上記憶體的 Mac 電腦也能順暢在本地運行。
2. 什麼是上下文（Context Window）？為什麼越長越吃資源？
在 AI 模型中，上下文（Context Window 或 Context Length）指的是模型在單次對話或任務處理時，能夠同時「看見並記住」的資訊總量，通常以 Token 為單位計算（例如 8K、32K、128K Token，1K Token 約等於 750 個英文單字或 500~700 個繁體中文字）。
上下文是模型的短期工作記憶區，它包含了以下所有資訊的總和：
很多新手會好奇：「既然開源模型支援 128K 上下文，為什麼我不直接開到最大？」
關鍵在於 KV Cache（鍵值快取）機制。當對話長度不斷增加時，系統必須為每一個 Token 建立注意力快取，這會造成顯示卡記憶體的動態飆升。如果一開始就把上下文拉得太長，往往對話還沒聊幾句，顯示卡記憶體就直接被塞爆了。
3. 什麼是 Custom Ceiling？防止系統崩潰的關鍵防線
在使用本地推論軟體（例如 LM Studio、Ollama、OpenCode 或各類推論框架）時，你可能會在記憶體設定中看到 Custom Ceiling（自訂上限 / 天花板限制），有時也會標註為 custom_ceiling_bytes 或 Context Ceiling。
⚠️ 常見錯誤情境：當你嘗試載入一個 24.13 GB 的 4-bit 35B 模型時，軟體突然報錯：Model does not fit under the dynamic memory ceiling (24.00GB)，這就是因為該軟體設定的 Custom Ceiling（24.00 GB）小於模型本體載入所需的空間！
Custom Ceiling 的核心價值在於安全防護與資源控管：
- 防止系統記憶體溢出（OOM, Out of Memory）：在多工環境下，作業系統與螢幕顯示本身就需要佔用數 GB 記憶體。設定 Ceiling 能強制劃出安全界線，避免 AI 耗盡全部記憶體導致整台電腦凍結死機。
- 動態調配模型與上下文比例：若硬體資源有限，透過手動設定 Ceiling，能精準限制推論時的最大動態快取，確保模型能穩定運作不閃退。
4. 三者核心關係解析：大腦、筆記本與工作桌面
要徹底搞懂 35B、上下文與 Custom Ceiling 之間的互動關係，我們可以用「大腦智商、筆記本大小與工作桌面積」來做最生動的比喻：
🔥 核心運算公式：總記憶體消耗 ≈ 模型本體容量 (35B 權重) + 動態上下文快取 (KV Cache) + 系統基本開銷
👉 當這個總消耗超過了 Custom Ceiling 設定值，軟體就會阻斷執行；若超過了實體顯示卡記憶體極限，系統就會直接崩潰閃退！
5. 新手實戰：如何根據硬體配置選擇量化模型與設定？
瞭解了這些原理後，我們在實際操作時該如何做出最佳配置？以下針對台灣目前常見的主流電腦規格提供具體的選用指南：
規格 A：16 GB 顯卡 / 記憶體
代表配備：RTX 4060 Ti 16G、Mac 16GB 機型
- 推薦模型規模：7B ~ 14B（Q4_K_M 或 Q8_0 量化）
- 上下文設定：建議設定 8K ~ 32K Token
- 評估重點：不建議硬跑 35B，因為即使 4-bit 壓縮也超過 20GB，會發生嚴重的記憶體溢出。
規格 B：24 GB ~ 36 GB 顯卡 / 記憶體
代表配備：RTX 3090/4090 24G、Mac 32GB/36GB 機型
- 推薦模型規模：32B ~ 35B（4-bit 量化版）
- 上下文設定：建議鎖定在 8K ~ 16K Token
- 設定技巧：必須將推論軟體的 Custom Ceiling 調高至 26GB ~ 28GB（Mac 共享記憶體環境下），確保模型能順利載入。
規格 C：64 GB 以上大容量記憶體
代表配備：高階工作站、Mac Studio 64GB/128GB
- 推薦模型規模：35B（高精度 Q8 量化）或 70B（4-bit）
- 上下文設定：可自由開放至 32K ~ 64K 以上長文本
- 優勢：擁有充裕的空間容納大型 KV Cache，適合長篇文檔分析與高階程式碼重構。
6. 本地部署常見問題 QA 精選
Q1：為什麼我的 24GB 顯卡載入 24.13GB 的 35B 模型會失敗？
因為顯示卡本體需要保留一部分記憶體給作業系統桌面與螢幕輸出（通常佔用 1GB~2GB）。此外，模型在推論時還需要額外的顯存來存放 KV Cache。當模型本體就已經達到 24.13GB 時，實體可用空間不足，軟體的保護機制（Ceiling）就會判定無法容納而拒絕啟動。此時建議換用壓縮率更高的 3-bit/4-bit 量化版本（如 Q3_K_M 或更精簡的 OptiQ 版本），或改用參數量稍小的模型。
Q2：如果對話超過了設定的上下文上限，模型會變笨嗎？
模型本身的「智商（邏輯推理能力）」並不會下降，但它會產生遺忘現象。推論軟體通常會採用滾動截斷策略，自動忘記最早期的對話紀錄，只保留最近的對話內容。因此，如果你在對話開頭提供了重要設定，建議在長對話後重新提醒 AI。
Q3：本地運行 AI 模型，使用 GPU 運算和 CPU 運算差別有多大？
差別非常顯著！GPU（顯示卡）與具備高頻寬記憶體的 Apple Silicon 晶片擁有極高的記憶體頻寬，每秒生成文字速度（Tokens per second）通常是純 CPU 運算的 5 倍到 20 倍以上。如果模型完全溢出到一般系統記憶體（RAM）靠 CPU 硬跑，生成速度往往會慢到只剩每秒 1~2 個字，大幅影響使用體驗。
