如果你最近開始玩 Hermes Agent、Browser Agent 或 Computer Use，應該很容易遇到同一個問題：到底要裝哪些工具，才能讓 AI 不只是回答問題，而是真的替你操作瀏覽器、點桌面程式、下載檔案，甚至自己判斷該用 API、網頁自動化還是滑鼠鍵盤？這篇就用最白話的方式，把 2026 年 Computer Use Agent 的核心概念、Fara 1.5、Hermes Agent，以及真正值得裝的 Browser／Computer Use 能力一次整理清楚。
1. CUA 到底是什麼？
CUA 通常指 Computer-Using Agent 或 Computer Use Agent。最簡單的理解，就是「會自己使用電腦的 AI Agent」。
一般大型語言模型比較像顧問，你問：「我要怎麼登入網站下載發票？」它可能告訴你步驟；CUA 則是直接自己開瀏覽器、找到登入欄位、輸入資料、點選單、下載檔案，再把結果交給你。
LLM 是「告訴你怎麼做」，Agent 是「會使用工具」，CUA 則是「真的可以操作電腦把事情做完」。
它通常會不斷循環五個步驟：
讀取螢幕截圖、網頁 DOM、Accessibility Tree 或目前程式狀態。
理解目前畫面，判斷下一步應該做什麼。
執行 click、type、scroll、drag、快捷鍵或開啟程式。
重新確認剛剛的動作是否真的成功。
如果失敗，就換方法、重新規劃，而不是無限重複同一個動作。
2. 2026 年的 Computer Use 已經不只是「AI 點滑鼠」
早期大家想到 Computer Use，常常就是「AI 看一張截圖，猜按鈕在哪裡，再點座標」。這個方式雖然直覺，但其實很慢，也很容易出錯。
現在比較成熟的架構，會讓 Agent 自己在多種工具之間做選擇：
Agent → 判斷最佳操作方式 → API / Browser DOM / Playwright / Desktop GUI / Screenshot Vision真正高效率的 Agent 不會什麼都用滑鼠。假設網站本身有 API，它可能直接呼叫 API；如果網站結構清楚，就讀 DOM 或 Accessibility Tree；只有碰到 Canvas、特殊元件、原生桌面程式或結構化工具失效時，才退回視覺操作。
這也是 OpenAI Computer-Using Agent、瀏覽器 Agent 與新一代 Computer Use 系統共同演進的重要方向：不是模仿人類每一步，而是選擇最可靠的方式完成工作。
3. CUA 和傳統 RPA 到底差在哪？
如果你以前用過 UiPath、Power Automate 或其他 RPA 工具，可能會覺得 CUA 聽起來很像「比較聰明的自動點擊器」。其實核心差異就在於：RPA 主要依賴預先設定，CUA 則能根據情境重新理解與規劃。
| 比較項目 | 傳統 RPA | Computer Use Agent |
|---|---|---|
| 操作邏輯 | 固定流程與規則 | AI 即時判斷 |
| UI 改版 | 容易因座標或 selector 改變而失效 | 可重新理解畫面或元素 |
| 遇到例外 | 通常需要人工先寫好例外流程 | 可嘗試重新規劃 |
| 自然語言 | 有限 | 通常是主要輸入方式 |
| 泛化能力 | 低 | 相對高 |
因此我會把它理解成：
4. Fara 1.5 為什麼值得注意？
如果你想走「本機 AI Agent」這條路，Microsoft Research 的 Fara 1.5 是目前非常有意思的一條技術線。
Fara 1.5 專門針對瀏覽器 Computer Use，提供不同規模的模型，包含 4B、9B 與 27B。它不是單純把一般語言模型外接一個滑鼠工具，而是針對網頁操作軌跡、截圖理解與 action prediction 做訓練。
體積較小，適合本機測試、研究與低延遲 Computer Use。
能力與硬體需求之間較平衡，適合進一步實驗。
能力更高，但顯示卡記憶體與推論需求也明顯增加。
Fara 1.5 權重目前公開提供，採 MIT License。這意味著你可以自行下載、研究、修改與部署；不過「模型免費」不代表整套系統完全零成本，實際使用仍可能需要 GPU、電力、雲端主機、Proxy 或瀏覽器基礎設施。
另外一個很重要的觀念是：Fara 比較像 Computer Use 專家，而不是拿來包辦所有工作的萬能主模型。
5. Fara 可以搭配 Hermes Agent 嗎？
可以，而且我認為這反而是比較合理的玩法。
Hermes Agent 比較適合擔任整個系統的「大腦」：負責規劃、記憶、Terminal、Skills、MCP、工具選擇與多步驟工作流程；Fara 則可以成為專門處理視覺瀏覽器操作的子 Agent。
Hermes Agent → 判斷需要 GUI → 呼叫 Fara → Screenshot → Click / Type / Scroll → 完成後把結果交回 Hermes例如你對 Hermes 說：「登入供應商網站，把本月帳單下載下來，再整理成表格。」理想流程可能是：
- Hermes 先判斷網站能不能直接用 Browser Tool。
- 如果 DOM 可以操作，就直接完成，不需要 Fara。
- 如果頁面是特殊 Canvas、難以讀取或需要純視覺判斷，再呼叫 Fara。
- Fara 完成下載。
- Hermes 再接手 PDF、Excel、檔案整理與報告。
也就是說，不要把 Fara 當 Hermes 的替代品，而是把它當成 Hermes 的專用 Computer Use specialist。
6. Hermes 要操作電腦，真正重要的是三層能力
這裡有一個很常見的誤區：很多人會拼命找 Skill，以為「裝越多，Agent 就越強」。其實 Hermes 操作電腦最核心的，反而是底層工具要先完整。
負責網頁操作，優先讀 Accessibility Tree、DOM、元素 ref，而不是只看截圖。
負責桌面 App、Finder、系統視窗、選單、鍵盤輸入與原生 GUI。
教 Agent 怎麼更聰明地使用前面兩層工具，以及不同平台有哪些注意事項。
Hermes 官方的 computer_use 是跨 macOS、Windows、Linux 的桌面操作能力，底層透過 cua-driver 讀取系統 Accessibility Tree，並執行輸入事件。它的重點不是單純模擬游標，而是盡量在背景操作，不必一直搶走你的滑鼠與鍵盤。
7. Hermes Agent 最值得裝的 Browser／Computer Use 工具
① Hermes Computer Use：第一優先
Hermes 本身已經附帶 Computer Use Skill。新版本安裝流程會盡可能一起準備 cua-driver；如果是舊安裝或當初略過，也可以再透過 Hermes 的 computer-use 安裝流程補上。
hermes computer-use install裝完後可以用：
hermes computer-use status確認 driver 是否正常。macOS 使用者還要特別留意「輔助使用」與「螢幕錄製」權限，否則 Agent 可能看得到工具，卻實際操作不了桌面。
② Browser Toolset：網頁任務的主力
只要任務發生在網站裡，通常應該優先走 Browser Tool，而不是直接動桌面滑鼠。
Hermes 的 Browser Automation 可以連接本機 Chromium 系瀏覽器，也可以使用 Browser Use、Browserbase、Firecrawl、Camofox 等不同 Provider。網頁通常會被轉成文字化的 Accessibility Tree，互動元素會獲得 ref ID，讓模型直接點選指定元素。
對 LLM 來說，這種：
[e1] Email
[e2] Password
[e3] Login通常比「看一張 1920×1080 截圖，自己猜 Login 在哪」穩定很多。
③ cua-driver Skill Pack：非常推薦補裝
如果你真的想讓 Hermes 更懂桌面環境，這是我最建議補上的知識包之一：
cua-driver skills install它會補上 macOS、Windows、Linux 的平台細節，例如 AX、UI Automation、AT-SPI、視窗處理、Browser page interaction、trajectory recording 等內容。
要注意，它和 Hermes 自己的 computer-use Skill 不是重複品。可以把兩者想成：
cua-driver Skill Pack：補充不同作業系統與 driver 底層行為的知識。
④ agent-browser：本機 Chromium 自動化
如果你想主要使用自己的 Chrome／Chromium 環境，agent-browser 是很實用的一層。它適合處理開頁面、點擊、輸入、導覽、抓資料與下載檔案等工作。
長期使用者可以考慮安裝 CLI：
npm install -g agent-browser⑤ HAR-derived API Client：我很推薦的進階 Skill
這個 Skill 的價值非常高，因為它會讓 Agent 開始學會：「不要每次都傻傻地點網頁」。
它可以從網站的 XHR／Fetch 網路請求與 HAR 資料，推導背後真正呼叫的 HTTP API。原本 Hermes 可能要：
登入 → 點訂單 → 選日期 → 搜尋 → 翻頁 → 讀結果之後有機會變成：
GET /api/orders → JSON → 完成這會直接降低 GUI 操作步數、Token 消耗與失敗率。
⑥ Browserbase、Browser Use、Camofox：有需求再加
如果只是自己的電腦使用 Hermes，通常 Local Chrome／Chromium 就夠。需要長時間 Cloud Browser、Session 持久化、Proxy 或較完整的 Browser infrastructure，再考慮 Browserbase 或 Browser Use Cloud。
Camofox 則比較偏 Firefox 與特殊瀏覽器自動化環境，不需要一開始全部裝滿。Agent 系統和手機 App 很像：功能越多不一定越好，真正需要的時候再加，反而比較容易維護。
⑦ Page Agent 不要裝錯用途
Hermes Optional Skill 裡的 Page Agent 名字很容易讓人誤會。它主要是讓開發者把自然語言 GUI Copilot 嵌入自己開發的 Web App，不是一般「讓 Hermes 去幫你操作所有網站」的主力工具。
8. 最重要的設計原則：API ＞ DOM ＞ GUI
如果這篇只記得一件事，我會希望你記住這個排序：
原因很簡單：越靠近 GUI，環境越複雜、畫面變化越多、需要的推論步數越長，錯誤也越容易累積。
例如查 100 筆訂單，如果用 API，也許一次 request 就完成；如果用 DOM，可能需要幾次頁面操作；如果完全靠視覺滑鼠，就可能變成幾十甚至上百個 action。
真正成熟的 Agent 應該自己判斷：
- 有 API → 直接 API。
- 沒有 API，但有穩定網頁結構 → Browser Tool。
- 網頁結構無法讀取 → Vision。
- 要跨 App 或操作原生桌面程式 → Computer Use。
這也是為什麼 Hermes、Fara、Browser Tool 與 HAR Skill 應該是互補關係，而不是互相取代。
9. 真正難的不是「會不會點」，而是能不能做完長任務
Computer Use Demo 最容易讓人驚豔的，是 AI 自己點開網站、輸入資料。但真正要拿來工作，最難的是 Long-Horizon Reliability。
假設每一步都有 99% 成功率，看起來已經非常高；但如果任務需要 300 步，整段流程完全不出錯的機率仍會快速下降。所以專業 Agent 系統不能只追求單次 click accuracy，還要有：
知道自己做到哪裡，而不是每一步都重新猜。
每完成一個重要步驟，就確認結果真的正確。
失敗時換方法，而不是無限重點同一顆按鈕。
長流程切段保存，避免一次錯誤整段重來。
遇到付款、刪檔、寄重要信件等高風險操作時交回人類確認。
另一個必須注意的是 Prompt Injection。當 Agent 可以讀網站內容時，網頁上的文字本身也可能試圖「命令」AI。設計良好的系統必須分清楚使用者指令、系統規則與外部網站內容，不應把網頁上的每一句話都當成可信指令。
10. 如果是我，會怎麼組一套 Hermes Computer Agent？
如果目標是打造一套真正實用的個人 AI Agent，我不會讓所有事情都丟給同一個模型硬做，而會做分層：
Hermes Agent│├─ Reasoning / Planning / Memory│├─ Terminal / Files / MCP│├─ API Layer│ └─ HTTP / HAR-derived client│├─ Browser Layer│ ├─ Browser Tool│ ├─ agent-browser / CDP│ └─ Browser Use / Browserbase（需要時）│├─ Computer Use Layer│ └─ cua-driver│└─ Vision Computer Use └─ Fara 1.5（需要視覺 GUI 時）
實際執行時，Hermes 先當「專案經理」：理解任務、拆解步驟，再決定哪個工具最適合。只有當結構化工具真的處理不了時，才把畫面交給 Fara 或其他視覺 CUA。
- Hermes Computer Use
- Hermes Browser Toolset
- cua-driver
- cua-driver Skill Pack
- agent-browser
- HAR-derived API Client
- Fara 1.5（需要視覺 Browser Agent 時）
- Browserbase／Browser Use／Camofox（有特定需求再加）
最後你會發現，Computer Use Agent 真正迷人的地方根本不是「AI 終於會按滑鼠」；而是它開始具備一種很接近數位工作者的能力：自己判斷該查 API、讀網頁、跑程式、操作桌面，並把不同工具串成完整工作流程。
當 Agent 可以同時擁有 Browser、Terminal、Python、Filesystem、Office、Email、API 與 Desktop，未來我們給它的指令可能只需要是：「幫我整理今天所有客戶資料，找出值得追蹤的對象、更新 CRM，再做一份明天會議要用的簡報。」剩下的操作細節，會逐漸交由 Agent 自己決定。
本文屬於技術知識整理與實驗性教學，不代表任何軟體、模型或第三方服務在你的裝置與環境中一定能正常運作。Computer Use Agent 具有實際操作電腦、輸入資料、讀取畫面與執行指令的能力，安裝前請先確認來源、權限與程式碼可信度，並避免直接讓 Agent 取得網銀、支付工具、密碼管理器、公司正式環境或其他高敏感權限。涉及付款、刪除資料、寄送正式信件、修改雲端帳號與不可逆操作時，建議保留人工確認機制並建立備份。不同版本的 Hermes Agent、cua-driver、Browser Provider 與 Fara 可能隨更新調整指令與相依套件，實際安裝時請以官方最新文件為準。
