約一個月前,微軟分享了自身的 AI 轉型經驗。他們發現,即使工具已授權給超過 20 萬人,早期業務團隊仍在廣泛部署後遇到使用停滯、預期成效未出現的情況。這也帶到企業推動 AI 時經常問的一個問題:員工取得 AI 工具後,究竟改善了什麼?
本篇 Aiworks 將從微軟的經驗談起,說明為什麼 AI 成效評估應該從商業成果出發,不同指標的要求會如何影響員工行為與 AI 的使用情境,以及這樣的評估能為企業帶來什麼好處。
採用率與用量,無法解釋工作改善了什麼
採用率、活躍人數與用量,是比較容易取得的數值,也方便比較不同團隊之間的差異。它們能呈現誰開始使用 AI、消耗多少 token,以及哪些單位還沒建立穩定的使用習慣。這些資訊可以幫助負責人掌握推動進度,不過,使用增加了多少和工作改善,是兩回事。
就像今年 4 月發生的 Tokenmaxxing 現象:Meta 員工建立了 Claudeonomics 排行榜,以 token 用量排名。當用量成為競賽目標,員工的注意力就可能偏向刻意讓數字變高。極端一點,甚至可能讓 Agent 不斷重複執行沒有實際用途的任務,只為了增加 token 消耗。
如果企業只在意 AI 用量,完成更多任務和請 AI 反覆重寫同一份文件,在數字上都可能被看成進步。這也是微軟強調從商業成果出發的原因:企業需要分辨,增加的 AI 使用究竟帶來更多可用成果,還是只是花掉更多費用。
從商業成果出發,如何影響員工選擇 AI 的用法?
微軟調整早期業務團隊的做法時,把評估焦點放回客戶價值、成交與員工的工作體驗,再盤點客戶經理的工作,選擇適合的 AI 情境。這些指標也傳達了企業期待員工用 AI 改善什麼。
假設企業鼓勵員工多用 AI,員工容易先想:「我的工作哪裡可以用 AI?」以業務為例,可能會請 AI 草擬客戶邀約信,增加使用次數與 token 用量,符合企業觀察的指標。
如果目標改為在相同工時內聯繫更多客戶,業務就需要思考:「如何用 AI 改善客戶聯繫與待辦處理?」這個問題會引導業務檢視流程卡在哪裡,找出能減少等待與來回處理的 AI 介入點。
例如,業務經常在拜訪前花大量時間翻找紀錄,就可以讓 AI 協助會後整理,彙整重點與待辦事項,減少查找資料的時間,把時間留給客戶溝通。

(圖片來源:使用 OpenAI ImageGen 生成,Aiworks 製作)
從商業成果設定指標,能引導員工找到對工作成效影響更大的 AI 介入點。企業也能據此判斷,AI 導入是否幫助團隊解決更多工作問題、在相同時間內創造更多價值,作為是否持續投入的依據。
從工作成果評估 AI,具體可以看哪些指標?
第一步可以回到各職能想改善的工作。內容團隊希望加快交付,業務希望更有效地管理客戶,客服希望在一定時間內回答更多問題,適合的指標自然不同。微軟的成效衡量指引也提到,應將 AI 場景連接到企業在意的價值。
以下是幾個依工作目的選擇指標的例子:
| 想改善的工作成果 | 可以觀察的指標 |
|---|---|
| 內容:維持品質、加快交付 | 每篇合格文章的完整工時、重寫次數 |
| 業務:改善客戶管理與聯繫 | 客戶資料準備時間、客戶待辦事項的完成率,後續再看成交率 |
| 客服:在相同時間內解決更多問題 | 每小時解決問題數,搭配解決品質與客戶評價 |
即使同樣從工作成果出發,每項成果對應的指標也不同。團隊需要花時間設計,釐清想改善什麼、如何衡量,以及多久能看出變化,才能讓評估反映實際工作。
從初期磨合到持續改善,AI 成效需要時間驗證
要讓 AI 改善工作,企業還需要協助員工把工具能力用到自己的任務上。微軟在另一篇內部導入經驗中提到,培訓需要配合員工的職能,讓他們了解模型的能力與限制,再透過日常情境學習應用。這些學習與調整,都會增加導入初期的成本。
除了工具導入成本外,相關的 AI 治理機制也需要同步建立,例如制定資料使用規範、安排權限與審核責任。在擴大應用範圍前,也需要釐清 AI 與人的分工,包括哪些環節需要人工驗證,以及誰負責後續處理。這些治理與團隊管理工作,同樣需要資源。
因此,短期評估可能會看到額外工時,甚至出現一段調整的陣痛。而微軟所談的 Learning Loop,則說明這些投入如何在實踐中累積。員工逐漸學會如何使用 AI、判斷產出,也透過回饋與調整,讓 AI 的產出更符合公司的情境與要求。人的協作經驗與 AI 的運用方式會互相影響,每一輪實踐都可能為下一輪調整提供更好的基礎。

(圖片來源:使用 OpenAI ImageGen 生成,Aiworks 製作)
當應用穩定、能持續協助處理重複任務,前期投入就有機會逐步發揮效益。例如,假設客服團隊花一整個工作天整理案件分類與處理要求、測試分流,後續若能每天穩定省下一小時,整體來看效益仍非常龐大。
因此,企業評估 AI 導入時,需要把前期準備與後續成果放在一起看。倘若其他同事也能沿用這些經驗,累積的價值還可能持續擴展到更多部門。
Aiworks 觀點:從小範圍試點,培養企業面對下一階段的應用能力
MIT Sloan 對生產力 J 曲線的介紹也提供了理解前期投入的角度:新技術需要搭配技能與流程等投入,這些準備的效益可能較晚才顯現。放到企業 AI 應用來看,值得追蹤的是工具導入之後,工作是否逐漸改善,以及有效用法能否持續運作。
Aiworks 認為,企業可以先透過小範圍試點,選一項希望改善的實際任務,讓員工在操作中累積 AI 協作經驗。這個過程也能幫助團隊發現培訓還缺什麼、哪裡需要人工判斷,並逐步建立同事之間可沿用的做法。即使一開始的成果有限,這些經驗也能為後續應用提供具體依據。
如果未來工具更容易使用、模型能力提升,或使用成本下降,企業就可能有更多值得嘗試的場景。已經擁有實務經驗的團隊,也會更有依據地判斷新工具能用在哪裡,並安排合適的分工。現階段以商業成果為方向,透過試點培養能在實際工作中運用 AI 的人才,企業就能一邊驗證當前效益,一邊為下一階段的應用做好準備。
📩 想為你的組織打造 AI 協作能力?
Aiworks 提供企業內訓、客製化培訓與實作工作坊,協助各產業團隊規劃生成式 AI 的導入與應用策略。
▼ 聯絡我們|規劃你的 AI 實戰課程,讓轉型真正落地 ▼
(若表單未正常顯示,請點擊此連結進入表單填寫頁面)
參考來源
- Measure the impact of your agents|Microsoft Learn
- Meta Employees Vie for AI ‘Token Legend’ Status|The Information
- Unlocking the value of Microsoft 365 Copilot and agents at Microsoft|Microsoft Inside Track
- The Productivity J-Curve: How Intangibles Complement General Purpose Technologies|American Economic Journal: Macroeconomics