章节索引6 个标题 · 点击展开＋
以前让 AI 操作电脑上的软件，靠的是截图给模型看、猜坐标再用鼠标点过去：费 token，它干活时还占着你的鼠标键盘。
Vercel Labs 昨天（11 月 5 日）给开源工具 agent-desktop 发了 1.2.0，加上了 MCP 支持。它直接读系统的无障碍树、给每个按钮编号让 AI 按号点，不用截图；按编号的操作默认在后台执行，不占你的鼠标键盘。
我一年光 AI 订阅就要 1.7 万，月底对账最烦，就拿它当案例：接进 WorkBuddy，让它控制计算器把 15 笔账单逐笔加总、填进记事本，全程 0 截图，55 次按键一次没点错。
客户端直接在官网下载（https://www.workbuddy.cn），装好后打开就能用。
两句大白话装好并启用 67 个工具#
第 1 步：打开客户端，点击左侧侧边栏的「新建任务」，进入空白对话窗口。
第 2 步：完全不用自己去配底层环境，直接在对话框输入安装要求：
帮我在电脑上安装最新版的 agent-desktop 工具，装好后检查一下版本号告诉我。
等了 42 秒（消耗 WorkBuddy 积分 2.17），它就装好了刚发布的 1.2.0 版本。
第 3 步：继续在输入框发一段话，让它把工具接进自身体系：
把刚装好的 agent-desktop 接入到你自己的工具里，接好后告诉我一声。
等了 59 秒（消耗 1.96 积分），它在本地配置文件里写好了接入信息，并提醒我去界面上手动信任。
第 4 步：点击左侧「专家·技能·连接器」，切到「连接器」标签，打开右上角的「自定义连接器」。
在 agent-desktop 旁边点一下「信任」，状态瞬间变绿，显示「67/67 个工具已启用」。整个接入过程只花了两分钟，没写一行代码。
第一次实操：只读计算器，不碰别的窗口#
接管桌面大家最担心的就是隐私，怕它把屏幕上私密的聊天和工作文档顺手给读了。
第 5 步：我把系统自带的「计算器」打开放在一侧，回到 WorkBuddy 发送提示词：
我已经打开了「计算器」，请用 agent-desktop 只读取「计算器」这一个窗口里的按钮元素，千万不要列出我电脑上开着的其他窗口。
等了 47 秒（消耗 3.24 积分），它按计算器应用窗口做了定向快照，整整齐齐列出 36 个按钮的编号清单，后台开着的其他应用完全没被触碰。
算账填表：连按 55 次计算器加总 15 笔开销#
第 6 步：先让它生成 15 笔未汇总的混合账单：
帮我写一份包含 15 笔混合开销的月度办公与 AI 工具订阅账单明细，把不同类别的费用混在一起列出来，先不用算总数。
15 笔费用刻意混排，最后一笔是 145 元的 Zapier 专业版，接着看它怎么连贯操作。
第 7 步：在桌面新建一个空白记事本摆在旁边，在输入框粘贴指令：
现在用 agent-desktop 去点我桌面上开着的「计算器」，把刚才那 15 笔开销按类别一笔笔加起来核对，再把分类汇总和总金额填进我刚打开的空白「记事本」窗口里。做完告诉我一共花了多少秒、有没有点错。
发完后屏幕上的计算器按键就开始自动闪烁。根据后续执行完毕后的完整统计回复，这一步消耗了 7.95 积分，耗时拆解显示它连续点击了 55 次计算器按钮，纯按键花了 82.8 秒。
第 8 步：核对屏幕上的加总结果。桌面上并排摆着的计算器显示最终金额 1746，记事本中已按分类列好各项小计与总金额 1746.00，连按 55 次 0 失误。
第 9 步：让它在记事本末尾追加确认并按快捷键保存：
记事本里的汇总我看了，再用 agent-desktop 在记事本最后补一行「已用计算器逐笔核对无误」，然后帮我按快捷键把它保存到桌面上，告诉我完整的文件路径。等它执行完毕，记事本字符数从 581 变成 609，末尾加上了说明，并通过快捷键把文件存成了 2026-11 订阅账单分类汇总.txt。
不过这里必须要吐槽一句：仅仅是在记事本末尾追加这一行字并按保存，足足花了 3 分 49 秒。因为它每做一个动作都要重新确认一次界面状态，节奏确实拉得很长。
同场对比：和截图看坐标的老办法比#
为了搞清楚它和老办法的区别，第 10 步我把计算器清零并新开记事本，让它用传统方式重跑一次：
我们来测一下对比：这次不要用 agent-desktop，改用传统的屏幕截图看坐标方式，把刚才那 15 笔账单同样在「计算器」里重算一遍，并填进新的空白「记事本」窗口。做完如实告诉我这次花了多少秒、截了几次图、点偏了几次。
第 11 步：等老办法跑完，在输入框粘贴对比指令，让它汇总真实耗时与稳定性数据：
把刚才用 agent-desktop 和用传统截图做同一件事的真实耗时、点错次数列个小表格对比一下，用大白话讲讲为什么差别这么大。
两组实测对比下来的核心数据如下：
| 对比维度 | agent-desktop（1.2.0） | 传统屏幕截图 + 像素坐标 |
|---|---|---|
| 总用时 | 201 秒 | 216 秒（其中 116 秒是会话中断的空档） |
| 单次动作耗时 | 约 1.5 秒 / 次 | 约 0.15 秒 / 次 |
| 获取界面信息方式 | 系统快照（结构化，直接给元素编号） | 屏幕截图 + 视觉模型看图 |
| 实测点错次数 | 0 次（按控件编号定位） | 0 次（按硬编码像素坐标定位） |
| 截了几张全屏图 | 0 张 | 9 张 |
| 占不占你的鼠标 | 不占（后台按编号操作） | 占（截屏后用真实鼠标点坐标） |
一句话结论：两边都算对了、都没点错，总耗时也差不多（老办法中途断了 116 秒，扣掉这段它其实更快）。agent-desktop 赢在两点：全程不截图，不占你的鼠标键盘。
老办法每点一下只要 0.15 秒，但它不知道自己点对没有，每算一段就得截一张全屏给模型看，这次一共截了 9 张；而且它是拿真实鼠标去点坐标，实测时 WorkBuddy 还专门提醒屏幕上有个悬浮窗压在数字键上、会挡住物理点击。agent-desktop 每一步都要等界面稳定，单步慢，但它按按钮编号在后台操作，不用截图，你的鼠标键盘也空着。
最终成品与三大日常实用建议#
第 12 步：查看保存到桌面的账单成品文件。
文件一共 20 行、660 个字符，15 笔开销金额与分类分毫不差，末尾准确保留了核对说明。
第 13 步：除了算账，日常办公还能用它干什么？在输入框发送询问：
除了算账填表，平时处理电脑日常杂事还能用 agent-desktop 一句话干哪三件省事的活？
发送后，AI 给出的三个实用建议非常贴合日常自动化场景：
- 不可复制界面的数据提取：遇到老软件弹窗、只读报表这类鼠标划不动的地方，直接让它提取无障碍树，文本连带层级直接拿出来。
- 跨桌面软件的批量搬运：比如把表格里的十几组数据挨个复制，填进某款不支持批量导入的专用软件里，省去人工反复按 Alt+Tab 切窗口点按。
- 提取系统深层信息与状态监控：定时读取窗口状态或后台进程，一旦发现任务完成或弹窗报错立即回报，不用人一直守在电脑前。
客观评价与我的判断#
这次测试下来，agent-desktop 的不足我也直说：
首先是动作节拍慢。单次动作固定在 1.5 秒左右，点 55 次计算器用了 82.8 秒，补一行字加保存花了近 4 分钟，不适合毫秒级的批量压测。其次是按步消耗积分。全套跑完每一步都消耗了 0.55 到 7.95 不等的 WorkBuddy 积分，高频使用需要留意额度。
还有一点：不是所有操作都能在后台做。我之前测滴答清单时碰到一排长得一模一样、没有名字的输入框，它在后台模式下直接拒绝修改，得允许它加 --headed 切到前台、用真鼠标去点。
但对于独立开发者和一人公司来说，1.2.0 版本加上 MCP 后的实用性极高：不用截图给模型看、不用算像素坐标、不占鼠标键盘，动动嘴皮子就能装好接入。
如果你平时也被大量跨软件算账核对、填表搬砖的杂活烦透了，去 WorkBuddy 官网下一个客户端，按上面的提示词把它接进去跑一轮，把这些机械的桌面操作彻底扔给 AI。
我是孟健。连载在公众号「孟健AI编程」，掘金和知乎的专栏都叫「AI编程实战」。
这篇是免费笔记。要按你的项目往下做，看领航计划。
Related