第4Z课 · ZCode 浏览器自动化与桌面程序控制
本节要点
- 本课给 AI 装上「手」：前三课它会说、会配、会管，这一课让它动手干网页和软件里的活——Browser Use 管网页，Computer Use 管桌面软件，文档插件管交货
- Browser Use 零配置：桌面端内置浏览器，开个对话说人话就行——「打开 xxx，筛选到已完成，截图给我」
- 实战演示：巨潮网批量下载年报公告——它自己看页面、写下载脚本，一趟下来下了 20 个 PDF
- 它卡住或你要指定位置时，点「选取页面元素」点给它看；重复性的活让它分析页面写成脚本，比一步步点快得多
- 登录态是关键细节：账号登录一次它就记住，还能导入 Chrome 登录态（Windows 暂不支持）；能录操作视频；不能上传本地文件、只管它自己打开的标签页
- Computer Use 是「眼—脑—手」：截图读屏幕元素 → 决定点哪填哪 → 鼠标键盘代打 → 做完再验证；优先按无障碍语义找控件，认按钮不认坐标
- 开通两步授权：macOS 系统设置里给 ZCode 授予「辅助功能」和「屏幕录制」权限
- 选型口诀：网页的活找 Browser，软件的活找 Computer
上一课的「四大好用功能」让 ZCode 学会了自己干活——设个目标它自己跑到完。但那些活还是发生在「数字世界」里：写代码、跑脚本、管任务。而咱们财务审计的真实工作，一大半散落在网页和桌面软件里。这一课，就给它装上「手」。
1. 本课定位：从「会说会写」到「会点鼠标」
前三课下来，它已经会说（对话干活）、会配（加模型）、会管（目标模式、定时任务、多智能体）。但你会发现一个尴尬：让它下载网站上的公告，它得先「看」到网站；让它操作开票软件，它根本碰不到——AI 一直缺一双手。
这一课补上三双手，各管一段：
| 手 | 管什么 | 典型活 |
|---|---|---|
| 🌐 Browser Use | 网页里的活 | 电子税局查申报、银行流水下载、后台系统取数、网页填表 |
| 🖱️ Computer Use | 软件里的活 | Excel 客户端、开票软件、老财务软件、ERP |
| 📄 文档插件 | 交货环节 | Word 报告、Excel 汇总、PPT 汇报、PDF 整理 |
先交代个背景：操作浏览器，我们在 OpenCode 里玩过（Playwright MCP 那套），但操作桌面软件它不具备；现在 Codex 和 ZCode 都能做桌面控制——ZCode 是完全复刻 Codex 的，你接的是国内模型的话，直接用 ZCode 就行，不用去折腾 Codex（除非你用 Codex 自带的 ChatGPT 模型，那没问题）。
2. Browser Use：跟它说人话，它替你操作网页
ZCode 桌面端内置了一个浏览器——这是它跟 OpenCode 比，操作网页最舒服的地方：不用装 Playwright、不用配 MCP，零配置开箱即用。默认就是开启的，想关的话在设置 → 浏览器里可以开关。
用法简单到不像话：新建一个对话，侧边栏里打开浏览器，然后说人话——
打开 xxx 系统，筛选到「已完成」，截图给我。
它自己看页面，每一步都按网页的真实状态决定下一步干什么，全程实时可见，你就看着它点。
实战：巨潮网批量下载年报公告
我在浏览器里打开必应，搜到巨潮资讯网，进到公告页面，搜「年报」。然后点对话框里的「选取页面元素」，把需求直接说给它：
浏览器里面有这个巨潮网公告，我希望你帮我：输入关键词，搜索公告，把这些公告下载下来。
发送之后它就开始分析页面。说实话会比较慢，消耗 token 也稍大一点——演示时它用的是 DeepSeek V4 flash，我停掉换成了 GLM-5.3-flash 让它继续。这类「看页面」的活，用便宜模型跑完全不心疼。
卡住了？点给它看；重复干？写成脚本
这是它比 Playwright MCP 方便的地方：以前我们得不断改描述去形容页面长什么样；现在它直接看得到页面，它操作不了、或者你要明确指哪个按钮的时候，点「选取页面元素」选中那个元素，直接给他说就行。
还有一个重要经验：让 AI 一步步点浏览器，效率是比较低的。更好的做法是让它把页面分析完之后，**把整个流程写成一个脚本（爬虫）**去跑——视频里它最后就是这么干的。所以记住这个套路：
- 第一次：让它实机操作一遍，你看它跑通整个流程
- 跑通后：让它分析页面、把流程固化成脚本，以后秒出结果
四个关键细节
| 细节 | 说明 |
|---|---|
| 带着登录态去 | 用账号登录一次，它就把登录状态记住了，以后直接操作；还能导入 Chrome 的登录状态（Cookie），需要账号的网站免重新登录（此功能 Windows 暂不支持）。以前用 Playwright MCP，每次都得开个新浏览器重新登录——这点是它最大的优势 |
| 会录操作视频 | 整个操作过程能录成视频，复盘、留痕、给同事看都方便 |
| 不能上传本地文件 | 网页要求上传附件的活，它暂时办不了，得你手动传 |
| 只管自己的标签页 | 只操作它自己打开的页面，不会乱动你正用着的网页 |
💡 桌面端没看到浏览器功能？去插件市场装一下：「浏览器操作」是一个插件，「电脑操作」是另一个插件，各装各的。市场里还有自动化视频剪辑、Web 录制转录之类的插件，感兴趣可以自己逛逛。
3. Computer Use：给 AI 一双操作软件的手
浏览器再强，也只能管网页。可不是所有软件都有网页版——Excel 客户端、开票软件、老财务软件、ERP，这些装在电脑里的程序，以前 AI 碰不了。现在 Computer Use 来了（ZCode 3.9+ 桌面版新功能）。
它的原理，说白了就是给 AI 配了「眼—脑—手」：
| 器官 | 干什么 |
|---|---|
| 👁️ 眼睛 · 观察 | 截图你的桌面、读取屏幕元素，用视觉模型看懂界面（必须要视觉模型，它得能看懂画面） |
| 🧠 大脑 · 决定 | 判断该点哪个按钮、往哪个框里填什么 |
| 🖱️ 手 · 执行 | 用鼠标键盘代替你去点击、输入 |
| ✅ 验证 | 做完再看一眼屏幕，确认操作生效了 |
正因为直接操作「屏幕上的一切」，它通用性极广：管你什么软件，只要人能用鼠标键盘干的，它理论上都能干。
实战：让它打开 ZCode 的设置界面
新建一个任务会话，里面可以直接指定 computer use（不打标记直接说也行，它自己会选）。我给它的指令是：
帮我打开 ZCode 的设置按钮里面的模型配置界面。
然后就看着它打开设置界面，模拟鼠标一步步点进去，模型配置页已经帮我们打开了。它过程中截的图你都能看到——它看到了什么、里面有什么内容，全程透明。
三个使用心得：
- 让它保留脚本：干完的活可以让它把操作留成脚本，下次复用
- 跟它说「这个任务以后经常做」：它会按可复用的方式去做——这其实就替代了以前的 RPA 流程机器人。比如导账，以前要有人在 RPA 工具里搭流程，现在你把流程说一遍，它就会做了
- 用便宜模型跑：GLM-5.3-flash 现在非常便宜，用它跑这种自动化，以前觉得困难的事，现在放心让它试
至于大家关心的「会不会跟我抢鼠标」：macOS 上它是后台派发操作——不移动你的真实鼠标、不抢焦点，你看到的那个「模拟鼠标」只是它的操作指示。它点它的，你干你的。
⚠️ 开通需要授权两步：打开 macOS「系统设置」，找到 ZCode，授予 ①辅助功能 ②屏幕录制——它要截图、要读屏幕元素，没这两个权限动不了。另外提醒：Computer Use 消耗 token 比较多、效率也谈不上高，适合救「没有网页版、导不了数据」的软件的命，别拿它干脚本能干的活。
回头一看：巨潮网的活干完了
前面让它在巨潮网下载公告，讲着讲着那边已经有结果了：它自己写了 Python 脚本去下载，我让它打开下载目录一看——20 个 PDF 已经躺在里面了。这就是「先实机操作、再固化成脚本」的完整闭环，也大大降低了用 AI agent 干活的门槛。
4. Browser vs Computer：活在哪，用哪双手
| 🌐 Browser Use | 🖱️ Computer Use | |
|---|---|---|
| 活在哪 | 网页里（它自己打开的标签页） | 桌面软件窗口里 |
| 典型场景 | 电子税局、申报系统、抓网页数据 | Excel 客户端、开票软件、老财务软件、ERP |
| 前提 | 内置即用，零配置 | 授权「辅助功能 + 屏幕录制」 |
| 稳不稳 | 读得到页面结构，最稳 | 优先无障碍语义找控件，认按钮不认坐标，较稳 |
| 代价 | 分析页面较慢、费点 token | 更费 token、效率不高 |
口诀一句话：网页的活找 Browser，软件的活找 Computer。
5. 文档插件：干完活，还得会「交货」
取数、操作都会了，最后一步是把结果交货。ZCode 内置了一个文档技能插件（document-skills），官方出品，Word、Excel、PPT、PDF 四件套的操作都带来了：
- Word：审计发现一键成文，带格式、带修订
- Excel：读乱账、改公式、多表汇总
- PPT：汇报片自动生成，还能实时预览、改哪刷新哪
- PDF：报告排版、发票/回单整理提取
安装老规矩：设置 → 插件管理 → 插件市场，找到「文档技能」点安装。装完它就具备这几类文档的操作能力——你感觉又能干很多很多事情了。
6. 组合实战：三双手一条龙
单看每一双手都只是个功能，串起来才是生产力。举个财务最熟悉的场景——核一遍客户的申报数据：
- Browser Use 取数：带着登录态登录电子税局，把申报表导出来
- Computer Use 加工：在 Excel 客户端里对数、标差异——客户端里的函数和格式，网页工具搞不定，它能直接操作
- 文档插件交货：整理成差异清单 Excel + 复核报告 Word
你只做最后一步：验收。专业能力靠 skills、分工靠 subagent（前面几课都学过），动手就是这三双手。
7. 总结与作业
这一课把 ZCode 从「会说会写」升级到了「动手交货」：
- Browser Use：内置浏览器说人话就干活，登录态记住免重复登录；批量下载这类活，让它写成脚本跑最划算
- Computer Use：眼—脑—手操作任意桌面软件，两步授权开通，macOS 后台操作不抢你的鼠标
- 文档插件：Word/Excel/PPT/PDF 四件套管交货
- 这套能力 Codex 也有，ZCode 是完全复刻——接国内模型，用 ZCode 就够了
课后作业：
- 用 Browser Use 打开你常用的一个网页系统，让它筛选一个列表、截图给你看
- 在系统设置里给 ZCode 授予「辅助功能 + 屏幕录制」，然后让 Computer Use 在你的某个桌面软件里完成一个小动作（比如打开某个菜单）
- 挑一个你常逛的公告/数据网站（比如巨潮网），让 Browser Use 分析页面写成脚本，批量下载几份文件
- 装上文档技能插件，把下载下来的数据整理成一份 Excel 汇总表