OpenGCUA：面向通用计算机使用（GCUA）的全开放技术栈首版报告

OpenGCUA: Toward a Fully Open Stack for Generalist Computer Use

作者（12 位）

Hanzhang Zhou, Long Li, Quyu Kong, Lei Wang, Panrong Tong, Long Chen, Tianyu Xia, Gongjie Zhang, Xu Zhang, Chen Liu, Jianan Zhang, Chenglin Cai

2026-10-15

阿里巴巴团队提出通用计算机使用智能体（GCUA）的定义与形式化，发布 OpenGCUA 首版：代码执行与 harness-to-model 决策转移两项设计在 OSWorld-v2 上使 8 个前沿模型的平均部分分提升 19.6 分、步数下降 53%，并初步开放真机 harness 与跨设备 SDK。

背景

计算机使用研究正从仅操作 GUI 转向视觉与程序化接口并用的系统。作者以 GPT-6 Astra 等前沿闭源系统为代表，指出其模型权重、提示词、执行轨迹等不可获得，限制了社区对设计选择的系统研究。为此他们提出并开源 OpenGCUA 项目，本报告为首个 release，不含训练好的模型，仅验证智能体设计、发布实现与轨迹，并给出路线图。

创新点

定义 GCUA：模型在每一步决定观察什么、如何行动、如何组织工作；GUI 智能体、CLI 智能体、多智能体混合系统及 GUI+CLI 智能体（如 Qwen-UI-Agent）均为其特例，并给出形式化 $(q_{t}, p_{t}, m_{t + 1}) ~ π_{θ} (\cdot ∣ m_{t}, o_{t})$ 。
提出代码执行设计：GUI 操作、shell 命令与 API 调用统一写为带循环、分支、变量的程序；归纳出跨接口组合、循环执行、结果依赖执行、观察准备、可执行验证五种模式。
提出 harness-to-model 决策转移：将按需截图、任务状态跟踪（todo 接口）、动作意图声明等由固定 harness 规则移交给模型决定。
在 OSWorld-v2 离线集上对 8 个前沿模型验证：平均部分分提升 19.6 分、每任务步数平均减少 53.0%；并发布全部评估轨迹、提示词与实现。
发布初步的真机 harness（五层架构，应对人机共享机器、后台窗口等挑战）与跨设备 SDK（统一编程接口覆盖电脑、浏览器与手机，操作绑定显式目标）。

方法

GCUA 形式化：设 $s_{t}$ 为计算机状态、 $m_{t}$ 为工作状态、 $o_{t}$ 为上一步观察，策略 $π_{θ}$ 联合决定观察请求 $q_{t} \subseteq {screenshot, AX tree}$ 、程序 $p_{t}$ （调用 GUI/AX/CLI/API 原语并支持控制流）与状态更新 $m_{t + 1}$ ；观察由执行输出与各视图渲染共同组成 $o_{t + 1} = (e_{t}, {v_{q} (s_{t + 1})}_{q \in q_{t}})$ 。
代码执行实现：系统提示规定 PyAutoGUI 桌面交互、bash() shell 命令（真机另含 Playwright），每步一个 <code> 程序块；harness 提取、语法检查并执行，返回 stdout/stderr/状态及按需截图。
代码执行优势：中间结果可在程序内决定后续操作而无需再次调用模型；模型可直接复用已有编程能力完成计算机交互，批处理动作被视为无控制流的特殊程序。
harness-to-model 决策转移三机制：按需观察（模型通过 screenshot() 决定是否请求新截图）、任务状态跟踪（todo.update()/todo.list() 区分 pending、changed_unverified、claimed_verified）、动作意图（每个程序前附 <intent> 说明目的）。
上下文管理仍由 harness 负责：滚动截图缓冲按批删除旧图、micro-compaction 对文本工具输出做滚动压缩，以在限长与缓存命中间折中。
真机 harness 五层架构：模型、运行时（持久解释器、跨轮保留变量与绑定）、设备 SDK、驱动（含前后台投递策略与类型化错误）、应用与操作系统。
跨设备 SDK：操作显式绑定设备/应用/窗口/标签页；ui.ax 提供结构化语义观察与元素操作，ui.vision 提供图像与坐标交互；观察采集与向模型交付分离（mu.emit），平台能力经 .android/.macos/.browser 等命名空间显式声明。

实验

OSWorld-v2 离线集（82 任务，v2.1）：对比 GUI-only 批处理基线与完整 OpenGCUA 配置，8 个模型（Claude Opus 5、GPT-6 Astra、Gemini 3.8 Flash、Qwen3.8-Max/Flash、Kimi K3、DeepSeek-V4.1-Flash、GLM-5.3-Flash）平均部分分由 45.3 升至 64.9（+19.6 分），每任务步数平均减少 53.0%，输出 token 平均减少 27.2%；GLM-5.3-Flash 提升最大（+35.2 分），GPT-6 Astra 步数减少 6
GUI+CLI 混合基线 vs GCUA：在相同 GUI+CLI 访问下，OpenGCUA 在 4 个模型上分数提高 4.4–9.1 分且步数更低（如 Qwen3.8-Max 57.2→64.0，步数 -13.8%），说明执行与工作流控制设计独立于接口访问带来增益。
代码执行消融（3 个模型，4 种配置）：代码执行在任务分与步数上均优于单动作 GUI、批处理 GUI 与批处理 GUI+CLI；相对批处理 GUI 行动作分提升 15.5–33.6 分、步数减少 55.3%–63.1%；相对 GUI+CLI 基线 GLM-5.3-Flash 提升 7.4 分，Qwen3.8-Max 步数减少 17.0%。
按需观察消融：对两个模型，仅按需请求截图即分别提高缓存命中率 10.5 与 14.4 个百分点且不降低任务分。
真机初步结果（4 个 macOS 任务，最多 3 次运行）：GPT-6 Astra 平均每任务 34.5 步、12.9K 输出 token、完成 4/4；Qwen3.8-Max 为 50.8 步、73.4K token（其中推理约 50.2K，为 GPT 的 19.4 倍）、完成 3/4；费用排序与 token 排序不同（Qwen $1.49 / 任务 v s G P T$ 18.29/任务）。

局限

本 release 不包含训练好的模型，仅验证了基于现有模型的智能体设计；harness 与 SDK 仍为初步版本。
端到端延迟未实测：步数与输出 token 不能替代对模型响应时间与工具执行时间的直接测量。
真机评估仅为初步：仅 4 个 macOS 任务、最多 3 次运行，模型与任务覆盖有限，DeepSeek 缺酒店任务轨迹无法汇总；真机基准仍在开发中。
任务状态记录（todo 状态、意图声明）反映的是模型自评而非独立验证；可执行断言也不能替代独立评估。
仅依赖截图时，按钮可用性、输入值等条件无法被程序读取，结果依赖的控制需额外模型调用；AX 树支持程度因应用而异。
协调归因需谨慎：论文中的系统（如 GPT-6 Astra、各 Qwen 模型）为给定正文中的专有名称，其性能数字来自作者报告的单一基准与少量真机任务，未独立复现，跨设置比较（如费用）依赖存档定价假设。（解读者观点）

AI 依据论文正文生成，经人工审核；数字与结论以原文为准。