3DCodeVerse：用代码探索与构建三维世界的大规模数据集与自动化验证框架

3DCodeVerse 构建了约 203 万对可执行三维程序数据集 3DCodeVerse-2M，并提出一个基于多智能体 DAG 的 3DCodeVerse Harness，以执行检查、空间度量与视觉反馈实现无人工干预的三维代码生成与迭代精修，显著提升开源模型与各类编码智能体的三维编码能力。

背景

三维内容创作正从传统的手工建模转向由代码驱动的自动化流程。与典型的二维生成工作流不同，基于代码的三维生成产出的不是静态像素，而是结构化、可执行的内容，用户可以编辑、复用、组合和检查这些程序。语言模型与编码智能体的进步进一步降低了门槛，使用户能通过文本指令创建复杂三维内容。

然而作者指出，跨环境共享的三维编码开发与评估基础设施仍然有限：DeepCAD、BlendNet 等提供 CAD 与 Blender 脚本的监督数据；SceneCraft、VIGA 等利用视觉反馈精修生成内容；Articraft 则结合专用 SDK 与铰接资产生成框架。

但这些资源在任务与环境之间呈碎片化分布：既有数据集多聚焦静态或铰接对象，而各类 harness 对视觉评估与自动化语料构建的支持各不相同。为此，作者提出 3DCodeVerse 生态系统，试图用统一的可执行代码语料和统一的三维代码生成框架弥合这些缺口，打通数据构建、程序合成、验证、精修与模型改进的闭环。

形式上，三维编码被定义为编写一个程序 $f$，使其在声明环境 $e$（如 Blender 的 bpy 或 CadQuery）中构建满足条件 $c$ 的三维内容，执行产生 $(a,\ell )={ℰ}_e(f)$，其中 $a$ 为网格、铰接资产、场景或动画等产出，$\ell$ 为执行反馈，$\perp$ 表示失败。

成功不仅要求可执行，还要求三维内容高质量，可通过参考资产下的度量 $𝒟(a,a^{\star })$ 或针对条件 $c$ 的程序化测量与渲染 $o=ℛ(a)$ 加以评估。

创新点

1. 构建 3DCodeVerse-2M 大规模可执行三维代码数据集，统一覆盖静态对象、铰接资产、场景与图形六类代码形态，共约 203 万对，且每个程序打包了执行所需的源文件与资产。
2. 提出 3DCodeVerse Harness：一个多智能体有向无环图（DAG）框架，用于三维程序的生成与精修，将执行检查、空间度量与视觉反馈结合，实现生成过程中无需人工反馈的自动评估与修订。
3. 开展系统性实证研究：在数据集上微调开源模型建立基线，并对 harness 进行组件级分析以得出实践指导，证明微调显著提升开源模型的三维编码能力。
4. harness 兼具推理系统与数据生成引擎双重角色：记录成功程序、失败尝试、针对性修复与偏好比较，为监督微调与偏好学习提供训练信号，形成数据—合成—验证—精修—模型改进的闭环。
5. 展示了三维编码在机器人仿真与视频生成等下游领域的应用，如将经验证资产导入 MuJoCo 并用代码渲染引导视频生成模型。

方法

• 任务形式化：三维编码是编写程序 $f$ 在环境 $e$ 中构建满足条件 $c$ 的内容，执行 $(a,\ell )={ℰ}_e(f)$，$x=𝕀[a\ne \perp ]$ 判定成功；生成策略 $\pi$ 可以单次生成 $f^{(0)}=\pi (c;e)$，也可以像开发者一样在编译—调试循环中基于执行反馈与渲染迭代，即 $f^{(t)}=\pi (c,\{f^{(k)},{\ell }^{(k)},o^{(k)}{\}}_{k<t};e)$。
• 数据集构建：并非简单聚合既有数据，而是系统性地将异构三维表示转换为可复用源代码并去除对专用或不可用库的依赖，例如将 DeepCAD 构造序列翻译为 CadQuery 程序、内联 Articraft 几何例程并保留 URDF 铰接规范；每条程序配有相关资产、文本描述、来源与可用的验证记录。
• 智能体化数据整编：编码智能体借助可复用技能库将依赖专用 API 的原始程序转换为环境 $e$ 中的独立程序 $f={𝒩}_e(f_{\mathrm{r}\mathrm{a}\mathrm{w}})$；检查工具 ${ℳ}_e(a)$ 返回部件清单、包围盒、接触与碰撞检查等度量，转换保真度用体素 IoU（DeepCAD）与 Chamfer 距离（Articraft）度量；VLM 从代码与渲染为程序生成指令、视觉描述与构造流程三种描述条件。
• Harness 总体架构：给定条件 $c$ 与环境 $e$，LLM 规划器先产出计划 $P={𝒜}_{\mathrm{p}\mathrm{l}\mathrm{a}\mathrm{n}}(c;e)$，指定目标部件、尺寸、材质、空间关系与验收标准；随后计划被翻译为编码与装配任务的 DAG $𝒢=(V,E)$，边编码前置依赖，显式的文件归属允许多个子智能体并行开展编码任务，装配任务在前置满足后整合代码，形成初始程序 $f^{(0)}$。
• 三类自动反馈：每轮 $t$ 收集执行反馈（构建与运行日志 ${\ell }^{(t)}$）、度量反馈（尺寸、接触、碰撞、运动学与放置的部件级违规及数值修正提示）与视觉反馈（VLM 评判器对照条件与验收标准检查多视角渲染，产生缺陷证据、标准分与修订建议 $j^{(t)}={𝒜}_{\text{judge}}(c,P,o^{(t)})$）；综合分 $s^{(t)}$ 加权标准并受度量违规与未满足要求封顶。
• 确定性空间门控与评分聚合：连接性门以地面接触且面数最多的部件定义主支撑结构，报告脱离部件及闭合间隙的精确三维平移向量；合同门按逐轴公差核对部件数、朝向与包围盒范围；综合轮次分数 $s^{(t)}=min\{u^{(t)},max(0,{\sum }_k{w}_k{\overline{s}}_k^{(t)}-{\sum }_d{\lambda }_d{\widehat{d}}_d^{(t)})\}$，其中通过确定性门控可否决 VLM 的矛盾视觉缺陷声明。
• 对抗式循环工程：开发时交替精修评判器与生成工作流，评判器一致性目标 ${ℒ}_J({\theta }_J)=𝔼[{Var}_r{s}^{(r)}+\lambda \rho (j,{ℳ}_e(a))]$，harness 改进目标 ${𝒰}_H={𝔼}_c[s(\widehat{f};{\theta }_J)]-\mu {ℒ}_{\mathrm{f}\mathrm{a}\mathrm{i}\mathrm{l}}$，用以在无人工反馈下提升自动反馈的可靠性。
• 铰接对象与多运行时支持：harness 覆盖静态对象、铰接机制、场景与图形四条生成轨道，由七个隔离语言运行时支撑；铰接轨道用 Blender Python 编写连杆几何、URDF 定义运动学，要求静止位姿满足 ${𝐓}_l(0){𝐓}_{v,l}{𝐱}_{\mathrm{w}\mathrm{o}\mathrm{r}\mathrm{l}\mathrm{d}}={𝐱}_{\mathrm{w}\mathrm{o}\mathrm{r}\mathrm{l}\mathrm{d}}$，并通过关节扫描在多构型下检测碰撞。

实验

• Harness 主结果：在 100 条文本生成三维对象提示上与各模型原生 harness 及 Claude Design 对比，3DCodeVerse Harness 在 3D 对象上的人类偏好达 69%–89%，评判分提升 11–25 分；对使用 Claude Opus 5.5 的 Claude Design，同骨干下 harness 在 90% 的人类对比中胜出，评判分 88 对 37；铰接对象、场景与图形上人类偏好达 78%–88%。
• harness 一致增益：跨骨干模型与任务，原生 harness 输出很少被偏好，而同一骨干在 3DCodeVerse Harness 内赢得大多数对比；较弱的模型获益最大（Gemini 3.8 Flash 从 61 升至 87，GPT-6 Luna 从 64 升至 86）；相比单次生成，harness 带来 15.5–29.1 分的提升。
• 微调大幅提升可执行性：Qwen3.5-9B 在 3DCodeBench 上零样本可执行率为 0%（主要因调用 Blender 5 中不可用的清场算子而立即失败），LoRA SFT 后升至 84.9%，Blender 上 90.3%、CadQuery 上 98.5%，OpenSCAD 与 GLSL 分别再提升 36.0 与 23.0 分；Qwen3.8-27B 经 SFT+DPO 从 51.9% 升至 92.9%（+41.0 分）。
• 几何保真度提升：微调后 9B 在 3DCodeBench 上 F＠0.05 从 0.000 升至 0.317、Blender 上从 0.008 升至 0.693；27B 在 Blender 上从 0.439 升至 0.798，CadQuery 上 27B 微调后 F＠0.05 达 0.798（相对提升 81.8%），且微调后 9B 在留出 Blender 测试集 93.2% 的通过率已接近参考脚本自身的 96/103。
• 消除度量偏置的检验：在不设上限、去尺度的视觉分 $S_{\mathrm{v}\mathrm{i}\mathrm{s}}$ 下，3DCodeVerse Harness 仍比 Claude Design 高 25.6 分（88.1 对 62.4，赢得 60 条提示中的 58 条），并经 SigLIP-2 文本—渲染相似度与盲测人类成对偏好多重验证，说明增益源于更高的几何保真与视觉工艺而非评分阈值。
• 数据规模与表示视角消融：三个 27B LoRA 运行仅改变统一文本导出的表示视图，全部平滑收敛无发散；完整导出（199 万行）的 Arm A 终端损失最低（0.274），293K 唯一指令—程序对的 Arm C 在四分之一的优化步数下即获得比 Arm B 更低的损失，体现两种互补的数据使用模式。
• 记录运行案例：在提示“三条腿木凳”的 Three.js 完整运行中，基准轮因连通性门发现三处 22 mm 楔—座穿插与六处脱离部件而得 0.410 分；首轮修复全部结构缺陷升至 0.844，次轮细化几何升至 0.933，全程 21 次模型调用、4.0 分钟、$0.74。
• 下游应用初步评估：将经 3DCodeVerse 工具验证导出的铰接资产导入 MuJoCo，在 12 个案例中，代码渲染及其 UWM VAE 重建全部通过固定的门—把手几何检查（12/12），而冻结 UWM 的预测仅 7/36 通过，显示三维代码可生成带显式几何与物理约束的机器人仿真资产。

局限

• 转换保真度因数据来源而异：DeepCAD 转换中仍有少量程序体素 IoU 低于 0.90（1,114 个程序需附显式保真度元数据供下游按阈值过滤），Shadertoy 多通道展平集初始无头编译率仅 84.6%，需自动语法与 uniform 修复才达 99.0%。
• 数据来源规模高度不均衡且质量分层不同：DeepCAD 与 Shadertoy 合计占约 92%，采集与转换程序仅在运行时可用处做执行与渲染检查，harness 生成的程序才附带门控与评判质量分层。
• 开放模型评估存在协议性局限：所有模型在固定测试集上以 T=0.7 单种子解码，评估依赖单一冻结评判管线（Gemini 3.1 Pro）与自动化度量，虽然配以人类偏好验证，但模型输出仍受代码提取、超时等确定性流程约束。
• 微调后的几何保真度仍绝对不高：27B 在 3DCodeBench 上 F＠0.05 为 0.374，9B 仅 0.317，说明可执行性提升远大于几何还原度提升，模型距离精确重建仍有明显差距。（解读者观点）
• 机器人与视频生成的下游验证仅为小规模初步评估（如 12 案例、少量资产与控制序列），尚不足以支撑通用性结论。（解读者观点）

AI 依据论文正文生成，经人工审核；数字与结论以原文为准。