← RealtimeCUA Bench

RCUA-027 · LIVE MEDIA · NATIVE BLENDER

边看视频,复刻同一枚火箭。

90秒教程持续播放;允许边看边做,结束后120秒内保存可编辑的 Rocket.blend。

v0.1.9210秒正式预算 · 600秒诊断中文任务 · 英文说明

任务指令

观看左侧实时播放的Blender制作演示,复刻视频中最终完成的同一枚火箭。允许边看边做;视频不可暂停、回放或快进。视频结束后还有120秒,请在截止前把可编辑的Blender工程保存为工作目录中的Rocket.blend(已打开空工程,可用Ctrl+S保存)。截止时自动封存最后一次由服务器完整捕获的保存,不以口头完成或渲染图片代替工程。具体造型和制作要求在视频中逐步出现。只能通过截图和普通鼠标键盘操作Blender与任务界面,不得使用Python控制台、脚本、终端、DOM或任务API。 保存以服务器完整捕获文件的时间为准,请确认页面已检测到保存;最后一个保存若损坏或不是完整工程则判失败,不自动回退到旧版。 工程大小上限64 MiB;符号链接不视为工程交付。 本题采用加权部分评分:机身20%、尖头15%、喷口10%、四片尾翼形状与布局25%、舷窗形状与位置10%、舷窗中心凹陷5%、四视角整体轮廓10%、整体空间范围5%。各项按公开几何容差通过则获该项分数,未通过只失去该项;总分0到1,同时另报完全成功。未及时保存、末次文件损坏或无法重开的交付为0分;可信环境故障单列异常。 舷窗中心凹陷分须在舷窗形状与位置通过时才可获得;没有舷窗不能凭裸机身表面获得该分。

英文页面提供说明译文,实际评测仍是同一个中文任务版本;没有把历史中文成绩当成英文变体成绩。

真实模型试跑

每模型、每预算各1局有效轨迹。分数是加权部分分,不是成功率;600秒是放宽时限诊断。

模型预算部分分动作端到端中位延迟
GPT-6.1 Sol210s0/100189.84s
GPT-6.1 Sol600s70/100249.40s
Original Qwen3.5-4B210s0/100295.66s
Original Qwen3.5-4B600s0/100805.87s

两者使用不同的原生动作/推理协议。GPT走AI Hub原生Responses;原始4B沿用旧general EvoCUA S2副本,thinking、4轮历史、100步,WAIT无额外睡眠。Qwen端到端耗时含Taiji转发和传图,服务端HTTP推理流中位数约1.75/1.93秒。不是严格单因素模型对照。

GPT在600秒诊断得70分:尾翼布局与整体范围未通过。Qwen在210秒保存空工程;600秒的80步中76次点击同一菜单标题,最终没有保存。输入与动作审计通过,基础设施异常尝试单独排除。

原始分项结果与边界说明 ↓

切换查看轨迹

1×真实时间截图回放,非连续录屏;观测之间保持上一张实际输入图。模型另外收到独立1Hz视频采样,本回放展示完整桌面的决策截图。

本局动作轨迹 ↓ · 本局原始评分 ↓

教程与目标预览

90秒真实Blender GUI制作演示。此处供人查看;正式任务按独立时钟逐帧释放,不能暂停、快进或读未来。
Reference rocket
评测部署者参考图;模型初始输入不包含此图或参考工程。

公开部分评分

评分项权重
机身形状与位置20%
尖头形状与位置15%
喷口形状与位置10%
四片尾翼整体形状与布局25%
舷窗形状与位置10%
舷窗中心凹陷5%
四视角整体轮廓10%
整体空间范围5%

截止前须捕获有效、可编辑、可重开的原生工程。未保存、空几何或末次文件损坏为0分;可信环境故障记null。舷窗凹陷分须先通过舷窗形状与位置。权重为本题制定,非ALE官方统一权重。

SCORING.md ↓ · rubric.json ↓ · 独立技术审查 ↓

69项测试通过,原生参考工程评分1.0,冻结483个文件。本地Linux桌面已验证;真实OSWorld VM集成未跑。

完整任务交付文件

包含instruction、公开rubric、独立时钟与应用源码、90秒视频及全部帧、空工程、setup/cleanup、可信保存与评分器、隐藏参考、依赖、来源及测试。Blender二进制另按依赖说明取得。主机包含隐藏答案,仅供部署者,不应作为solver输入。

无损TAR.XZ归档包含正式与诊断两个完整独立目录,每版483个冻结文件及manifest,视频帧、源码与参考均保留;下载后校验SHA-256。

download_task.py ↓ · 完整归档SHA与源文件校验清单 ↓
python3 download_task.py https://rongjiehuang.github.io/RealtimeCUABench/rocket/packages/manifest.json 210

本地运行

python3 initial_setup.py --run-dir /data/rocket-trial01-trusted \
  --workspace /data/rocket-trial01-work --port 0 --with-blender \
  --blender-bin /absolute/path/to/blender
python3 reward.py --run-dir /data/rocket-trial01-trusted \
  --blender-bin /absolute/path/to/blender

Linux、Python3.10+、Blender4.2 LTS(本次4.2.23);可信评分另需numpy。正式评测将未来帧、参考与grader保留在可信侧,并复用独立低权限桌面或guest隔离。

README ↓ · dependencies.json ↓ · provenance.json ↓