← RealtimeCUA BenchRCUA-027 · LIVE MEDIA · NATIVE BLENDER
边看视频,复刻同一枚火箭。
90秒教程持续播放;允许边看边做,结束后120秒内保存可编辑的 Rocket.blend。
v0.1.9210秒正式预算 · 600秒诊断中文任务 · 英文说明
任务指令
观看左侧实时播放的Blender制作演示,复刻视频中最终完成的同一枚火箭。允许边看边做;视频不可暂停、回放或快进。视频结束后还有120秒,请在截止前把可编辑的Blender工程保存为工作目录中的Rocket.blend(已打开空工程,可用Ctrl+S保存)。截止时自动封存最后一次由服务器完整捕获的保存,不以口头完成或渲染图片代替工程。具体造型和制作要求在视频中逐步出现。只能通过截图和普通鼠标键盘操作Blender与任务界面,不得使用Python控制台、脚本、终端、DOM或任务API。 保存以服务器完整捕获文件的时间为准,请确认页面已检测到保存;最后一个保存若损坏或不是完整工程则判失败,不自动回退到旧版。 工程大小上限64 MiB;符号链接不视为工程交付。 本题采用加权部分评分:机身20%、尖头15%、喷口10%、四片尾翼形状与布局25%、舷窗形状与位置10%、舷窗中心凹陷5%、四视角整体轮廓10%、整体空间范围5%。各项按公开几何容差通过则获该项分数,未通过只失去该项;总分0到1,同时另报完全成功。未及时保存、末次文件损坏或无法重开的交付为0分;可信环境故障单列异常。 舷窗中心凹陷分须在舷窗形状与位置通过时才可获得;没有舷窗不能凭裸机身表面获得该分。
英文页面提供说明译文,实际评测仍是同一个中文任务版本;没有把历史中文成绩当成英文变体成绩。
真实模型试跑
每模型、每预算各1局有效轨迹。分数是加权部分分,不是成功率;600秒是放宽时限诊断。
两者使用不同的原生动作/推理协议。GPT走AI Hub原生Responses;原始4B沿用旧general EvoCUA S2副本,thinking、4轮历史、100步,WAIT无额外睡眠。Qwen端到端耗时含Taiji转发和传图,服务端HTTP推理流中位数约1.75/1.93秒。不是严格单因素模型对照。
GPT在600秒诊断得70分:尾翼布局与整体范围未通过。Qwen在210秒保存空工程;600秒的80步中76次点击同一菜单标题,最终没有保存。输入与动作审计通过,基础设施异常尝试单独排除。
原始分项结果与边界说明 ↓
切换查看轨迹
1×真实时间截图回放,非连续录屏;观测之间保持上一张实际输入图。模型另外收到独立1Hz视频采样,本回放展示完整桌面的决策截图。
本局动作轨迹 ↓ · 本局原始评分 ↓
教程与目标预览
90秒真实Blender GUI制作演示。此处供人查看;正式任务按独立时钟逐帧释放,不能暂停、快进或读未来。
评测部署者参考图;模型初始输入不包含此图或参考工程。
公开部分评分
| 评分项 | 权重 |
|---|
| 机身形状与位置 | 20% |
| 尖头形状与位置 | 15% |
| 喷口形状与位置 | 10% |
| 四片尾翼整体形状与布局 | 25% |
| 舷窗形状与位置 | 10% |
| 舷窗中心凹陷 | 5% |
| 四视角整体轮廓 | 10% |
| 整体空间范围 | 5% |
截止前须捕获有效、可编辑、可重开的原生工程。未保存、空几何或末次文件损坏为0分;可信环境故障记null。舷窗凹陷分须先通过舷窗形状与位置。权重为本题制定,非ALE官方统一权重。
SCORING.md ↓ · rubric.json ↓ · 独立技术审查 ↓69项测试通过,原生参考工程评分1.0,冻结483个文件。本地Linux桌面已验证;真实OSWorld VM集成未跑。
完整任务交付文件
包含instruction、公开rubric、独立时钟与应用源码、90秒视频及全部帧、空工程、setup/cleanup、可信保存与评分器、隐藏参考、依赖、来源及测试。Blender二进制另按依赖说明取得。主机包含隐藏答案,仅供部署者,不应作为solver输入。
无损TAR.XZ归档包含正式与诊断两个完整独立目录,每版483个冻结文件及manifest,视频帧、源码与参考均保留;下载后校验SHA-256。
download_task.py ↓ · 完整归档SHA与源文件校验清单 ↓python3 download_task.py https://rongjiehuang.github.io/RealtimeCUABench/rocket/packages/manifest.json 210
本地运行
python3 initial_setup.py --run-dir /data/rocket-trial01-trusted \
--workspace /data/rocket-trial01-work --port 0 --with-blender \
--blender-bin /absolute/path/to/blender
python3 reward.py --run-dir /data/rocket-trial01-trusted \
--blender-bin /absolute/path/to/blender
Linux、Python3.10+、Blender4.2 LTS(本次4.2.23);可信评分另需numpy。正式评测将未来帧、参考与grader保留在可信侧,并复用独立低权限桌面或guest隔离。
README ↓ · dependencies.json ↓ · provenance.json ↓