识别物体后，即便视角改变仍能辨认，甚至能想象其旋转后的形态，这背后是空间感知能力。人类需要在脑海中构建物体的形状和方向，理解不同视角间的关联，并从二维投影中推导出三维结构。
当视觉语言模型进入交互场景，这种理解必须转化为实际行动。一次旋转会改变物体的轮廓、比例和遮挡关系；模型需预先判断变化，再观察执行结果，从而决定下一步如何调整。能够正确回答一道空间关系题，是否足以支撑这种连续的姿态控制？
现有基准各有侧重。静态基准通常基于固定图像问答来评估空间推理，缺乏动作执行和闭环反馈；许多交互式基准则聚焦于任务规划、工具调用或路径搜索。这些任务虽能检验交互能力，却难以专门测试模型是否能从视觉线索理解三维方向，并将其转化为精确的旋转操作。
为此，视觉语言模型能否将二维观察转化为支持精确动作的三维理解？
这要求模型关联物体的几何与姿态，预判旋转对投影的影响，并利用动作后的新观察不断修正。对于需要探索环境、理解几何并采取行动的智能体，这些判断连接着视觉感知与实际控制，也正是业界希望通过评测进一步观察的能力。
基于此，来自厦门大学与南洋理工大学的研究团队提出了RoTA-Bench，通过交互式3D-to-2D投影对齐来评估这一能力。
论文链接：https://arxiv.org/abs/2610.17665
代码与数据集：https://github.com/MAC-AutoML/RoTA-Bench
在线Demo：https://www.modelscope.cn/studios/san2333333/rotabench-anon?mode=full&app_path=%2Fportal
Hugging Face：https://huggingface.co/papers/2610.17665
以下是RoTA-Bench中一个真实任务的交互界面。图片左上是T恤形状的目标轮廓，左下是物体当前的投影，右侧是带有深度明暗的物体视图。任务要求选择旋转动作，逐步让当前投影与目标轮廓对齐。
RoTA-Bench的真实任务示例。图片左上为目标轮廓，左下为当前投影，右侧为深度明暗辅助视图；底部按钮用于选择旋转方向与角度。
先向左转一点，还是先向上翻？这一步该转30°，还是只调5°？规则很直观，但每一步都需要将二维画面与三维姿态联系起来。
实验中，GPT-5.6-Sol在100个测试任务上的成功率为17%；20位本科生共同完成的400次任务运行则全部成功。
这个差距值得进一步拆开看：模型在哪一步遇到了困难？轮廓看起来更像目标，是否就意味着三维姿态也转得更对？
看到这张图之后，下一步该怎么转？
以前面的T恤示例来说，左右转动可能改变两侧轮廓，向上翻转可能改变整体比例；同一个物体换一个朝向，也可能出现遮挡。模型需要把眼前的投影与背后的三维姿态联系起来，判断应该沿哪个轴、朝哪个方向、转多大角度。
在RoTA-Bench中，模型每一步都会看到三部分信息：目标轮廓、当前投影，以及与当前投影使用相同视角的深度明暗辅助视图。辅助视图补充了二值轮廓中缺失的深度和遮挡线索。
随后，模型从24种离散旋转动作中选择下一步：三个旋转轴、正反两个方向，搭配**1°、5°、10°、30°**四种步长。每次执行后，环境重新渲染画面，模型再利用更新后的观察和交互历史继续调整。
这里既需要较大幅度的转动，也为精细调整保留了空间。朝向还差很多时，可以选择较大的步长；接近目标时，则可以尝试更小的角度。
当当前投影与目标轮廓的交并比（IoU）达到0.90，任务成功。IoU衡量两个轮廓的重叠程度，数值越高，投影越接近。评测最多允许48次决策，也设有主动停止和停滞终止规则。
研究人员将交互限制为纯旋转，是为了把三维方向推理与平移、抓取、接触摩擦等因素区分开来，让问题集中在「如何根据视觉证据控制姿态」上。
这些物体从哪里来？为什么保证转得回去？
如果直接使用常见三维物体，模型可能借助熟悉形状的先验作判断。
为了减少这类语义捷径，研究人员从二维矢量图标出发，在球形体积约束内构造三维物体。生成的物体在标准正面投影下能够还原原图，并保留细节。
接下来，用一串可逆的离散旋转把物体转到初始姿态。既然每一步都可以逆转，就能够通过逆序旋转回到目标姿态，从构建过程上保证任务可解。
在此基础上，研究人员进一步搜索并验证参考路径，按照参考路径长度分层选取测试任务。这里的参考路径用于任务筛选与分析，并不保证是最短解，也不会提供给被测模型。
最终，RoTA-Bench包含674个任务，其中100个任务组成冻结测试集，其余574个保留供后续训练与研究使用。
任务构建与闭环评测流程（论文图2）。图片上半部分展示从二维图标生成三维物体、通过可逆旋转初始化、验证参考路径与选取测试任务的过程；下半部分展示「观察—选择旋转—更新画面」的闭环评测。
面对同样的任务，人类和模型相差多少？
研究人员评测了9个视觉语言模型、2种智能体配置，并邀请20位本科生参与人类实验。
在100个测试任务上，GPT-5.6-Sol的成功率为17%，是本次评测中观察到的最高模型成功率。人类实验中，每位参与者完成一个包含20个任务的区块；20位参与者合计将整个测试集覆盖四遍，共400次任务运行，全部成功。
人类与模型使用相同的任务、视觉观察、旋转动作空间、决策预算和成功标准。人类通过按钮提交动作，模型通过结构化输出提交动作，最终都映射为相同的旋转操作。
RoTA-Bench总览（论文图1）。图片左侧为参考路径长度分布，中间为T恤任务示例，右侧为测试集成功率与最终IoU。人类结果汇总了每个测试任务的四次运行。
从旋转过程也能看到差距。人类轨迹的平均IoU随动作推进而整体提升，最终越过成功阈值；模型轨迹则较早进入平台期，多数停留在0.50—0.63附近。
平均投影IoU随已执行旋转步数的变化（论文图3）。结果基于同一组100个测试任务，包含人类的400次运行；虚线标出0.90的成功阈值。任务提前结束后，最终IoU保留至第48步。
但成功率只说明了最后有没有完成。要理解差距，还需要回到每一步：方向选得对不对，角度是否合适，投影变化与三维姿态变化是否一致？
往哪边转、转多少度，分别难在哪里？
模型没完成任务，会不会只是因为看到的物体表面还不够多？论文先检查了累计表面观察覆盖率：GPT-5.6-Sol为79.58%，人类为83.07%。两者的总覆盖率接近，但具体看过哪些区域、怎样利用这些观察，仍可能不同。
因此，研究人员进一步把每次旋转拆成两个选择：方向，也就是旋转轴与正负方向；角度，也就是这一步转多大幅度。
先看方向。如果沿某个方向，至少存在一种合法角度能够减小三维姿态误差，就将这个方向记为「有效方向」。
GPT-5.6-Sol选择有效方向的比例为58.75%，人类为83.91%；均匀随机选择的对应值为53.78%。这说明，选择能够改善姿态的旋转方向，已经是模型面临的一道难题。
再看角度。即使选中了有效方向，转得过多或过少，也可能影响对齐。研究人员在已选中的有效方向内，比较模型选择的角度与最能减小姿态误差的合法角度。GPT-5.6-Sol的平均角度差为6.49°，人类为2.99°；选中最优合法角度的比例分别为61.80%和71.82%。
方向与角度选择诊断，数据摘自论文表1。角度相关指标仅在所选方向有效时计算；「有效方向」并不保证实际选中的角度也能改善姿态。
方向和角度的误差共同构成了动作层面的差距。把两者拆开，就能进一步判断：模型有没有找到合适的转动方向，以及沿着这个方向时，能否做出精细调整。
研究人员还分析了旋转角度与动作前投影IoU、三维姿态误差的关联。对GPT-5.6-Sol来说，角度与投影IoU的相关性更强；人类选择的角度则与两者都有较强关联。这与论文中多数模型的相对模式一致，提示模型的角度选择可能更多关联于可见的投影重叠。
旋转角度与动作前投影IoU、三维姿态误差之间的Spearman相关系数绝对值（论文图4）。蓝色表示IoU—角度关联，橙色表示姿态误差—角度关联；误差线为原始95%bootstrap区间映射到绝对值后的结果。该图展示关联强弱，不直接揭示模型内部的判断机制。
轮廓更像，姿态却可能更偏了
旋转后，当前轮廓与目标重叠得更多，看起来是一个好信号。但三维物体的不同姿态可能产生相似投影，二维画面上的局部改善，并不总与三维姿态误差的减小同步。
为了比较这一现象，研究人员找到了人类与GPT-5.6-Sol轨迹中211对相同姿态的状态配对，观察它们接下来各自选择的动作。
在这些配对中，模型有19.4%的动作让轮廓重叠改善，却使姿态对齐变差；人类对应的比例是10.9%。反过来，人类也更常选择暂时降低投影重叠、但减小三维姿态误差的动作，比例为33.2%，模型为23.7%。
211对匹配状态下的动作结果（论文图5）。图片左侧为四类动作的比例：UC同时改善IoU与姿态，DC仅改善姿态，UF仅改善IoU，DF两者均变差；右侧汇总动作前的旋转次数、表面覆盖率及动作带来的平均变化。
从而能够把「看起来更像」和「姿态更接近」分开观察。这里匹配的是当前姿态，之前的观察和动作历史仍可能不同；这些结果描述了人类与模型在共享状态下的动作差异。
任务最终仍以投影IoU为成功标准，三维姿态误差用于额外诊断。由于几何对称和投影重叠，成功也不要求物体恢复到唯一姿态。
刚才怎么转过，也会影响下一步
交互的意义还在于，模型可以比较动作前后的画面：刚才转了多少，轮廓怎样变化，下一步是否该缩小角度。
研究人员在同一组30个任务上，对GPT-5.6-Sol做了输入消融实验。保留完整输入时，它完成了5/30个任务；移除交互历史、保留当前观察与任务说明后，观察到的成功数降为0/30。
动作选择也发生了明显变化：**30°旋转的占比从62.75%上升到96.76%，1°调整的占比从12.18%降到0.16%。**精细调整几乎消失。
GPT-5.6-Sol在同一组30个测试任务上的输入消融结果（论文表2）。A为完整输入，B为移除辅助视图，C为移除历史，D为同时移除两者；表中同时报告成功率、最终IoU、有效方向选择率和各角度的动作占比。
相比之下，选择有效旋转方向的比例变化较小。在这组实验里，历史信息对「转多大角度」的影响，比对「往哪个方向转」的影响更明显。此前的观察和动作，可能帮助模型判断何时应在较大的转动之后进行更细的调整。
这些结果表明，在所测设置中，模型的精细控制对交互历史敏感。
从一张轮廓，走到下一次准确旋转
回到开头那件T恤。完成任务，需要从目标与当前画面中提取线索，推断姿态，选择旋转，再根据反馈修正。RoTA-Bench将这些过程放进同一个闭环，既看最后有没有对齐，也看中间每一步如何选择方向与角度。
实验结果显示，观测、感知并且调整3D物体的位姿，仍然是被测模型面临的挑战。
未来，该受控任务可以帮助研究者更具体地观察问题，也为后续模型改进提供可核验的评测环境。
参考资料：https://arxiv.org/abs/2610.17665
本文来自微信公众号“新智元”，作者：新智元；编辑：LRST，36氪经授权发布。
2条评论