論文の概要: RoTA-Bench: Evaluating 3D Spatial Reasoning through Interactive Projection Alignment

• arxiv url: http://arxiv.org/abs/2610.17665v2
• Date: Wed, 14 Oct 2026 03:47:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.49934
• Title: RoTA-Bench: Evaluating 3D Spatial Reasoning through Interactive Projection Alignment
• Title（参考訳）: RoTA-Bench:インタラクティブ投影アライメントによる3次元空間推論の評価
• Abstract要約: 対話型3次元から2次元の投影アライメントによる能力評価にRoTA-Benchを導入する。 対象のシルエットが与えられた場合、モデルは回転したオブジェクトを観察し、連続する回転を選択してターゲットの投影を回復する。 GPT-5.6-Solがわずか17%のタスクで成功するのに対し、20人の学部生が100%の成功率でテストセットを4回完了した。
• 参考スコア（独自算出の注目度）: 60.98901886472944
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Can vision-language models turn 2D observations into 3D understanding that supports precise action? This requires inferring object geometry, anticipating the effects of rotation, and refining actions through visual feedback. We introduce RoTA-Bench to evaluate these abilities through interactive 3D-to-2D projection alignment. Given a target silhouette, a model observes a rotated object and chooses successive rotations to recover the target projection within a limited action budget. Our automated pipeline constructs silhouette-preserving 3D objects from 2D icons and uses reversible initialization to guarantee solvability, yielding 674 tasks and a stratified 100-task test set. Empirically, we find that (i) a substantial human-model gap persists: GPT-5.6-Sol succeeds on only 17% of tasks, whereas 20 undergraduate participants collectively complete the test set four times with a 100% success rate; (ii) image-space and pose-space progress can diverge: at matched states, the model more often improves silhouette overlap while worsening pose alignment than humans (19.4% vs. 10.9%); and (iii) fine-grained control is sensitive to interaction history: removing it leaves 96.8% of the model's actions at a coarse 30-degree step size and sharply reduces observed task success. These findings highlight the challenge of converting visual evidence into precise 3D control, beyond recognizing or matching individual images.
• Abstract（参考訳）: 視覚言語モデルは、2Dの観察を正確なアクションをサポートする3D理解に変換することができるのか? これは、物体の幾何学を推測し、回転の影響を予測し、視覚的フィードバックを通じてアクションを精細化する必要がある。 インタラクティブな3次元から2次元の投影アライメントによってこれらの能力を評価するために,RoTA-Benchを導入する。 ターゲットシルエットが与えられた場合、モデルは回転した物体を観察し、連続する回転を選択し、限られたアクション予算内で目標投影を回復する。 我々の自動パイプラインは、2Dアイコンからシルエット保存された3Dオブジェクトを構築し、可逆初期化を用いて可解性を確保し、674のタスクと階層化された100タスクのテストセットを生成する。 経験的に、私たちはそれを発見します。 5) GPT-5.6-Solはわずか17%のタスクで成功し、20人の学部生が総合的に4回、100%の成功率でテストセットを完成させる。 (ii)画像空間とポーズ空間の進行はばらつきがあり、一致した状態では、このモデルの方がシルエットのオーバーラップを改善する一方、ポーズアライメントは人間より悪化する(19.4%対10.9%)。 3) きめ細かい制御は相互作用履歴に敏感であり、モデルの動きの96.8%を30度の粗いステップで残し、観察されたタスクの成功を著しく減少させる。 これらの知見は、視覚的証拠を個々の画像を認識したり、一致させたりせずに、正確な3D制御に変換するという課題を浮き彫りにする。

関連論文リスト

• VABench: Measuring Embodied Spatial Intelligence through Visual Demonstrations, Active Perception, and Metric Control [57.5995346750474]
  VA-Benchを導入し、完全なオブザーバ・レアソン・アクト・リビジョンループを評価する。 汎用MLLMは、RGBのみのデモンストレーションから手続き的コンテキストを学習する。 モデルには特権オブジェクトのポーズ、オラクルの軌跡、学習されたアクションヘッドは含まれない。
  論文  参考訳（メタデータ） (2026-09-17T01:24:51Z)
• 3D-Anchored Lookahead Planning for Persistent Robotic Scene Memory via World-Model-Based MCTS [0.12891210250935145]
  3D-ALPは、ロボット操作のためのシステム2推論エンジンである。 モンテカルロ木探索(MCTS)と3D一貫性のある世界モデルをロールアウトオラクルとして組み合わせている。
  論文  参考訳（メタデータ） (2026-04-13T11:01:30Z)
• BOP Challenge 2024 on Model-Based and Model-Free 6D Object Pose Estimation [55.13521733366838]
  一連のパブリックコンペティションの第6回は、6Dオブジェクトでアートの状態をキャプチャするために組織された。 2024年、我々は3Dオブジェクトモデルが利用できず、提供された参照ビデオからのみオブジェクトをオンボードする必要がある新しいモデルフリータスクを導入した。 我々は、テスト画像で見える物体の同一性が入力として提供されない、より実用的な6Dオブジェクト検出タスクを定義した。
  論文  参考訳（メタデータ） (2025-04-03T17:55:19Z)
• Gaussian Splatting Under Attack: Investigating Adversarial Noise in 3D Objects [1.7205106391379021]
  物体検出モデルに対する敵対的攻撃は2D画像に対して十分に研究されているが、3Dモデルへの影響は未解明のままである。 この研究は、CLIPビジョン言語モデルをターゲットにした対向ノイズを生成するために設計されたMasked Iterative Fast Gradient Sign Method (M-IFGSM)を導入している。 提案手法は,人間の観測者に対してほとんど知覚できない対向雑音を伴って,モデルの精度と信頼性を効果的に低減することを示した。
  論文  参考訳（メタデータ） (2024-12-03T20:11:21Z)
• FSD: Fast Self-Supervised Single RGB-D to Categorical 3D Objects [37.175069234979645]
  本研究は,実世界の3次元ラベル付きデータに依存しない3次元オブジェクト認識の課題に対処する。 我々のゴールは、単一のRGB-D画像内のオブジェクトの3次元形状、サイズ、および6次元のポーズを予測し、カテゴリレベルで動作し、推論中のCADモデルの必要性を排除することである。
  論文  参考訳（メタデータ） (2023-10-19T17:59:09Z)
• RiCS: A 2D Self-Occlusion Map for Harmonizing Volumetric Objects [68.85305626324694]
  カメラ空間における光マーチング (RiCS) は、3次元における前景物体の自己閉塞を2次元の自己閉塞マップに表現する新しい手法である。 表現マップは画像の質を高めるだけでなく,時間的コヒーレントな複雑な影効果をモデル化できることを示す。
  論文  参考訳（メタデータ） (2022-05-14T05:35:35Z)
• PoseTriplet: Co-evolving 3D Human Pose Estimation, Imitation, and Hallucination under Self-supervision [102.48681650013698]
  既存の自己監督型3次元ポーズ推定スキームは、学習を導くための弱い監督に大きく依存している。 そこで我々は,2D-3Dのポーズペアを明示的に生成し,監督を増強する,新しい自己監督手法を提案する。 これは、ポーズ推定器とポーズ幻覚器を併用して学習する強化学習ベースの模倣器を導入することで可能となる。
  論文  参考訳（メタデータ） (2022-03-29T14:45:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。