論文の概要: Learning to Think and Explore in 3D World

• arxiv url: http://arxiv.org/abs/2610.21783v2
• Date: Mon, 19 Oct 2026 17:13:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-21 06:32:45.314496
• Title: Learning to Think and Explore in 3D World
• Title（参考訳）: 3Dワールドで思考と探索を学ぶ
• Abstract要約: 視覚言語モデル(VLM)が3次元空間における思考と探索をいかに学べるかを考察する。 我々のモデルACT3Dは平均53.2%の精度を達成し、ベースとなるQwenモデルを22.0%改善し、プロプライエタリなGemini 3.6 Flashを上回ります。
• 参考スコア（独自算出の注目度）: 45.60852744113768
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We study how vision-language models (VLMs) can learn to think and actively explore in 3D space. Instead of providing multi-view images, videos, or 3D representations to the model, we preserve the native visual encoding of VLMs, i.e., a single image, one at a time, just like humans, and treat the 3D representation only as an environment with which the model can interact through actions (e.g., move left) and observations (rendered images). Each rollout begins from an initial first-person view and a visual question. The model can then iteratively reason, navigate, and reorient its viewpoint before committing to a final answer. Following an initial trajectory-supervised finetuning, we apply reinforcement learning (RL) with rewards driven primarily by final-answer correctness. Crucially, RL provides no direct supervision over which viewpoints the model should visit or which exploration actions it should take. Instead, the model must learn an effective exploration policy solely from the extent to which its interactions improve performance. Across six 3D benchmarks, our model ACT3D achieves an average accuracy of 53.2% that improves its base Qwen model by 22.0% and surpasses proprietary Gemini 3.6 Flash. ACT3D also outperforms existing open-source 3D methods while using 50-70% fewer input frames, and generalizes to unseen domains with an average improvement of 5.9% over its supervised initialization. Further analysis reveals adaptive, question-conditioned exploration. Performance gains over the base model increase from 0.6% on questions answerable from the initial view to 16.3% on those requiring extensive exploration. ACT3D searches for occluded targets, avoids unnecessary exploration, and acquires complementary viewpoints for spatial comparisons. These findings demonstrate that outcome-based RL enables VLMs not only to reason over visual evidence, but also to learn when and how to acquire it.
• Abstract（参考訳）: 視覚言語モデル(VLM)が3次元空間における思考と探索をいかに学べるかを考察する。 モデルにマルチビュー画像、ビデオ、あるいは3D表現を提供する代わりに、VLMのネイティブな視覚的エンコーディング、すなわち1つの画像を人間と同じように1回に1回保存し、モデルがアクション(例えば左の動き)と観察(レンダリング画像)を通して相互作用できる環境としてのみ3D表現を扱う。 各ロールアウトは、最初の1対1のビューと視覚的な質問から始まる。 そしてモデルは、最終的な答えをコミットする前に、反復的に推論し、ナビゲートし、視点を再調整することができる。 初期軌道制御による微調整の後, 主に最終回答の正確性による報酬付き強化学習(RL)を適用した。 重要なことは、RLはモデルがどの視点を訪れるべきか、どの探索行動を取るべきかを直接監督するものではない。 代わりに、モデルは、その相互作用がパフォーマンスを改善する程度からのみ、効果的な探索ポリシーを学ばなければならない。 6つの3Dベンチマークで、ACT3Dは平均53.2%の精度を達成し、ベースとなるQwenモデルを22.0%改善し、プロプライエタリなGemini 3.6 Flashを上回ります。 ACT3Dは50～70%少ない入力フレームを使用しながら既存のオープンソース3D手法よりも優れており、教師付き初期化よりも平均5.9%向上した未確認領域に一般化されている。 さらなる分析により、適応的で質問条件の探索が明らかになる。 ベースモデルよりもパフォーマンスが0.6%向上し、最初の視点から答えられる質問が16.3%向上した。 ACT3Dは、隠蔽対象を探索し、不要な探索を回避し、空間比較のための相補的な視点を取得する。 これらの結果は、結果に基づくRLにより、VLMが視覚的証拠を推論するだけでなく、いつ、どのように取得するかを学ぶことができることを示している。

関連論文リスト

• RoTA-Bench: Evaluating 3D Spatial Reasoning through Interactive Projection Alignment [60.98901886472944]
  対話型3次元から2次元の投影アライメントによる能力評価にRoTA-Benchを導入する。 対象のシルエットが与えられた場合、モデルは回転したオブジェクトを観察し、連続する回転を選択してターゲットの投影を回復する。 GPT-5.6-Solがわずか17%のタスクで成功するのに対し、20人の学部生が100%の成功率でテストセットを4回完了した。
  論文  参考訳（メタデータ） (2026-10-13T03:46:48Z)
• Where to Look: Can Foundation Models Reach a Target Viewpoint Through Active Exploration? [44.119113981225404]
  本稿では,TVR(Target Viewpoint Reproduction)について紹介する。これは,エージェントが所定のターゲット画像に一致するまで,エージェントが3次元環境下で視点を調整する,アクティブなタスクである。 評価分割では、最強のオープンソースおよびクローズドソースモデルはわずか7.8%と12.0%の成功しか達成していない。 我々は、専門家軌道SFT、合理的教師付きCoT-SFT、オフラインシングルターンGRPO、オンラインマルチターンGRPOをカバーする統合TVRポストトレーニングフレームワークを構築した。
  論文  参考訳（メタデータ） (2026-05-31T14:00:10Z)
• BridgeVLA: Input-Output Alignment for Efficient 3D Manipulation Learning with Vision-Language Models [37.699828966838986]
  BridgeVLAは、3D入力を複数の2D画像に投影し、VLMバックボーンとの入力アライメントを保証する新しい3D VLAモデルである。 アクション予測に2Dヒートマップを使用し、一貫した2次元画像空間内の入力空間と出力空間を統一する。 10以上のタスクで96.8%の成功率を達成することができ、1タスクにつき3つの軌道しか持たず、異常なサンプル効率を誇示している。
  論文  参考訳（メタデータ） (2025-06-09T17:36:34Z)
• E3D-Bench: A Benchmark for End-to-End 3D Geometric Foundation Models [78.1674905950243]
  3次元幾何学基礎モデル(GFM)の総合ベンチマークを初めて提示する。 GFMは、単一のフィードフォワードパスで密度の高い3D表現を直接予測し、スローまたは未使用のカメラパラメータを不要にする。 我々は16の最先端GFMを評価し、タスクやドメイン間の長所と短所を明らかにした。 すべてのコード、評価スクリプト、処理されたデータは公開され、3D空間インテリジェンスの研究が加速される。
  論文  参考訳（メタデータ） (2025-06-02T17:53:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。