論文の概要: Planning with the Views via Scene Self-Exploration

• arxiv url: http://arxiv.org/abs/2605.29563v1
• Date: Thu, 28 May 2026 08:15:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-30 02:45:56.055397
• Title: Planning with the Views via Scene Self-Exploration
• Title（参考訳）: 自己探索による視点による計画
• Authors: Kangrui Wang, Linjie Li, Zhengyuan Yang, Shiqi Chen, Zihan Wang, Li Fei-Fei, Jiajun Wu, Leonidas Guibas, Lijuan Wang, Manling Li,
• Abstract要約: 我々は、(1)単一のアクションがビューをどのように変換するかを考慮し、(2)ターゲットビューを特定するために、マルチターンプランにまたがる多くの変換をコンパイルすることを要求する、この機能ビュー計画と呼ぶ。 実際のScanNetシーンにおける3Dポイントクラウド環境であるViewSuiteの両機能について検討する。
• 参考スコア（独自算出の注目度）: 109.01839437558927
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Can VLMs predict how each camera move changes the view, and plan many such moves ahead? We call this capability view planning, requiring (1)understanding how a single action transforms the view, and (2)composing many such transformations across multi-turn plans to identify a target view. We probe both abilities in our proposed ViewSuite, a 3D point-cloud environment on real ScanNet scenes. Across 13 frontier VLMs, a critical planning gap emerges: they possess basic view-action knowledge but fail to compose it across multi-turn plans, with the gap widening as viewpoint distance grows. To close this gap, we propose an iterative framework that alternates self-exploration with view graph distillation. The key insight is that all exploration trajectories, regardless of their outcome, collectively form a view graph that compactly captures how viewpoints connect across a scene. Distilling this graph into diverse supervised tasks reshapes the policy distribution and overcomes the sparse rewards that stall pure RL. This improves Qwen2.5-VL-7B from 2.5% to 47.8% on interactive view planning, surpassing GPT-5.4 Pro (18.5%) and Gemini 3.1 Pro (21.4%). Self-exploration emerges as a promising path toward VLMs that can actively reason and plan in 3D space.
• Abstract（参考訳）: VLMはそれぞれのカメラの動きを予測できるのか? 我々は、(1)単一のアクションがビューをどのように変換するかを考慮し、(2)ターゲットビューを特定するために、マルチターンプランにまたがる多くの変換をコンパイルすることを要求する、この機能ビュー計画と呼ぶ。 実際のScanNetシーンにおける3Dポイントクラウド環境であるViewSuiteの両機能について検討する。 13のフロンティアVLM全体では、基本的なビューアクション知識を持っているが、視点距離が大きくなるにつれてギャップが広がるため、多ターンプラン間で構成できないという、重要なプランニングギャップが出現する。 このギャップを埋めるために、ビューグラフ蒸留と自己探索を交互に行う反復的枠組みを提案する。 重要な洞察は、すべての探索軌跡が、結果に関係なく、一括してビューグラフを形成し、視点がシーン全体でどのように接続するかをコンパクトに捉えることである。 このグラフを様々な教師付きタスクに分割すると、ポリシーの分布が再活性化し、純粋なRLを停止するスパース報酬を克服する。 これはQwen2.5-VL-7Bを2.5%から47.8%に改善し、GPT-5.4 Pro(18.5%)とGemini 3.1 Pro(21.4%)を上回った。 自己探索は、3D空間で積極的に推論し計画できるVLMへの有望な道として現れます。

関連論文リスト

• Cross-View World Models [3.7896239978609434]
  本稿では,クロスビュー・ワールド・モデル (XVWM) を紹介する。 我々は、Aimlabsから同期マルチビューゲームプレイデータをトレーニングする。 この結果から,複数視点の整合性は空間的接地表現に強い学習信号を与えることがわかった。
  論文  参考訳（メタデータ） (2026-02-07T00:02:15Z)
• TAPVid-360: Tracking Any Point in 360 from Narrow Field of View Video [7.009814571727852]
  TAPVid-360は,ビデオシーケンスを横断するシーンポイントに対する3次元方向の予測を必要とする新しいタスクである。 我々は360度動画を監督の源として利用し、真実の方向を計算しながら視野を狭くする。 我々のベースラインはCoTracker v3に適応し、方向更新のためのポイント毎の回転を予測し、既存のTAPおよびTAPVid 3D法より優れている。
  論文  参考訳（メタデータ） (2025-11-26T22:13:26Z)
• One Flight Over the Gap: A Survey from Perspective to Panoramic Vision [117.80970697177025]
  本研究は,最近のパノラマ視覚技術,特にパノラマ・パノラマ・パノラマ適応についてレビューする。 最初にパノラマ画像パイプラインと投影法を再検討し、構造的格差を分析するのに必要な事前知識を構築した。 これに基づいて、300以上の研究論文から得られた20以上の代表的タスクを2次元でカバーする。
  論文  参考訳（メタデータ） (2025-09-04T17:59:10Z)
• SayPlan: Grounding Large Language Models using 3D Scene Graphs for Scalable Robot Task Planning [15.346150968195015]
  本研究では,3次元シーングラフ(DSG)表現を用いた大規模タスクプランニングのスケーラブルなアプローチであるSayPlanを紹介する。 我々は,最大3フロア,36部屋,140部屋までの大規模な2つの環境に対するアプローチを評価した。
  論文  参考訳（メタデータ） (2023-07-12T12:37:55Z)
• Tri-Perspective View for Vision-Based 3D Semantic Occupancy Prediction [84.94140661523956]
  本稿では,2つの垂直面を追加してBEVに付随するトリ・パースペクティブ・ビュー(TPV)表現を提案する。 3次元空間の各点を3次元平面上の投影された特徴をまとめてモデル化する。 実験結果から,本モデルは全ボクセルのセマンティック占有率を効果的に予測できることが示唆された。
  論文  参考訳（メタデータ） (2023-02-15T17:58:10Z)
• Progressive Self-Distillation for Ground-to-Aerial Perception Knowledge Transfer [28.214084837466025]
  我々は、ドローンが飛行高度の異なる環境でどのように認識できるかという、現実的な問題はまだ検討されていない。 現在の半教師あり学習法は視点差では有効ではない。 本研究では、地上視点のラベル付きデータと飛行視点のラベル付きデータのみを用いて、ドローンの認識を可能にするプログレッシブ半教師付き学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-08-29T07:30:35Z)
• JPerceiver: Joint Perception Network for Depth, Pose and Layout Estimation in Driving Scenes [75.20435924081585]
  JPerceiverは、モノクロビデオシーケンスからスケール認識深度とVOとBEVレイアウトを同時に推定することができる。 クロスビュー幾何変換(CGT)を利用して、絶対スケールを道路レイアウトから奥行きとVOに伝播させる。 Argoverse、Nuscenes、KITTIの実験は、上記の3つのタスクの全てにおいて、既存のメソッドよりもJPerceiverの方が優れていることを示している。
  論文  参考訳（メタデータ） (2022-07-16T10:33:59Z)
• Voxelized 3D Feature Aggregation for Multiview Detection [15.465855460519446]
  VFA, Voxelized 3D feature aggregate, for feature transformation and aggregate in multi-view detection。 具体的には、3D空間をボクセル化し、それぞれのカメラビューにボクセルを投影し、2D機能とこれらプロジェクションされたボクセルを関連付ける。 これにより、同じ垂直線に沿って2次元特徴を識別して集約し、プロジェクション歪みを広範囲に緩和することができる。
  論文  参考訳（メタデータ） (2021-12-07T03:38:50Z)
• Multiview Detection with Feature Perspective Transformation [59.34619548026885]
  本稿では,新しいマルチビュー検出システムMVDetを提案する。 我々は,平面上に特徴写像を投影することで,多視点情報を集約するアンカーフリーアプローチを採っている。 私たちのモデル全体がエンドツーエンドで学習可能で、標準のWildtrackデータセットで88.2%のMODAを実現しています。
  論文  参考訳（メタデータ） (2020-07-14T17:58:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。