論文の概要: WNM-3D: A World Navigation Model with 3D Scene Conditioning for Closed-Loop VLN

• arxiv url: http://arxiv.org/abs/2608.07267v1
• Date: Fri, 07 Aug 2026 14:29:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-10 16:21:25.530478
• Title: WNM-3D: A World Navigation Model with 3D Scene Conditioning for Closed-Loop VLN
• Title（参考訳）: WNM-3D:クローズドループVLNのための3次元シーン条件付き世界ナビゲーションモデル
• Abstract要約: 連続VLNのための3次元シーン条件付き生成ワールドナビゲーションモデルWNM-3Dを提案する。 凍結フィードフォワード幾何エンコーダは、過去の観測を永続的なシーンコンテキストに統合するために、単眼の自我中心のRGB履歴から幾何認識表現を抽出する。 ブロック因果的注意を通じて、この接頭辞は将来のビデオアクションブロックの全てを条件とし、将来のビューとアクション生成の両方のための共有幾何学的コンテキストを提供する。
• 参考スコア（独自算出の注目度）: 53.419929910272735
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent vision-language navigation (VLN) systems increasingly adapt pretrained vision-language models (VLMs) into vision-language-action (VLA) policies that map egocentric observations and language instructions directly to navigation actions. Although semantically capable, such action-centric training does not explicitly model how the agent's visual observations should evolve under its predicted motion. Generative world-action models (WAMs) jointly predict future observations and actions, yet existing WAMs for continuous VLN do not condition joint future-view and action generation on geometry-aware representations inferred from the observed history. We present WNM-3D, a generative World Navigation Model with 3D scene conditioning for continuous VLN. To consolidate past observations into persistent scene context, a frozen feed-forward geometry encoder extracts geometry-aware representations from the monocular egocentric RGB history, and a trainable 3D Scene-to-Token Adapter converts them into a fixed-length prefix in the token space of the world-action Diffusion Transformer. Through block-causal attention, this prefix conditions every future video-action block, providing a shared geometric context for both future-view and action generation. We train WNM-3D through supervised world-action fine-tuning on A*-generated demonstrations, DAgger-style adaptation on policy-visited states, and DanceGRPO-based closed-loop policy optimization. Experiments on GN-Bench show that WNM-3D outperforms strong VLM-based navigation policies and its 2D-conditioned counterpart in closed-loop navigation. On a fixed near-goal evaluation set, WNM-3D also achieves higher flow-action consistency and lower visual-motion error.
• Abstract（参考訳）: 最近の視覚言語ナビゲーション (VLN) システムは、エゴセントリックな観察と言語指示を直接ナビゲーションアクションにマッピングする視覚言語行動 (VLA) ポリシーに、事前訓練された視覚言語モデル (VLM) を適応させる傾向にある。 意味的に有能ではあるが、このようなアクション中心の訓練は、エージェントの視覚的観察が予測された動作の下でどのように進化すべきかを明示的にモデル化するものではない。 生成的世界行動モデル(WAM)は、将来の観測と行動を共同で予測するが、連続的なVLNのための既存のWAMは、観測された歴史から推測される幾何学的認識表現に対して、将来の展望と行動生成を条件にしない。 連続VLNのための3次元シーン条件付き生成ワールドナビゲーションモデルWNM-3Dを提案する。 凍結フィードフォワード幾何エンコーダは、過去の観察を永続的なシーンコンテキストに集約するため、単眼自我中心のRGB履歴から幾何認識表現を抽出し、トレーニング可能な3Dシーン・ツー・Token Adapterは、ワールドアクション拡散変換器のトークン空間における固定長プレフィックスに変換する。 ブロック因果的注意を通じて、この接頭辞は将来のビデオアクションブロックの全てを条件とし、将来のビューとアクション生成の両方のための共有幾何学的コンテキストを提供する。 WNM-3Dは、A*生成デモの教師付きワールドアクション微調整、政策ビジター状態へのDAggerスタイルの適応、DanceGRPOベースのクローズループポリシー最適化によって訓練される。 GN-Benchの実験では、WNM-3Dは強力なVLMベースのナビゲーションポリシーと2D条件のクローズドループナビゲーションよりも優れていた。 固定されたニアゴール評価セットでは、WNM-3Dはフローの整合性の向上と視覚運動誤差の低減も達成している。

関連論文リスト

• GeomVLA: Unifying Scene, Motion, and Action in 3D [19.277341680583834]
  ロボット中心の3D座標フレーム内での知覚,潜時シーンの予測,行動生成を統一するモデルであるGeomVLAを提案する。 提案手法は, 深度とカメラキャリブレーションを用いた空間的に接地された3次元シーントークンに, 予め訓練したVLM特徴を持ち上げる。 本稿では,3D におけるシーンポイントの移動の遅延表現を学習するタスク条件付きモジュールである 3D Scene Trajectory Denoiser を紹介する。
  論文  参考訳（メタデータ） (2026-09-12T08:51:52Z)
• Lift3D-VLA: Lifting VLA Models to 3D Geometry and Dynamics-Aware Manipulation [76.16065370700488]
  We introduced Lift3D-VLA, a unified VLA framework that equips models with explicit 3D point cloud reasoning and possible temporally coherent action generation。 我々は,Lift3D-VLAがMetaWorldとRLBenchの平均成功率を10.8%,11.1%向上したことを示す。
  論文  参考訳（メタデータ） (2026-07-07T17:59:47Z)
• OASIS: Observation-Action Space Alignment via SE(3) Trajectory Prediction for Robotic Manipulation [41.754765514902736]
  本稿では,中間表現と作用空間を$SE(3)$ trajectory predictionで整列するビジュモータポリシーを提案する。 OASISは、3D対応の機能エンコーダを結合し、視覚言語とメートル法深度機能を$SE(3)$ trajectory predictorで融合する。 OASISは、VLAとWAMのベースラインを成功率とアウト・オブ・ディストリビューションの一般化で上回っている。
  論文  参考訳（メタデータ） (2026-05-25T13:28:33Z)
• WorldVLN: Autoregressive World Action Model for Aerial Vision-Language Navigation [31.224842983083803]
  航空VLNのための世界初の自己回帰的世界行動モデルであるWorldVLNを提案する。 WorldVLNは、短水平世界状態遷移を予測するために、遅延自己回帰ビデオバックボーンを適用する。 WorldVLNは、既存のVision-Language-Actionベースラインを一貫して上回っている。
  論文  参考訳（メタデータ） (2026-05-15T13:55:39Z)
• StemVLA:An Open-Source Vision-Language-Action Model with Future 3D Spatial Geometry Knowledge and 4D Historical Representation [6.0744834626758495]
  StemVLAは、未来の3D空間知識と歴史的4D表現の両方をアクション予測に明示的に組み込む新しいフレームワークである。 我々は,CALVIN ABC-D ベンチマーク [46] において,StemVLA はタスクの長期化と最先端性能を著しく向上し,XXX の平均シーケンス長を達成できることを示した。
  論文  参考訳（メタデータ） (2026-02-27T06:43:37Z)
• Move to Understand a 3D Scene: Bridging Visual Grounding and Exploration for Efficient and Versatile Embodied Navigation [54.04601077224252]
  身近なシーン理解には、視覚空間情報の理解だけでなく、3D物理世界における次の探索場所の決定も必要である。 アンダーラインテキストbf3D視覚言語学習は、エンボディエージェントが環境を効果的に探索し理解することを可能にする。 モデルの汎用性は、カテゴリ、言語記述、参照イメージなど、多様な入力モダリティを使ったナビゲーションを可能にする。
  論文  参考訳（メタデータ） (2025-07-05T14:15:52Z)
• Dynam3D: Dynamic Layered 3D Tokens Empower VLM for Vision-and-Language Navigation [61.21302433849139]
  VLN(Vision-and-Language Navigation)は、生体エージェントが空間移動を利用して3D環境をナビゲートするコアタスクである。 ナビゲーション動作予測において3D-VLMを学習するための視覚入力として,言語整列,一般化,階層的な3D表現を利用する動的階層化3D表現モデルDynam3Dを提案する。 我々のDynam3Dは3Dインスタンスのオンラインエンコーディングとローカライズが可能であり、それを動的に更新することで、ナビゲーションのための大規模な探索と長期記憶機能を提供する。
  論文  参考訳（メタデータ） (2025-05-16T15:46:27Z)
• Empowering Large Language Models with 3D Situation Awareness [84.12071023036636]
  3Dと2Dの主な違いは、3Dシーンにおける自我中心のオブザーバーの状況が変化し、異なる記述をもたらすことである。 本研究では,データ収集時の走査軌道を利用して状況認識データセットを自動的に生成する手法を提案する。 本研究では,観測者の視点の位置と方向を明示的に予測する状況接地モジュールを導入し,LLMが3次元シーンで状況記述をグラウンド化できるようにする。
  論文  参考訳（メタデータ） (2025-03-29T09:34:16Z)
• Volumetric Environment Representation for Vision-Language Navigation [66.04379819772764]
  視覚言語ナビゲーション(VLN)は、視覚的な観察と自然言語の指示に基づいて、エージェントが3D環境をナビゲートする必要がある。 本研究では,物理世界を3次元構造細胞にボクセル化するボリューム環境表現(VER)を提案する。 VERは3D占有率、3D部屋レイアウト、および3Dバウンディングボックスを共同で予測する。
  論文  参考訳（メタデータ） (2024-03-21T06:14:46Z)
• 3D-VLA: A 3D Vision-Language-Action Generative World Model [68.0388311799959]
  最近の視覚言語アクション(VLA)モデルは2D入力に依存しており、3D物理世界の広い領域との統合は欠如している。 本稿では,3次元知覚,推論,行動をシームレスにリンクする新しい基礎モデルのファウンデーションモデルを導入することにより,3D-VLAを提案する。 本実験により,3D-VLAは実環境における推論,マルチモーダル生成,計画能力を大幅に向上することが示された。
  論文  参考訳（メタデータ） (2024-03-14T17:58:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。