論文の概要: Visual Cue Guided Video Planning for Generalizable Robot Navigation
- arxiv url: http://arxiv.org/abs/2609.16737v2
- Date: Wed, 16 Sep 2026 08:06:53 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-20 08:55:53.433266
- Title: Visual Cue Guided Video Planning for Generalizable Robot Navigation
- Title（参考訳）: 汎用ロボットナビゲーションのためのビジュアルキューガイド映像計画
- Abstract要約: CueNavは、ビジュアルキューガイド付きビデオプランニングとエンボディメント固有の逆ダイナミクスモデル(IDM)を組み合わせたモデルベースのナビゲーションフレームワークである。
グローバルタスクコンテキストを符号化するビジュアルキューにより、CueNavはキューなしで計画するよりも迷路ナビゲーションで約2倍の成功を達成している。
以上の結果から,エボディメント特異的なアクショングラウンドディングを用いた視覚誘導型映像プランニングが,汎用的なナビゲーションフレームワークへの道筋をたどっていることが示唆された。
- 参考スコア（独自算出の注目度）: 12.951864480301294
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Generative video models can serve as a promising backbone for robot navigation by predicting future observations as video plans. Recent approaches often condition video planning on short-horizon guidance and recover geometric waypoints through scene reconstruction, leaving longer-horizon planning and precise video-to-action translation less explored. We present CueNav, a video model-based navigation framework combining visual cue guided video planning with an embodiment-specific Inverse-Dynamics Model (IDM). As visual cues, we use a Bird's-Eye View (BEV) map to convey global task context and retain part of the robot body in the egocentric observation to expose embodiment context. These cues guide the video planner, while the IDM translates dense flow fields extracted from the video plan into robot actions. With the visual cue encoding global task context, CueNav achieves nearly 2x higher success in maze navigation than planning without the cue. The body-aware view with the IDM enables precise navigation with 70% success in a narrow passage where comparison methods largely fail to complete the task. We further demonstrate zero-shot semantic-conditioned navigation and deployment of the same video planner across different robot platforms. Our results show that visual cue-guided video planning with embodiment-specific action grounding paves the way toward a generalizable navigation framework for longer-horizon planning and embodiment-aware control. Additional results and code are available on our project website: https://cuenav.github.io.
- Abstract（参考訳）: 生成ビデオモデルは、将来の観察をビデオ計画として予測することによって、ロボットナビゲーションのための有望なバックボーンとして機能する。
近年のアプローチでは、短い水平方向の誘導にビデオプランニングを課し、シーン再構築を通じて幾何的経路ポイントを復元し、より長い水平方向の計画と正確なビデオ・ツー・アクション・トランスフォーメーションの探索を減らしている。
ビデオモデルに基づくナビゲーションフレームワークであるCueNavについて述べる。
視覚的手がかりとして,グローバルなタスクコンテキストを伝えるためにBird's-Eye View (BEV) マップを使用し,エゴセントリックな観察でロボット本体の一部を保持し,実施状況を明らかにする。
これらのキューはビデオプランナーを案内し、IMMはビデオプランから抽出された密集した流れ場をロボットアクションに変換する。
グローバルタスクコンテキストを符号化するビジュアルキューにより、CueNavはキューなしで計画するよりも迷路ナビゲーションで約2倍の成功を達成している。
IDMを用いたボディアウェアビューは、比較方法がほとんどタスクを完了できない狭い通路において、70%の精度で正確なナビゲーションを可能にする。
さらに、異なるロボットプラットフォームにまたがる、ゼロショットセマンティックコンディショニングナビゲーションと、同じビデオプランナの展開を実証する。
以上の結果から,エボディメント特異的なアクショングラウンドディングを用いた視覚的キュー誘導映像プランニングは,より長い水平計画とエボディメント認識制御のための一般化可能なナビゲーションフレームワークへの道のりをたどっていることが示唆された。
さらなる結果とコードは、プロジェクトのWebサイト(https://cuenav.github.io.)で公開されています。
関連論文リスト
- ImagiNav: Scalable Embodied Navigation via Generative Visual Prediction and Inverse Dynamics [13.382453086651019]
Vision-Language Navigationは、高価なエンボディメント固有のロボットデータに基づいて訓練されたエンドツーエンドのポリシーに依存している。
ロボットの動作から視覚計画を切り離す新しいモジュラーパラダイムであるImagiNavを提案する。
ImagiNavは、ロボットのデモを必要とせずに、ロボットナビゲーションへの強力なゼロショット転送をデモする。
論文 参考訳（メタデータ） (2026-03-14T08:34:02Z) - NavDreamer: Video Models as Zero-Shot 3D Navigators [10.105345998118915]
本稿では,生成的映像モデルを言語命令と軌跡間の普遍的なインターフェースとして活用する3次元ナビゲーションのための映像ベースのフレームワークを提案する。
我々の主要な仮説は、映像が情報と物理力学をエンコードし、インターネットスケールの可用性と組み合わせることで、ナビゲーションにおけるゼロショットの強力な一般化を可能にする、というものである。
論文 参考訳（メタデータ） (2026-02-10T13:24:12Z) - Grounding Generated Videos in Feasible Plans via World Models [52.63206803295352]
Grounding Video Plans with World Models (GVP-WM) は、ビデオ生成したプランを実行可能なアクションシーケンスに変換するための計画手法である。
GVP-WMはまず、最初の観測とゴール観測からビデオプランを生成し、次に動的に実現可能な潜在軌道の多様体にビデオガイダンスを投影する。
論文 参考訳（メタデータ） (2026-02-02T11:04:47Z) - YOPO-Nav: Visual Navigation using 3DGS Graphs from One-Pass Videos [5.7772802828964664]
本稿では,環境を3次元ガウススプラッティング(3DGS)モデルと相互接続した空間表現に符号化するYOPO-Navを提案する。
ナビゲーション中、このフレームワークはロボットの現在の視覚的観察をこの表現と整列させ、それを実証された軌道に戻す行動を予測する。
本稿では,Clearpath Jackal ロボットを用いた YOPO-Campus のトラジェクトリに対する最近の視覚ナビゲーション手法のベンチマークを行った。
論文 参考訳（メタデータ） (2025-12-10T18:32:38Z) - NavForesee: A Unified Vision-Language World Model for Hierarchical Planning and Dual-Horizon Navigation Prediction [12.352236127154761]
本稿では,高レベル言語計画と予測的世界モデルイマジネーションを統合するビジョン・ランゲージ・モデル(VLM)について紹介する。
我々のアプローチでは、単一のVLMが同時に計画と予測の監視を行うことができる。
私たちの研究は、暗黙の時間的予測で明示的な言語計画を融合させ、よりインテリジェントで有能なエンボディエージェントの道を開く、という大きな可能性を浮き彫りにしています。
論文 参考訳（メタデータ） (2025-12-01T11:24:16Z) - Aerial Vision-and-Language Navigation with Grid-based View Selection and Map Construction [102.70482302750897]
Aerial Vision-and-Language Navigation (Aerial VLN)は、人間の指示に従って空中3D環境をナビゲートする無人航空機エージェントの取得を目的としている。
より長い航法、より複雑な3Dシーン、垂直アクションと水平アクションの相互作用の無視により、従来の手法はうまく機能しない。
グリッドベースのビュー選択タスクとして空のVLN動作予測を定式化する,グリッドベースのビュー選択フレームワークを提案する。
論文 参考訳（メタデータ） (2025-03-14T05:20:43Z) - Navigation World Models [68.58459393846461]
本稿では,過去の観測とナビゲーション行動に基づいて,将来の視覚観測を予測できる制御可能な映像生成モデルを提案する。
慣れ親しんだ環境では、NWMはナビゲーションの軌道をシミュレートし、目的を達成するかどうかを評価することで計画することができる。
実験は、スクラッチからの軌道計画や、外部ポリシーからサンプリングされた軌道のランク付けにおいて、その効果を実証する。
論文 参考訳（メタデータ） (2024-12-04T18:59:45Z) - ESceme: Vision-and-Language Navigation with Episodic Scene Memory [72.69189330588539]
ヴィジュアル・アンド・ランゲージ・ナビゲーション(VLN)は、現実世界のシーンで自然言語のナビゲーション指示に従う視覚エージェントをシミュレートする。
本稿では,VLNにおける情景記憶(esceme)のメカニズムについて紹介する。
論文 参考訳（メタデータ） (2023-03-02T07:42:07Z) - LM-Nav: Robotic Navigation with Large Pre-Trained Models of Language,
Vision, and Action [76.71101507291473]
本稿では,無注釈の大規模軌跡データに対するトレーニングの恩恵を享受するロボットナビゲーションシステムLM-Navを提案する。
本研究では,ナビゲーション(ViNG),画像言語アソシエーション(CLIP),言語モデリング(GPT-3)の事前学習モデルから構築可能なシステムについて述べる。
論文 参考訳（メタデータ） (2022-07-10T10:41:50Z) - ViKiNG: Vision-Based Kilometer-Scale Navigation with Geographic Hints [94.60414567852536]
長距離航法には、計画と局所的な移動可能性の推論の両方が必要である。
学習と計画を統合する学習に基づくアプローチを提案する。
ViKiNGは、画像ベースの学習コントローラを利用できる。
論文 参考訳（メタデータ） (2022-02-23T02:14:23Z) - Structured Scene Memory for Vision-Language Navigation [155.63025602722712]
視覚言語ナビゲーション(VLN)のための重要なアーキテクチャを提案する。
ナビゲーション中に知覚を正確に記憶できるほど区画化されている。
また、環境内の視覚的および幾何学的な手がかりを捉え、取り除く、構造化されたシーン表現としても機能する。
論文 参考訳（メタデータ） (2021-03-05T03:41:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。