論文の概要: HAVANA: A Hierarchical Video-Action Model for Vision-Language Navigation
- arxiv url: http://arxiv.org/abs/2610.24122v1
- Date: Fri, 16 Oct 2026 18:48:16 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-26 10:58:45.090927
- Title: HAVANA: A Hierarchical Video-Action Model for Vision-Language Navigation
- Title(参考訳): HAVANA:視覚言語ナビゲーションのための階層型ビデオアクションモデル
- Abstract要約: ビデオアクションモデル(VAM)は、ナビゲーションの予測表現を学ぶための有望な方法を提供する。
既存のVAMは、単一のプロセスで視覚的未来と局所的な軌跡を共同で予測する。
本稿では,動的局所計画から予測推論を分離するデュアルシステムVAMであるHAVANAを紹介する。
- 参考スコア(独自算出の注目度): 7.965416462318697
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Vision-Language Navigation (VLN) requires long-horizon instruction-consistent planning and short-horizon local planning in current geometry. Video-action models (VAMs) offer a promising way to learn predictive representations for navigation. However, existing VAMs jointly predict visual futures and local trajectories in a single process, even though they operate at different paces: future prediction remains stable across multiple updates while local trajectories must react to fresh observations. To bridge this gap, we introduce HAVANA, a dual-system VAM that decouples predictive reasoning from reactive local planning. A slow system produces a compact language-conditioned latent plan from observation history, while a fast system combines the latest plan with the current observation to generate local trajectories. Their asynchronous execution enables rapid adaptation without repeated future prediction, and no future video is generated during inference. Experiments on OmniNavBench demonstrate state-of-the-art navigation performance over prior baselines, while real-world deployments further show robust generalization to unseen environments across different robot embodiments. Our code and checkpoints will be available at https://github.com/Anastasiawd/HAVANA.
- Abstract(参考訳): Vision-Language Navigation (VLN) は、現在の幾何学において、長い水平方向の命令一貫性のある計画と短水平方向の局所計画を必要とする。
ビデオアクションモデル(VAM)は、ナビゲーションの予測表現を学ぶための有望な方法を提供する。
しかし、既存のVAMは、異なるペースで動いているにもかかわらず、単一のプロセスで視覚的未来と局所的な軌跡を共同で予測する: 将来の予測は複数の更新で安定し、一方、局所的な軌跡は新鮮な観測に反応しなければならない。
このギャップを埋めるために、リアクティブなローカル計画から予測的推論を分離するデュアルシステムVAMであるHAVANAを紹介します。
遅いシステムは観測履歴からコンパクトな言語条件の潜在計画を生成する一方、高速システムは最新の計画と現在の観測とを組み合わせて局所的な軌跡を生成する。
非同期実行は、将来の予測を繰り返しない迅速な適応を可能にし、推論中に将来のビデオが生成されることはない。
OmniNavBenchの実験では、従来のベースラインよりも最先端のナビゲーション性能が実証されている。
私たちのコードとチェックポイントはhttps://github.com/Anastasiawd/HAVANA.comで公開されます。
関連論文リスト
- ForeFly: A Dual-Horizon World Action Model for Aerial Vision-Language Navigation [58.41310453342363]
Aerial Vision-Language Navigation (AVLN) は、複雑な3D環境での長い軌道に追従する信頼性の高い指示をUAVに要求する。
ForeFlyは、局所的な連続性のための近未来と長距離誘導のための適応的経路クリティカルな未来の両方を予測する二重水平潜在世界行動モデルである。
TravelUAVとUAV-ONのベンチマークの実験では、ForeFlyは目視や目に見えない設定で強いベースラインを一貫して上回っている。
論文 参考訳(メタデータ) (2026-09-27T13:54:48Z) - Visual Cue Guided Video Planning for Generalizable Robot Navigation [12.951864480301294]
CueNavは、ビジュアルキューガイド付きビデオプランニングとエンボディメント固有の逆ダイナミクスモデル(IDM)を組み合わせたモデルベースのナビゲーションフレームワークである。
グローバルタスクコンテキストを符号化するビジュアルキューにより、CueNavはキューなしで計画するよりも迷路ナビゲーションで約2倍の成功を達成している。
以上の結果から,エボディメント特異的なアクショングラウンドディングを用いた視覚誘導型映像プランニングが,汎用的なナビゲーションフレームワークへの道筋をたどっていることが示唆された。
論文 参考訳(メタデータ) (2026-09-15T07:11:21Z) - AirForesight: Current-to-Future Spatial Map Imagination with Cross-Space Planning Consistency for UAV-VLN [28.176475934194638]
UAV-VLN (Unmanned Aerial Vehicle Vision-Language Navigation) は、無人の無人航空機である。
AirForesightは、UAV-VLNのための現在から将来の空間マップイマジネーションフレームワークである。
論文 参考訳(メタデータ) (2026-08-13T05:18:23Z) - LatentPilot: Scene-Aware Vision-and-Language Navigation by Dreaming Ahead with Latent Visual Reasoning [51.969318585152116]
LatentPilotは、トレーニング中の将来の観察を貴重なデータソースとして利用して、アクション条件付きビジュアルダイナミクスを学習する。
そこで本稿では,フライホイール方式のトレーニング機構を提案する。これは,道路上の軌道を反復的に収集し,エージェントの行動分布に適合するようにモデルを再訓練する。
R2R-CE、RxR-CE、R2R-PEベンチマークの実験では新たなSOTA結果が得られた。
論文 参考訳(メタデータ) (2026-03-31T02:21:59Z) - NavForesee: A Unified Vision-Language World Model for Hierarchical Planning and Dual-Horizon Navigation Prediction [12.352236127154761]
本稿では,高レベル言語計画と予測的世界モデルイマジネーションを統合するビジョン・ランゲージ・モデル(VLM)について紹介する。
我々のアプローチでは、単一のVLMが同時に計画と予測の監視を行うことができる。
私たちの研究は、暗黙の時間的予測で明示的な言語計画を融合させ、よりインテリジェントで有能なエンボディエージェントの道を開く、という大きな可能性を浮き彫りにしています。
論文 参考訳(メタデータ) (2025-12-01T11:24:16Z) - AMP: Autoregressive Motion Prediction Revisited with Next Token Prediction for Autonomous Driving [59.94343412438211]
本稿では,GPT方式の次のトークン動作予測を動作予測に導入する。
同種単位-ワードからなる言語データとは異なり、運転シーンの要素は複雑な空間的・時間的・意味的な関係を持つ可能性がある。
そこで本稿では,情報集約と位置符号化スタイルの異なる3つの因子化アテンションモジュールを用いて,それらの関係を捉えることを提案する。
論文 参考訳(メタデータ) (2024-03-20T06:22:37Z) - History Aware Multimodal Transformer for Vision-and-Language Navigation [96.80655332881432]
ヴィジュアル・アンド・ランゲージナビゲーション(VLN)は、指示に従う自律的な視覚エージェントの構築と、実際のシーンでのナビゲーションを目的としている。
長い水平履歴をマルチモーダルな意思決定に組み込むために,HAMT(History Aware Multimodal Transformer)を導入する。
論文 参考訳(メタデータ) (2021-10-25T22:54:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。