論文の概要: WMNav: Integrating Vision-Language Models into World Models for Object Goal Navigation
- arxiv url: http://arxiv.org/abs/2503.02247v1
- Date: Tue, 04 Mar 2025 03:51:36 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-03-05 19:15:10.576375
- Title: WMNav: Integrating Vision-Language Models into World Models for Object Goal Navigation
- Title（参考訳）: WMNav:オブジェクトゴールナビゲーションのための世界モデルにビジョンランゲージモデルを統合する
- Authors: Dujun Nie, Xianda Guo, Yiqun Duan, Ruijun Zhang, Long Chen,
- Abstract要約: WMNavは視覚言語モデル(VLM)を利用した新しい世界モデルベースのナビゲーションフレームワークである。
決定の結果を予測し、ポリシーモジュールへのフィードバックを提供するためにメモリを構築する。
人間のような思考プロセスに従って分解することにより、WMNavはモデル幻覚の影響を効果的に緩和する。
- 参考スコア（独自算出の注目度）: 6.463198014180394
- License:
- Abstract: Object Goal Navigation-requiring an agent to locate a specific object in an unseen environment-remains a core challenge in embodied AI. Although recent progress in Vision-Language Model (VLM)-based agents has demonstrated promising perception and decision-making abilities through prompting, none has yet established a fully modular world model design that reduces risky and costly interactions with the environment by predicting the future state of the world. We introduce WMNav, a novel World Model-based Navigation framework powered by Vision-Language Models (VLMs). It predicts possible outcomes of decisions and builds memories to provide feedback to the policy module. To retain the predicted state of the environment, WMNav proposes the online maintained Curiosity Value Map as part of the world model memory to provide dynamic configuration for navigation policy. By decomposing according to a human-like thinking process, WMNav effectively alleviates the impact of model hallucination by making decisions based on the feedback difference between the world model plan and observation. To further boost efficiency, we implement a two-stage action proposer strategy: broad exploration followed by precise localization. Extensive evaluation on HM3D and MP3D validates WMNav surpasses existing zero-shot benchmarks in both success rate and exploration efficiency (absolute improvement: +3.2% SR and +3.2% SPL on HM3D, +13.5% SR and +1.1% SPL on MP3D). Project page: https://b0b8k1ng.github.io/WMNav/.
- Abstract（参考訳）: オブジェクト目標ナビゲーション(Object Goal Navigation) - 見えない環境で特定のオブジェクトを見つけるエージェントの要求。
ビジョン・ランゲージ・モデル (VLM) をベースとしたエージェントの最近の進歩は,将来的な認識と意思決定能力を示すものとなっているが,世界の将来状態を予測することによって,環境とのリスクとコストのかかる相互作用を低減する,完全にモジュール化された世界モデル設計は確立されていない。
WMNavは視覚言語モデル(VLM)を利用した新しい世界モデルベースのナビゲーションフレームワークである。
決定の結果を予測し、ポリシーモジュールへのフィードバックを提供するためにメモリを構築する。
環境の予測状態を維持するため、WMNavは、ナビゲーションポリシーの動的構成を提供するために、世界モデルメモリの一部として、オンラインに維持されているキュリオシティ値マップを提案する。
ヒューマンライクな思考プロセスに従って分解することにより、WMNavは、世界モデルプランと観察とのフィードバック差に基づいて決定を行うことにより、モデル幻覚の影響を効果的に軽減する。
効率をさらに高めるために、我々は2段階のアクションプロポーザ戦略を実装した。
HM3DとMP3Dの広範囲な評価により、WMNavは成功率と探索効率の両方で既存のゼロショットベンチマークを超えている(絶対改善:+3.2% SRと+3.2% HM3DのSPL、+13.5% SRと+1.1% MP3DのSPL)。
プロジェクトページ:https://b0b8k1ng.github.io/WMNav/。
関連論文リスト
- Mem2Ego: Empowering Vision-Language Models with Global-to-Ego Memory for Long-Horizon Embodied Navigation [35.71602601385161]
本稿では,視覚言語モデル(VLM)に基づくナビゲーションフレームワークを提案する。
提案手法は,長期タスクにおける空間的推論と意思決定を促進する。
実験の結果,提案手法は従来のオブジェクトナビゲーションタスクの手法を超越していることがわかった。
論文 参考訳（メタデータ） (2025-02-20T04:41:40Z) - Navigation World Models [68.58459393846461]
本稿では,過去の観測とナビゲーション行動に基づいて,将来の視覚観測を予測できる制御可能な映像生成モデルを提案する。
慣れ親しんだ環境では、NWMはナビゲーションの軌道をシミュレートし、目的を達成するかどうかを評価することで計画することができる。
実験は、スクラッチからの軌道計画や、外部ポリシーからサンプリングされた軌道のランク付けにおいて、その効果を実証する。
論文 参考訳（メタデータ） (2024-12-04T18:59:45Z) - GOAT-Bench: A Benchmark for Multi-Modal Lifelong Navigation [65.71524410114797]
GOAT-BenchはユニバーサルナビゲーションタスクGO to AnyThing(GOAT)のベンチマークである。
GOATでは、エージェントはカテゴリ名、言語記述、イメージによって指定されたターゲットのシーケンスにナビゲートするように指示される。
我々はGOATタスク上でモノリシックなRLおよびモジュラーメソッドをベンチマークし、その性能をモダリティにわたって分析する。
論文 参考訳（メタデータ） (2024-04-09T20:40:00Z) - NavCoT: Boosting LLM-Based Vision-and-Language Navigation via Learning
Disentangled Reasoning [101.56342075720588]
Embodied AIの重要な研究課題であるVision-and-Language Navigation (VLN)は、自然言語の指示に従って複雑な3D環境をナビゲートするために、エンボディエージェントを必要とする。
近年の研究では、ナビゲーションの推論精度と解釈可能性を改善することにより、VLNにおける大きな言語モデル(LLM)の有望な能力を強調している。
本稿では,自己誘導型ナビゲーション決定を実現するために,パラメータ効率の高いドメイン内トレーニングを実現する,Navigational Chain-of-Thought (NavCoT) という新しい戦略を提案する。
論文 参考訳（メタデータ） (2024-03-12T07:27:02Z) - VLFM: Vision-Language Frontier Maps for Zero-Shot Semantic Navigation [36.31724466541213]
ゼロショットナビゲーションアプローチであるビジョンランゲージフロンティアマップ(VLFM)を導入する。
VLFMは人間の推論にインスパイアされ、新しい環境における見えないセマンティックなオブジェクトにナビゲートするように設計されている。
我々は,ギブソン,ハビタット・マテルポート3D (HM3D) およびマターポート3D (MP3D) のシミュレータを用いて,写真実写環境における VLFM の評価を行った。
論文 参考訳（メタデータ） (2023-12-06T04:02:28Z) - NoMaD: Goal Masked Diffusion Policies for Navigation and Exploration [57.15811390835294]
本稿では,目標指向ナビゲーションと目標非依存探索の両方を扱うために,単一の統合拡散政策をトレーニングする方法について述べる。
この統一された政策は、新しい環境における目標を視覚的に示す際に、全体的な性能が向上することを示す。
実世界の移動ロボットプラットフォーム上で実施した実験は,5つの代替手法と比較して,見えない環境における効果的なナビゲーションを示す。
論文 参考訳（メタデータ） (2023-10-11T21:07:14Z) - SayNav: Grounding Large Language Models for Dynamic Planning to Navigation in New Environments [14.179677726976056]
SayNavは、Large Language Models(LLM)からの人間の知識を活用して、複雑なナビゲーションタスクを効率的に一般化する新しいアプローチである。
SayNavは最先端の結果を達成し、成功率の点で強烈な地道的な仮定でオラクルベースのベースラインを8%以上上回ります。
論文 参考訳（メタデータ） (2023-09-08T02:24:37Z) - CorNav: Autonomous Agent with Self-Corrected Planning for Zero-Shot Vision-and-Language Navigation [73.78984332354636]
CorNavは視覚・言語ナビゲーションのための新しいゼロショットフレームワークである。
将来の計画の見直しや行動調整のための環境フィードバックが組み込まれている。
ゼロショットマルチタスク設定ですべてのベースラインを一貫して上回る。
論文 参考訳（メタデータ） (2023-06-17T11:44:04Z) - 1st Place Solutions for RxR-Habitat Vision-and-Language Navigation
Competition (CVPR 2022) [28.5740809300599]
連続環境における視覚・言語ナビゲーション(VLN-CE)問題に対するモジュール型計画・制御手法を提案する。
提案モデルは,候補経路予測器(CWP),履歴拡張プランナー,試行制御器の3つのモジュールから構成される。
我々のモデルは2022年のRxR-Habitatコンペティションで優勝し、NDTWおよびSRメトリクスの既存手法に比べて48%と90%の相対的な改善があった。
論文 参考訳（メタデータ） (2022-06-23T10:36:53Z) - Structured Scene Memory for Vision-Language Navigation [155.63025602722712]
視覚言語ナビゲーション(VLN)のための重要なアーキテクチャを提案する。
ナビゲーション中に知覚を正確に記憶できるほど区画化されている。
また、環境内の視覚的および幾何学的な手がかりを捉え、取り除く、構造化されたシーン表現としても機能する。
論文 参考訳（メタデータ） (2021-03-05T03:41:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。