論文の概要: NavHarness: Adaptive Goals for Agentic Vision-Language Navigation
- arxiv url: http://arxiv.org/abs/2609.39915v1
- Date: Wed, 30 Sep 2026 15:06:45 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-01 18:57:27.958156
- Title: NavHarness: Adaptive Goals for Agentic Vision-Language Navigation
- Title(参考訳): NavHarness:エージェントビジョンランゲージナビゲーションのための適応的な目標
- Abstract要約: Vision-Language Navigation (VLN) は、インボディードエージェントが指示や観察に基づいてアクションを生成する必要がある。
MethodはAgentic VLNフレームワークで、ローカルアクションの適応的な目標を設定するGoal Agentを含んでいる。
実世界の評価では、83.3%の成功と1.51,mの航法誤差が8つの挑戦ルートで3回評価されている。
- 参考スコア(独自算出の注目度): 74.28348892951908
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Vision-Language Navigation (VLN) requires embodied agents to generate actions based on instructions and observations. General-purpose multimodal agents offer a promising basis for this task, but selecting plausible local actions does not ensure that execution remains consistent with the intended route, particularly in long-horizon tasks. Moreover, the accumulated interaction history increases the input required for subsequent decisions, resulting in a significant inference overhead. To this end, we introduce \method, an Agentic VLN framework that includes a Goal Agent that sets adaptive goals for local actions, a Verify Agent that dynamically verifies whether a goal has been completed, a Memory Agent for multimodal context compression, and a Visuomotor Agent to execute adaptive goals. Specifically, the Goal Agent formulates adaptive goals based on the instruction, current observation, and execution history. Then the Visuomotor Agent executes navigation actions to achieve each goal, while the Verify Agent uses a goal-specific verification question to dynamically assess whether the observed outcomes satisfy the intended completion condition. Verified goal completion then marks a boundary for the Memory Agent to compress the corresponding multimodal interaction history while preserving information needed for subsequent navigation. We evaluate navigation on R2R-CE and RxR-CE, examine framework variants across three model backbones, and study context evolution during execution. For Real-World evaluation, \method achieves 83.3\% success and 1.51\,m navigation error across eight challenging routes evaluated three times each.
- Abstract(参考訳): Vision-Language Navigation (VLN) は、インボディードエージェントが指示や観察に基づいてアクションを生成する必要がある。
汎用マルチモーダルエージェントはこのタスクに有望な基盤を提供するが、妥当なローカルアクションの選択は、特に長距離タスクにおいて、実行が意図されたルートと一致し続けることを保証しない。
さらに、蓄積された相互作用履歴は、その後の決定に必要な入力を増加させ、大きな推論オーバーヘッドをもたらす。
この目的のために,ローカルアクションに対して適応目標を設定する目標エージェント,目標が完了したかどうかを動的に検証する検証エージェント,マルチモーダルコンテキスト圧縮のためのメモリエージェント,適応目標を実行するためのビジュモータエージェントを含むエージェントVLNフレームワークである \methodを紹介する。
具体的には、目標エージェントは、指示、現在の観察、実行履歴に基づいて適応目標を定式化する。
次に、Visuomotor Agentは、各目標を達成するためのナビゲーションアクションを実行し、Verify Agentは、ゴール固有の検証質問を使用して、観察結果が意図された完了条件を満たすか否かを動的に評価する。
検証済みのゴール完了は、メモリエージェントがその後のナビゲーションに必要な情報を保持しながら、対応するマルチモーダルインタラクション履歴を圧縮するためのバウンダリを示す。
R2R-CEとRxR-CEのナビゲーションを評価し、3つのモデルバックボーンにわたるフレームワークのバリエーションを調べ、実行中のコンテキスト進化を研究する。
実世界の評価では、Shamethodは83.3\%の成功と1.51\,mのナビゲーションエラーを8つの挑戦ルートで3回評価している。
関連論文リスト
- HarnessVLN: Unifying Training-Free Embodied Navigation through an Agent Harness [30.61739879302674]
身体的ナビゲーションでは、エージェントは空間観測において指示や目標を下ろす必要がある。
本稿では,ゼロショットでトレーニング不要なフレームワークであるHarnessVLNを紹介した。
論文 参考訳(メタデータ) (2026-09-14T08:15:56Z) - GoalVLM: VLM-driven Object Goal Navigation for Multi-Agent System [0.0]
ゼロショットでオープンなオブジェクトナビゲーションのための協調型マルチエージェントフレームワークであるGoalVLMを提案する。
GoalVLMは、VLM(Vision-Language Model)を直接決定ループに統合し、SAM3はテキストプロンプト検出とセグメンテーション、SpaceOMは空間推論を行う。
GOAT-Bench val_unseenにおけるGoalVLMの評価を行った。
論文 参考訳(メタデータ) (2026-03-18T18:59:33Z) - A Behavioural and Representational Evaluation of Goal-Directedness in Language Model Agents [8.007212170802807]
本稿では,行動評価と解釈可能性に基づくモデルの内部表現の分析を統合した目標指向性評価フレームワークを提案する。
我々は,様々なグリッドサイズ,障害物密度,目標構造にまたがる最適政策に対するエージェントの評価を行った。
次に、エージェントの内部表現の環境状態とマルチステップアクション計画のデコードにプローブ法を用いる。
論文 参考訳(メタデータ) (2026-02-09T18:00:28Z) - AgentPRM: Process Reward Models for LLM Agents via Step-Wise Promise and Progress [71.02263260394261]
大規模言語モデル(LLM)は、マルチターン意思決定タスクにおいて依然として課題に直面している。
プロセス報酬モデル(PRM)を構築し、各意思決定を評価し、エージェントの意思決定プロセスを導く。
AgentPRMは、シーケンシャルな決定と最終的な目標への貢献の間の相互依存の両方をキャプチャする。
論文 参考訳(メタデータ) (2025-11-11T14:57:54Z) - Collaborative Instance Object Navigation: Leveraging Uncertainty-Awareness to Minimize Human-Agent Dialogues [54.81155589931697]
協調インスタンスオブジェクトナビゲーション(CoIN)は、エージェントがターゲットインスタンスに関する不確実性を積極的に解決する新しいタスク設定である。
未認識者に対するエージェント・ユーザインタラクション(AIUTA)の新たな学習自由化手法を提案する。
まず、オブジェクト検出時に、セルフクエチオナーモデルがエージェント内で自己対話を開始し、完全かつ正確な観察記述を得る。
インタラクショントリガーモジュールは、人間に質問するか、継続するか、ナビゲーションを停止するかを決定する。
論文 参考訳(メタデータ) (2024-12-02T08:16:38Z) - Improving Zero-Shot ObjectNav with Generative Communication [60.84730028539513]
ゼロショットObjectNavの改良手法を提案する。
私たちのアプローチは、接地エージェントが制限され、時には障害のあるビューを持つ可能性があることを考慮に入れています。
論文 参考訳(メタデータ) (2024-08-03T22:55:26Z) - Learning Graph-Enhanced Commander-Executor for Multi-Agent Navigation [28.71585436726336]
マルチエージェント強化学習(MARL)では,この問題の解決に有望な結果が得られた。
目標条件付き階層型強化学習(HRL)は、この課題に取り組むための有望な方向性を提供する。
マルチエージェントナビゲーションタスクのためのグラフベースのゴール条件階層手法であるMAGE-Xを提案する。
論文 参考訳(メタデータ) (2023-02-08T14:44:21Z) - Discrete Factorial Representations as an Abstraction for Goal
Conditioned Reinforcement Learning [99.38163119531745]
離散化ボトルネックを適用することにより,目標条件付きRLセットアップの性能が向上することを示す。
分布外目標に対する期待した回帰を実験的に証明し、同時に表現的な構造で目標を指定できるようにします。
論文 参考訳(メタデータ) (2022-11-01T03:31:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。