論文の概要: Foresight: Iterative Reasoning About Clues that Matter for Navigation
- arxiv url: http://arxiv.org/abs/2606.12550v1
- Date: Wed, 10 Jun 2026 18:01:06 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-12 15:55:27.39203
- Title: Foresight: Iterative Reasoning About Clues that Matter for Navigation
- Title（参考訳）: 注意:ナビゲーションにとって重要なルールについて反復的推論
- Authors: Arthur Zhang, Carl Qi, Donne Su, Xiangyun Meng, Amy Zhang, Joydeep Biswas,
- Abstract要約: マップレスナビゲーションでは、未特定目標の解決と、目標達成にどの環境基準が関係しているかを推測する必要がある。
事前の作業は、既知のナビゲーション要因やクローズド・セット・ファクター・カテゴリに依存しているか、あるいは動作計画の前にキューを特定し、計画に依存しないキューを見逃すことによって制限される。
事前学習した視覚言語モデル(VLM)は、新しい指導関連キューを発見することができるが、どのキューが重要か、どのように運動計画に影響を及ぼすべきかに適応する必要がある。
我々はこれらのアイデアをForesightで実現した。これは、微調整されたVLMが画像空間の運動計画とクオリティを交互に提案するテストタイムフレームワークである。
- 参考スコア（独自算出の注目度）: 20.227441986534767
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Open-world mapless navigation from sparse language instructions requires resolving underspecified goals and inferring which environmental cues are relevant for reaching the goal. For instance, reaching an out-of-view destination may require interpreting ramps, signs, or detours that reveal where to go or which route to take. Prior works are limited by their reliance on known navigation factors and closed-set factor categories, or identify cues before motion planning and miss plan-dependent cues. We argue that pretrained Vision-Language Models (VLMs) can discover novel instruction-relevant cues, but require adaptation to focus on which cues matter and how they should influence motion planning. We realize these ideas in Foresight, a test-time framework in which a finetuned VLM alternates between proposing image-space motion plans and critiquing them using the language goal and visual context. Subsequent plans are conditioned on prior critiques, enabling iterative motion refinement before execution. To align plan critiques and refinements with open-set behavior preferences, we learn a reward model from human feedback and use it to post-train the VLM with reinforcement learning in the plan-critique loop. In offline evaluations and 6 real-world environments, Foresight improves average task success by 37% and reduces interventions per mission by 52% relative to state-of-the-art test-time reasoning and foundation-model baselines, while running in real-time on a Jetson AGX Orin. We will release code, data, and training details to support future work on test-time reasoning for robot motion refinement. Additional videos at: https://amrl.cs.utexas.edu/foresight
- Abstract（参考訳）: スパース言語命令からのオープンワールドマップレスナビゲーションでは、未特定目標の解決と、目標達成にどの環境基準が関係しているかを推測する必要がある。
例えば、アウト・オブ・ビューの目的地に到達するには、どこへ行くか、どのルートに行くかを示すランプ、標識、またはデトゥールを解釈する必要がある。
事前の作業は、既知のナビゲーション要因やクローズド・セット・ファクター・カテゴリに依存しているか、あるいは動作計画の前にキューを特定し、計画に依存しないキューを見逃すことによって制限される。
事前学習した視覚言語モデル(VLM)は、新しい指導関連キューを発見することができるが、どのキューが重要か、どのように運動計画に影響を及ぼすべきかに適応する必要がある。
我々はこれらのアイデアをForesightで実現した。このテストタイムフレームワークでは、微調整されたVLMが、画像空間の運動計画の提案と、言語目標と視覚的コンテキストを用いた評価を交互に行う。
その後の計画は、実行前に反復的なモーションリファインメントを可能にする、事前の批判に条件付けされる。
計画批判と改善をオープンな行動嗜好と整合させるため、人間のフィードバックから報酬モデルを学び、それを用いて、計画批判ループにおける強化学習によるVLMのポストトレーニングを行う。
オフライン評価と6つの実環境において、Foresightは平均的なタスク成功率を37%改善し、Jetson AGX Orin上でリアルタイムに実行しながら、最先端のテストタイム推論とファンデーションモデルベースラインと比較してミッション毎の介入を52%削減する。
ロボットのモーションリファインメントのためのテストタイム推論に関する今後の作業を支援するため、コード、データ、トレーニングの詳細をリリースする。
https://amrl.cs.utexas.edu/foresight
関連論文リスト
- AwareVLN: Reasoning with Self-awareness for Vision-Language Navigation [78.80536515102305]
VLN(Vision-and-Language Navigation)は、エージェントが視覚環境内の自身の動きに言語命令を接地する必要がある。
本稿では,ナビゲーションモデルに自己認識推論機構を備えた新しいフレームワークであるAwareVLNを提案する。
提案手法は,(1)空間的およびタスク指向の自己認識を促進する構造的推論モジュール,(2)効果的な学習のための進歩分担付き自動データエンジンの2つの重要な革新を特徴とする。
論文 参考訳（メタデータ） (2026-05-21T17:58:26Z) - LatentPilot: Scene-Aware Vision-and-Language Navigation by Dreaming Ahead with Latent Visual Reasoning [51.969318585152116]
LatentPilotは、トレーニング中の将来の観察を貴重なデータソースとして利用して、アクション条件付きビジュアルダイナミクスを学習する。
そこで本稿では,フライホイール方式のトレーニング機構を提案する。これは,道路上の軌道を反復的に収集し,エージェントの行動分布に適合するようにモデルを再訓練する。
R2R-CE、RxR-CE、R2R-PEベンチマークの実験では新たなSOTA結果が得られた。
論文 参考訳（メタデータ） (2026-03-31T02:21:59Z) - AsgardBench -- Evaluating Visually Grounded Interactive Planning Under Minimal Feedback [28.254110943200683]
AsgardBenchは、視覚的に基礎があり、ハイレベルなアクションシーケンス生成と対話的な計画を評価することを目指している。
評価の結果,視覚的入力を使わずに性能が急激に低下し,視覚的接地や状態追跡の弱点が明らかとなった。
私たちのベンチマークでは,より限定的な疑問に言及しています – 期待通りに進まなければ,実際に計画に適応するために,モデルが見ているものを使用することは可能ですか?
論文 参考訳（メタデータ） (2026-03-16T20:31:43Z) - To Move or Not to Move: Constraint-based Planning Enables Zero-Shot Generalization for Interactive Navigation [14.745622942938532]
家庭環境や倉庫のような現実のシナリオでは、クラッタはすべてのルートをブロックすることができる。
本稿では,移動ロボットが乱雑に移動して自身の進路を鍛える,Lifelong Interactive Navigation問題を紹介する。
アクティブな認識を伴うLLM駆動制約に基づく計画フレームワークを提案する。
論文 参考訳（メタデータ） (2026-02-23T17:10:00Z) - VSP: Assessing the dual challenges of perception and reasoning in spatial planning tasks for VLMs [102.36953558562436]
視覚言語モデル(VLM)は、エキサイティングな言語モデル(LM)のクラスである。
VLMの未調査能力の1つは、視覚空間計画である。
本研究は,これらのモデルにおける空間計画能力を概ね評価するベンチマークを提案する。
論文 参考訳（メタデータ） (2024-07-02T00:24:01Z) - How To Not Train Your Dragon: Training-free Embodied Object Goal
Navigation with Semantic Frontiers [94.46825166907831]
Embodied AIにおけるオブジェクトゴールナビゲーション問題に対処するためのトレーニング不要のソリューションを提案する。
本手法は,古典的な視覚的同時ローカライゼーションとマッピング(V-SLAM)フレームワークに基づく,構造化されたシーン表現を構築する。
本手法は,言語先行情報とシーン統計に基づいてシーングラフのセマンティクスを伝搬し,幾何学的フロンティアに意味知識を導入する。
論文 参考訳（メタデータ） (2023-05-26T13:38:33Z) - SOON: Scenario Oriented Object Navigation with Graph-based Exploration [102.74649829684617]
人間のように3Dエンボディ環境のどこからでも言語ガイドされたターゲットに向かって移動する能力は、インテリジェントロボットの「聖杯」目標の1つです。
ほとんどのビジュアルナビゲーションベンチマークは、ステップバイステップの詳細な命令セットに導かれ、固定された出発点から目標に向かって移動することに焦点を当てている。
このアプローチは、人間だけが物体とその周囲がどのように見えるかを説明する現実世界の問題から逸脱し、ロボットにどこからでも航行を依頼する。
論文 参考訳（メタデータ） (2021-03-31T15:01:04Z) - Spatiotemporal Relationship Reasoning for Pedestrian Intent Prediction [57.56466850377598]
視覚データに対する推論は、ロボティクスとビジョンベースのアプリケーションにとって望ましい能力である。
本稿では,歩行者の意図を推論するため,現場の異なる物体間の関係を明らかにするためのグラフ上でのフレームワークを提案する。
歩行者の意図は、通りを横切る、あるいは横断しない将来の行動として定義され、自動運転車にとって非常に重要な情報である。
論文 参考訳（メタデータ） (2020-02-20T18:50:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。