論文の概要: Improving Zero-Shot ObjectNav with Generative Communication
- arxiv url: http://arxiv.org/abs/2408.01877v3
- Date: Wed, 02 Oct 2024 01:13:22 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-03 15:16:41.465183
- Title: Improving Zero-Shot ObjectNav with Generative Communication
- Title(参考訳): ジェネレーティブ通信によるゼロショットObjectNavの改善
- Authors: Vishnu Sashank Dorbala, Vishnu Dutt Sharma, Pratap Tokekar, Dinesh Manocha,
- Abstract要約: ゼロショットObjectNavの改良手法を提案する。
私たちのアプローチは、接地エージェントが制限され、時には障害のあるビューを持つ可能性があることを考慮に入れています。
- 参考スコア(独自算出の注目度): 60.84730028539513
- License:
- Abstract: We propose a new method for improving zero-shot ObjectNav that aims to utilize potentially available environmental percepts for navigational assistance. Our approach takes into account that the ground agent may have limited and sometimes obstructed view. Our formulation encourages Generative Communication (GC) between an assistive overhead agent with a global view containing the target object and the ground agent with an obfuscated view; both equipped with Vision-Language Models (VLMs) for vision-to-language translation. In this assisted setup, the embodied agents communicate environmental information before the ground agent executes actions towards a target. Despite the overhead agent having a global view with the target, we note a drop in performance (-13% in OSR and -13% in SPL) of a fully cooperative assistance scheme over an unassisted baseline. In contrast, a selective assistance scheme where the ground agent retains its independent exploratory behaviour shows a 10% OSR and 7.65% SPL improvement. To explain navigation performance, we analyze the GC for unique traits, quantifying the presence of hallucination and cooperation. Specifically, we identify the novel linguistic trait of preemptive hallucination in our embodied setting, where the overhead agent assumes that the ground agent has executed an action in the dialogue when it is yet to move, and note its strong correlation with navigation performance. We conduct real-world experiments and present some qualitative examples where we mitigate hallucinations via prompt finetuning to improve ObjectNav performance.
- Abstract(参考訳): 本稿では,ナビゲーション支援に利用可能な環境パーセプションを活用することを目的とした,ゼロショットObjectNavの改良手法を提案する。
私たちのアプローチは、接地エージェントが制限され、時には障害のあるビューを持つ可能性があることを考慮に入れています。
我々の定式化は、対象物を含むグローバルな視野を持つ補助的オーバーヘッドエージェントと、難解な視野を持つ地上エージェントとの間のジェネレーティブ・コミュニケーション(GC)を奨励し、どちらも視覚言語翻訳のための視覚言語モデル(VLM)を備えている。
この補助装置では、接地エージェントが目標に向かってアクションを実行する前に、実施エージェントが環境情報を伝達する。
目標とグローバルな視点を持つオーバーヘッドエージェントにもかかわらず,非支援ベースライン上での完全協調支援スキームの性能低下(OSR-13%,SPL-13%)に留意する。
対照的に、接地剤が独立した探索行動を維持する選択的補助スキームは、10%のOSRと7.65%のSPL改善を示す。
ナビゲーション性能を説明するため,独特の特徴のGCを分析し,幻覚と協調の存在を定量化する。
具体的には,頭上エージェントがまだ移動していないときに対話中に行動を実行したと仮定し,ナビゲーション性能との強い相関性に留意する。
我々は実世界の実験を行い、ObjectNavのパフォーマンスを向上させるために、素早い微調整を通して幻覚を緩和する定性的な例を示す。
関連論文リスト
- Visual Grounding for Object-Level Generalization in Reinforcement Learning [35.39214541324909]
自然言語命令に従うエージェントにとって、一般化は重要な課題である。
視覚言語モデル(VLM)を用いて視覚的グラウンド化を行い,その知識を強化学習に伝達する。
我々の本質的な報酬は、挑戦的なスキル学習のパフォーマンスを著しく向上させることを示す。
論文 参考訳(メタデータ) (2024-08-04T06:34:24Z) - DeTra: A Unified Model for Object Detection and Trajectory Forecasting [68.85128937305697]
提案手法は,2つのタスクの結合を軌道修正問題として定式化する。
この統合タスクに対処するために、オブジェクトの存在, ポーズ, マルチモーダルな将来の振る舞いを推測する精細化変換器を設計する。
実験では、我々のモデルはArgoverse 2 Sensor and Openデータセットの最先端性よりも優れています。
論文 参考訳(メタデータ) (2024-06-06T18:12:04Z) - Zero-Shot Object Goal Visual Navigation With Class-Independent Relationship Network [3.0820097046465285]
ゼロショット(Zero-shot)とは、エージェントが探すべきターゲットがトレーニングフェーズ中にトレーニングされないことを意味する。
本研究では,学習中の目標特徴とナビゲーション能力の結合の問題に対処するために,クラス独立関係ネットワーク(CIRN)を提案する。
本手法は、ゼロショット目標視覚ナビゲーションタスクにおける最先端のアプローチよりも優れている。
論文 参考訳(メタデータ) (2023-10-15T16:42:14Z) - What do navigation agents learn about their environment? [39.74076893981299]
本稿では、ポイントゴールナビゲーションエージェントとオブジェクトゴールナビゲーションエージェントのための、エンボディード・アグエント(iSEE)の解釈可能性システムについて紹介する。
これらのエージェントが生成する動的表現をiSEEを用いて探索し,エージェントや環境に関する情報を提示する。
論文 参考訳(メタデータ) (2022-06-17T01:33:43Z) - Object Manipulation via Visual Target Localization [64.05939029132394]
オブジェクトを操作するための訓練エージェントは、多くの課題を提起します。
本研究では,対象物体を探索する環境を探索し,位置が特定されると3次元座標を計算し,対象物が見えない場合でも3次元位置を推定する手法を提案する。
評価の結果,同じ感覚スイートにアクセス可能なモデルに比べて,成功率が3倍に向上したことが示された。
論文 参考訳(メタデータ) (2022-03-15T17:59:01Z) - Information is Power: Intrinsic Control via Information Capture [110.3143711650806]
我々は,潜時状態空間モデルを用いて推定したエージェントの状態訪問のエントロピーを最小化する,コンパクトで汎用的な学習目的を論じる。
この目的は、不確実性の低減に対応する環境情報収集と、将来の世界状態の予測不可能性の低減に対応する環境制御の両方をエージェントに誘導する。
論文 参考訳(メタデータ) (2021-12-07T18:50:42Z) - Self-Supervised Domain Adaptation for Visual Navigation with Global Map
Consistency [6.385006149689549]
本稿では,視覚ナビゲーションエージェントの自己教師型適応手法を提案する。
提案課題は完全に自己監督的であり, 地味なポーズデータや明示的なノイズモデルからの監視は不要である。
実験の結果,提案課題はエージェントが新しいノイズの多い環境への移動を成功させるのに役立つことがわかった。
論文 参考訳(メタデータ) (2021-10-14T07:14:36Z) - Integrating Egocentric Localization for More Realistic Point-Goal
Navigation Agents [90.65480527538723]
本研究では,ノイズ行動力学の下での自我行動の視覚的推定に依存するポイントゴールナビゲーションエージェントを開発した。
私たちのエージェントはCVPR 2020 Habitat ChallengeのPointNavトラックのランナーでした。
論文 参考訳(メタデータ) (2020-09-07T16:52:47Z) - ObjectNav Revisited: On Evaluation of Embodied Agents Navigating to
Objects [119.46959413000594]
この文書は、ObjectNavのワーキンググループのコンセンサスレコメンデーションを要約します。
評価基準の微妙だが重要な詳細について推奨する。
CVPR 2020のEmbodied AIワークショップで実施された課題において、これらの推奨事項のインスタンス化について、詳細な説明を行う。
論文 参考訳(メタデータ) (2020-06-23T17:18:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。