論文の概要: ESC: Exploration with Soft Commonsense Constraints for Zero-shot Object Navigation

• arxiv url: http://arxiv.org/abs/2301.13166v3
• Date: Thu, 6 Jul 2023 06:25:33 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-07 17:59:50.687938
• Title: ESC: Exploration with Soft Commonsense Constraints for Zero-shot Object Navigation
• Title（参考訳）: ESC:ゼロショットオブジェクトナビゲーションのためのソフトコモンセンス制約による探索
• Authors: Kaiwen Zhou, Kaizhi Zheng, Connor Pryor, Yilin Shen, Hongxia Jin, Lise Getoor, Xin Eric Wang
• Abstract要約: 我々は,新しいゼロショットオブジェクトナビゲーション手法であるExploration with Soft Commonsense constraints (ESC)を提案する。 ESCは、事前訓練されたモデルのコモンセンス知識を、ナビゲーション経験のないオープンワールドオブジェクトナビゲーションに転送する。 MP3D, HM3D, RoboTHORのベンチマーク実験により, ESC法はベースラインよりも大幅に改善されていることがわかった。
• 参考スコア（独自算出の注目度）: 75.13546386761153
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The ability to accurately locate and navigate to a specific object is a crucial capability for embodied agents that operate in the real world and interact with objects to complete tasks. Such object navigation tasks usually require large-scale training in visual environments with labeled objects, which generalizes poorly to novel objects in unknown environments. In this work, we present a novel zero-shot object navigation method, Exploration with Soft Commonsense constraints (ESC), that transfers commonsense knowledge in pre-trained models to open-world object navigation without any navigation experience nor any other training on the visual environments. First, ESC leverages a pre-trained vision and language model for open-world prompt-based grounding and a pre-trained commonsense language model for room and object reasoning. Then ESC converts commonsense knowledge into navigation actions by modeling it as soft logic predicates for efficient exploration. Extensive experiments on MP3D, HM3D, and RoboTHOR benchmarks show that our ESC method improves significantly over baselines, and achieves new state-of-the-art results for zero-shot object navigation (e.g., 288% relative Success Rate improvement than CoW on MP3D).
• Abstract（参考訳）: 特定のオブジェクトを正確に見つけてナビゲートする能力は、現実世界で動作し、タスクを完了させるためにオブジェクトと対話するエージェントにとって重要な能力である。 このようなオブジェクトナビゲーションタスクは、通常、ラベル付きオブジェクトを持つ視覚環境において大規模なトレーニングを必要とする。 本研究では,事前学習モデルにおける常識知識を,ナビゲーション経験や視覚環境でのトレーニングなしにオープンワールドオブジェクトナビゲーションに伝達する,ソフト・コモンセンス制約(esc)を用いた新たなゼロショットオブジェクトナビゲーション手法を提案する。 第一に、ESCは、オープンワールドのプロンプトベースのグラウンドリングのための事前学習されたビジョンと言語モデルと、ルームおよびオブジェクト推論のための事前学習されたコモンセンス言語モデルを利用する。 そして、ESCはコモンセンス知識を、効率的な探索のためのソフトロジック述語としてモデル化することで、ナビゲーション行動に変換する。 MP3D, HM3D, および RoboTHOR ベンチマークの大規模な実験により、我々のESC法はベースラインよりも大幅に改善され、ゼロショットオブジェクトナビゲーションのための新しい最先端結果が得られる(例えば、MP3D の CoW よりも288% の相対的継承率の向上)。

関連論文リスト

• HM3D-OVON: A Dataset and Benchmark for Open-Vocabulary Object Goal Navigation [39.54854283833085]
  Habitat-Matterport 3D Open Vocabulary Object Goal Navigation データセット(HM3D-OVON)を提案する。 HM3D-OVONは、379の異なるカテゴリにわたる15k以上の注釈付きオブジェクトのインスタンスを組み込んでいる。 我々は,HM3D-OVONを用いて,オープン語彙のObjectNavエージェントを訓練し,高い性能を実現し,最先端のObjectNavアプローチよりもローカライゼーションやアクティベーションノイズに頑健であることを確認した。
  論文  参考訳（メタデータ） (2024-09-22T02:12:29Z)
• GOAT-Bench: A Benchmark for Multi-Modal Lifelong Navigation [65.71524410114797]
  GOAT-BenchはユニバーサルナビゲーションタスクGO to AnyThing(GOAT)のベンチマークである。 GOATでは、エージェントはカテゴリ名、言語記述、イメージによって指定されたターゲットのシーケンスにナビゲートするように指示される。 我々はGOATタスク上でモノリシックなRLおよびモジュラーメソッドをベンチマークし、その性能をモダリティにわたって分析する。
  論文  参考訳（メタデータ） (2024-04-09T20:40:00Z)
• OpenFMNav: Towards Open-Set Zero-Shot Object Navigation via Vision-Language Foundation Models [16.50443396055173]
  ゼロショットオブジェクトナビゲーションのためのオープンセットファウンデーションモデルベースのフレームワークであるOpenFMNavを提案する。 まず,大規模言語モデルの推論能力を解き明かし,提案するオブジェクトを自然言語命令から抽出する。 次に、大規模視覚言語モデルの一般化可能性を活用して、シーンから候補対象を積極的に発見し、検出する。
  論文  参考訳（メタデータ） (2024-02-16T13:21:33Z)
• Learning Navigational Visual Representations with Semantic Map Supervision [85.91625020847358]
  エージェントの自我中心のビューとセマンティックマップを対比してナビゲーション固有の視覚表現学習法を提案する。 Ego$2$-Map学習は、オブジェクト、構造、遷移などのコンパクトでリッチな情報を、ナビゲーションのためのエージェントのエゴセントリックな表現に転送する。
  論文  参考訳（メタデータ） (2023-07-23T14:01:05Z)
• KERM: Knowledge Enhanced Reasoning for Vision-and-Language Navigation [61.08389704326803]
  VLN(Vision-and-Language Navigation)は、実シーンにおける自然言語命令に続く遠隔地への移動を可能にするタスクである。 以前のアプローチのほとんどは、ナビゲート可能な候補を表現するために、機能全体やオブジェクト中心の機能を利用している。 本稿では,知識を活用したエージェントナビゲーション能力向上のための知識強化推論モデル(KERM)を提案する。
  論文  参考訳（メタデータ） (2023-03-28T08:00:46Z)
• Can an Embodied Agent Find Your "Cat-shaped Mug"? LLM-Guided Exploration for Zero-Shot Object Navigation [58.3480730643517]
  言語駆動型ゼロショットオブジェクトゴールナビゲーション(L-ZSON)のための新しいアルゴリズムLGXを提案する。 このアプローチでは、このタスクにLarge Language Models(LLM)を使用します。 現状のゼロショットオブジェクトナビゲーションをRoboTHOR上で実現し,現在のベースラインよりも27%以上の成功率(SR)向上を実現した。
  論文  参考訳（メタデータ） (2023-03-06T20:19:19Z)
• Improving Target-driven Visual Navigation with Attention on 3D Spatial Relationships [52.72020203771489]
  3次元屋内シーンにおける深部強化学習(DRL)を用いた目標駆動型視覚ナビゲーションについて検討した。 提案手法は視覚特徴と3次元空間表現を組み合わせてナビゲーションポリシーを学習する。 AI2-THORで実施した我々の実験は、SRとSPLの指標において、モデルがベースラインを上回っていることを示している。
  論文  参考訳（メタデータ） (2020-04-29T08:46:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。