論文の概要: Towards Versatile Embodied Navigation

• arxiv url: http://arxiv.org/abs/2210.16822v1
• Date: Sun, 30 Oct 2022 11:53:49 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-01 17:46:11.584402
• Title: Towards Versatile Embodied Navigation
• Title（参考訳）: 多様な具体的ナビゲーションを目指して
• Authors: Hanqing Wang, Wei Liang, Luc Van Gool, Wenguan Wang
• Abstract要約: ウィーンは多機能なエンボディナビゲーションエージェントであり、同時に4つのナビゲーションタスクを1つのモデルで実行することを学ぶ。 視覚的なナビゲーションタスクを個別に学習するのに対し、エージェントは複雑さを減らして同等またはそれ以上の性能を達成することを実証的に実証した。
• 参考スコア（独自算出の注目度）: 120.73460380993305
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: With the emergence of varied visual navigation tasks (e.g, image-/object-/audio-goal and vision-language navigation) that specify the target in different ways, the community has made appealing advances in training specialized agents capable of handling individual navigation tasks well. Given plenty of embodied navigation tasks and task-specific solutions, we address a more fundamental question: can we learn a single powerful agent that masters not one but multiple navigation tasks concurrently? First, we propose VXN, a large-scale 3D dataset that instantiates four classic navigation tasks in standardized, continuous, and audiovisual-rich environments. Second, we propose Vienna, a versatile embodied navigation agent that simultaneously learns to perform the four navigation tasks with one model. Building upon a full-attentive architecture, Vienna formulates various navigation tasks as a unified, parse-and-query procedure: the target description, augmented with four task embeddings, is comprehensively interpreted into a set of diversified goal vectors, which are refined as the navigation progresses, and used as queries to retrieve supportive context from episodic history for decision making. This enables the reuse of knowledge across navigation tasks with varying input domains/modalities. We empirically demonstrate that, compared with learning each visual navigation task individually, our multitask agent achieves comparable or even better performance with reduced complexity.
• Abstract（参考訳）: 様々な視覚的ナビゲーションタスク(例えば、イメージ/オブジェクト/オーディオゴール/視覚言語ナビゲーション)の出現により、コミュニティは個々のナビゲーションタスクをうまく扱える専門エージェントの訓練において魅力的な進歩を遂げた。 たくさんの具体化されたナビゲーションタスクとタスク固有のソリューションを考えると、私たちはより基本的な問題に対処します。 まず,標準,連続,視聴覚に富んだ環境で4つの古典的なナビゲーションタスクをインスタンス化する大規模3dデータセットであるvxnを提案する。 第二にウィーンは,4つのナビゲーションタスクを1つのモデルで同時に実行することを学ぶ多目的なナビゲーションエージェントである。 ウィーンは、様々なナビゲーションタスクを統一されたパース・アンド・クエリーの手順として定式化している: 4つのタスクの埋め込みで強化されたターゲット記述は、ナビゲーションの進行に伴って洗練され、決定のためにエピソード歴史から支援されたコンテキストを検索するためにクエリとして使用される、多様化されたゴールベクトルの集合に包括的に解釈される。 これにより、様々な入力ドメイン/モダリティを持つナビゲーションタスク間の知識の再利用が可能になる。 視覚的なナビゲーションタスクを個別に学習するのに対し、我々のマルチタスクエージェントは複雑さを減らして同等またはそれ以上のパフォーマンスを達成することを実証的に実証した。

関連論文リスト

• Towards Learning a Generalist Model for Embodied Navigation [24.816490551945435]
  そこで本研究では,NaviLLM を具体化するための最初のジェネラリストモデルを提案する。 スキーマベースの命令を導入することで、LCMをナビゲーションの具体化に適応する。 我々は,モデルの性能と一般化性を評価するため,広範囲な実験を行った。
  論文  参考訳（メタデータ） (2023-12-04T16:32:51Z)
• Multi-goal Audio-visual Navigation using Sound Direction Map [10.152838128195468]
  マルチゴール音声視覚ナビゲーションのための新しいフレームワークを提案する。 この研究は、マルチゴールオーディオ視覚ナビゲーションが、音源を分離する暗黙的な必要性の難しさを示唆している。 本研究では,複数の音源を学習的手法で動的に局所化するSDM法を提案する。
  論文  参考訳（メタデータ） (2023-08-01T01:26:55Z)
• AVLEN: Audio-Visual-Language Embodied Navigation in 3D Environments [60.98664330268192]
  AVLEN(Audio-Visual-Language Embodied Navigationの対話型エージェント)を提案する。 AVLENの目標は、3Dビジュアルワールドをナビゲートすることでオーディオイベントをローカライズすることである。 これらの能力を実現するために、AVLENはマルチモーダル階層的な強化学習バックボーンを使用する。
  論文  参考訳（メタデータ） (2022-10-14T16:35:06Z)
• Zero Experience Required: Plug & Play Modular Transfer Learning for Semantic Visual Navigation [97.17517060585875]
  新たなモジュール移動学習モデルを用いて視覚ナビゲーションに統一的な手法を提案する。 我々のモデルは、1つのソースタスクから経験を効果的に活用し、複数のターゲットタスクに適用することができる。 我々のアプローチはより速く学習し、より良く一般化し、大きなマージンでSoTAモデルを上回っます。
  論文  参考訳（メタデータ） (2022-02-05T00:07:21Z)
• Diagnosing Vision-and-Language Navigation: What Really Matters [61.72935815656582]
  視覚言語ナビゲーション(VLN)は、エージェントが自然言語の指示に従って視覚環境をナビゲートするマルチモーダルタスクである。 近年の研究では、室内および屋外のVLNタスクのパフォーマンス改善が鈍化している。 本研究では,ナビゲーション中のエージェントの焦点を明らかにするための一連の診断実験を行う。
  論文  参考訳（メタデータ） (2021-03-30T17:59:07Z)
• MultiON: Benchmarking Semantic Map Memory using Multi-Object Navigation [23.877609358505268]
  最近の研究は、地図のようなメモリが長距離ナビゲーションタスクに有用であることを示している。 本稿では,実環境において,エピソード特有のオブジェクト列へのナビゲーションを必要とするマルチオンタスクを提案する。 様々なエージェントモデルがナビゲーションタスクの複雑度をまたいでどのように振る舞うかを検討する。
  論文  参考訳（メタデータ） (2020-12-07T18:42:38Z)
• Active Visual Information Gathering for Vision-Language Navigation [115.40768457718325]
  視覚言語ナビゲーション(VLN)は、エージェントがフォトリアリスティックな環境の中でナビゲーションの指示を行うためのタスクである。 VLNの重要な課題の1つは、曖昧な指示による不確実性を緩和し、環境の観察を不十分にすることで、堅牢なナビゲーションを行う方法である。 この研究は、人間のナビゲーション行動からインスピレーションを得て、よりインテリジェントなVLNポリシーのためのアクティブな情報収集能力を持つエージェントを提供する。
  論文  参考訳（メタデータ） (2020-07-15T23:54:20Z)
• Improving Target-driven Visual Navigation with Attention on 3D Spatial Relationships [52.72020203771489]
  3次元屋内シーンにおける深部強化学習(DRL)を用いた目標駆動型視覚ナビゲーションについて検討した。 提案手法は視覚特徴と3次元空間表現を組み合わせてナビゲーションポリシーを学習する。 AI2-THORで実施した我々の実験は、SRとSPLの指標において、モデルがベースラインを上回っていることを示している。
  論文  参考訳（メタデータ） (2020-04-29T08:46:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。