論文の概要: Object Memory Transformer for Object Goal Navigation
- arxiv url: http://arxiv.org/abs/2203.14708v1
- Date: Thu, 24 Mar 2022 09:16:56 GMT
- ステータス: 処理完了
- システム内更新日: 2022-04-03 08:12:38.755009
- Title: Object Memory Transformer for Object Goal Navigation
- Title（参考訳）: オブジェクトゴールナビゲーションのためのオブジェクトメモリ変換器
- Authors: Rui Fukushima, Kei Ota, Asako Kanezaki, Yoko Sasaki, Yusuke Yoshiyasu
- Abstract要約: 本稿では,物体目標ナビゲーション(Nav)のための強化学習手法を提案する。
エージェントは3次元屋内環境をナビゲートし、対象物やシーンの長期観察に基づいて対象物に到達する。
私たちの知る限りでは、ゴール指向ナビゲーションタスクにおけるオブジェクトセマンティクスの長期記憶を利用する最初の作業である。
- 参考スコア（独自算出の注目度）: 10.359616364592075
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This paper presents a reinforcement learning method for object goal
navigation (ObjNav) where an agent navigates in 3D indoor environments to reach
a target object based on long-term observations of objects and scenes. To this
end, we propose Object Memory Transformer (OMT) that consists of two key ideas:
1) Object-Scene Memory (OSM) that enables to store long-term scenes and object
semantics, and 2) Transformer that attends to salient objects in the sequence
of previously observed scenes and objects stored in OSM. This mechanism allows
the agent to efficiently navigate in the indoor environment without prior
knowledge about the environments, such as topological maps or 3D meshes. To the
best of our knowledge, this is the first work that uses a long-term memory of
object semantics in a goal-oriented navigation task. Experimental results
conducted on the AI2-THOR dataset show that OMT outperforms previous approaches
in navigating in unknown environments. In particular, we show that utilizing
the long-term object semantics information improves the efficiency of
navigation.
- Abstract（参考訳）: 本稿では,オブジェクトとシーンの長期観測に基づいて,エージェントが3次元屋内環境をナビゲートして対象オブジェクトに到達する,オブジェクトゴールナビゲーション(ObjNav)の強化学習手法を提案する。
この目的のために,2つの重要なアイデアからなるオブジェクトメモリトランスフォーマ(omt)を提案する。
1)長期のシーンやオブジェクトのセマンティクスを格納できるオブジェクトシーンメモリ(OSM)
2)OSMに格納されているシーンやオブジェクトのシーケンスにおいて、正常なオブジェクトに付随するトランスフォーマー。
このメカニズムにより、エージェントは、トポロジカルマップや3dメッシュのような環境に関する事前知識なしに、効率的に屋内環境をナビゲートすることができる。
私たちの知る限りでは、これは目標指向のナビゲーションタスクでオブジェクトセマンティクスの長期記憶を使用する最初の作業です。
AI2-THORデータセットで行った実験結果から、OMTは未知の環境での航法における従来のアプローチよりも優れていた。
特に,長期オブジェクト意味情報を利用することでナビゲーションの効率が向上することを示す。
関連論文リスト
- Personalized Instance-based Navigation Toward User-Specific Objects in Realistic Environments [44.6372390798904]
本稿では,特定の個人オブジェクトの位置と到達を具体化するタスクデノマイトされたパーソナライズされたパーソナライズドインスタンスベースのナビゲーション(PIN)を提案する。
各エピソードにおいて、ターゲットオブジェクトは、中性背景上の視覚的参照画像のセットと手動による注釈付きテキスト記述の2つのモードを使用してエージェントに提示される。
論文 参考訳（メタデータ） (2024-10-23T18:01:09Z) - SG-Nav: Online 3D Scene Graph Prompting for LLM-based Zero-shot Object Navigation [83.4599149936183]
既存のゼロショットオブジェクトナビゲーション手法は、空間的に閉じたオブジェクトのテキストでLCMをプロンプトする。
本稿では,3次元シーングラフを用いて観察されたシーンを表現することを提案する。
我々は,MP3D,HM3D,RoboTHOR環境において,SG-Navが従来のゼロショット法を10%以上のSRで上回る大規模な実験を行った。
論文 参考訳（メタデータ） (2024-10-10T17:57:19Z) - Prioritized Semantic Learning for Zero-shot Instance Navigation [2.537056548731396]
我々はゼロショットのインスタンスナビゲーションについて研究し、エージェントはトレーニングにオブジェクトアノテーションを使わずに特定のオブジェクトにナビゲートする。
本稿では,ナビゲーションエージェントのセマンティック理解能力を向上させるために,優先度付き意味学習(PSL)手法を提案する。
我々のPSLエージェントは、0ショットのObjectNavにおいて、0ショットのObjectNavを66%上回り、新しいInstanceNavタスクよりも優れている。
論文 参考訳（メタデータ） (2024-03-18T10:45:50Z) - Right Place, Right Time! Towards ObjectNav for Non-Stationary Goals [55.581423861790945]
本研究では,屋内環境における非定常的かつ隠蔽されたターゲットに対して,ObjectNavタスクに取り組むための新しい手法を提案する。
本稿では,新しいメモリ拡張 LLM ベースのポリシーを用いて,その定式化,実現可能性,ナビゲーションベンチマークを提案する。
論文 参考訳（メタデータ） (2024-03-14T22:33:22Z) - Localizing Active Objects from Egocentric Vision with Symbolic World
Knowledge [62.981429762309226]
タスクの指示をエゴセントリックな視点から積極的に下す能力は、AIエージェントがタスクを達成したり、人間をバーチャルに支援する上で不可欠である。
本稿では,現在進行中のオブジェクトの役割を学習し,指示から正確に抽出することで,アクティブなオブジェクトをローカライズするフレーズグラウンドモデルの性能を向上させることを提案する。
Ego4DおよびEpic-Kitchensデータセットに関するフレームワークの評価を行った。
論文 参考訳（メタデータ） (2023-10-23T16:14:05Z) - A Contextual Bandit Approach for Learning to Plan in Environments with
Probabilistic Goal Configurations [20.15854546504947]
本研究では,静的なオブジェクトだけでなく可動なオブジェクトに対しても,屋内環境を効率的に探索できるオブジェクトナビのためのモジュラーフレームワークを提案する。
我々は,不確実性に直面した場合の楽観性を示すことにより,環境を効率的に探索する。
提案アルゴリズムを2つのシミュレーション環境と実世界の環境で評価し,高いサンプル効率と信頼性を示す。
論文 参考訳（メタデータ） (2022-11-29T15:48:54Z) - Object Goal Navigation using Data Regularized Q-Learning [9.65323691689801]
Object Goal Navigationでは、ロボットが未確認の環境で対象のオブジェクトクラスのインスタンスを探し、ナビゲートする必要がある。
我々のフレームワークは、時間とともに環境のセマンティックマップを段階的に構築し、その後、長期的目標を何度も選択します。
長期的なゴール選択は、視覚に基づく深層強化学習問題として定式化される。
論文 参考訳（メタデータ） (2022-08-27T13:26:30Z) - MeMOT: Multi-Object Tracking with Memory [97.48960039220823]
私たちのモデルはMeMOTと呼ばれ、トランスフォーマーベースの3つの主要モジュールで構成されています。
MeMOTは広く採用されているMOTデータセット上で非常に競争力のあるパフォーマンスを観測する。
論文 参考訳（メタデータ） (2022-03-31T02:33:20Z) - Object Goal Navigation using Goal-Oriented Semantic Exploration [98.14078233526476]
本研究は,未確認環境における対象カテゴリーのインスタンスにナビゲートするオブジェクトゴールナビゲーションの問題を研究する。
本稿では,表層的なセマンティックマップを構築し,効率的に環境を探索する「ゴール指向セマンティック探索」というモジュールシステムを提案する。
論文 参考訳（メタデータ） (2020-07-01T17:52:32Z) - ObjectNav Revisited: On Evaluation of Embodied Agents Navigating to
Objects [119.46959413000594]
この文書は、ObjectNavのワーキンググループのコンセンサスレコメンデーションを要約します。
評価基準の微妙だが重要な詳細について推奨する。
CVPR 2020のEmbodied AIワークショップで実施された課題において、これらの推奨事項のインスタンス化について、詳細な説明を行う。
論文 参考訳（メタデータ） (2020-06-23T17:18:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。