論文の概要: Object Memory Transformer for Object Goal Navigation
- arxiv url: http://arxiv.org/abs/2203.14708v1
- Date: Thu, 24 Mar 2022 09:16:56 GMT
- ステータス: 処理完了
- システム内更新日: 2022-04-03 08:12:38.755009
- Title: Object Memory Transformer for Object Goal Navigation
- Title(参考訳): オブジェクトゴールナビゲーションのためのオブジェクトメモリ変換器
- Authors: Rui Fukushima, Kei Ota, Asako Kanezaki, Yoko Sasaki, Yusuke Yoshiyasu
- Abstract要約: 本稿では,物体目標ナビゲーション(Nav)のための強化学習手法を提案する。
エージェントは3次元屋内環境をナビゲートし、対象物やシーンの長期観察に基づいて対象物に到達する。
私たちの知る限りでは、ゴール指向ナビゲーションタスクにおけるオブジェクトセマンティクスの長期記憶を利用する最初の作業である。
- 参考スコア(独自算出の注目度): 10.359616364592075
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This paper presents a reinforcement learning method for object goal
navigation (ObjNav) where an agent navigates in 3D indoor environments to reach
a target object based on long-term observations of objects and scenes. To this
end, we propose Object Memory Transformer (OMT) that consists of two key ideas:
1) Object-Scene Memory (OSM) that enables to store long-term scenes and object
semantics, and 2) Transformer that attends to salient objects in the sequence
of previously observed scenes and objects stored in OSM. This mechanism allows
the agent to efficiently navigate in the indoor environment without prior
knowledge about the environments, such as topological maps or 3D meshes. To the
best of our knowledge, this is the first work that uses a long-term memory of
object semantics in a goal-oriented navigation task. Experimental results
conducted on the AI2-THOR dataset show that OMT outperforms previous approaches
in navigating in unknown environments. In particular, we show that utilizing
the long-term object semantics information improves the efficiency of
navigation.
- Abstract(参考訳): 本稿では,オブジェクトとシーンの長期観測に基づいて,エージェントが3次元屋内環境をナビゲートして対象オブジェクトに到達する,オブジェクトゴールナビゲーション(ObjNav)の強化学習手法を提案する。
この目的のために,2つの重要なアイデアからなるオブジェクトメモリトランスフォーマ(omt)を提案する。
1)長期のシーンやオブジェクトのセマンティクスを格納できるオブジェクトシーンメモリ(OSM)
2)OSMに格納されているシーンやオブジェクトのシーケンスにおいて、正常なオブジェクトに付随するトランスフォーマー。
このメカニズムにより、エージェントは、トポロジカルマップや3dメッシュのような環境に関する事前知識なしに、効率的に屋内環境をナビゲートすることができる。
私たちの知る限りでは、これは目標指向のナビゲーションタスクでオブジェクトセマンティクスの長期記憶を使用する最初の作業です。
AI2-THORデータセットで行った実験結果から、OMTは未知の環境での航法における従来のアプローチよりも優れていた。
特に,長期オブジェクト意味情報を利用することでナビゲーションの効率が向上することを示す。
関連論文リスト
- MemoNav: Working Memory Model for Visual Navigation [49.81380163967168]
イメージゴールナビゲーションは、不慣れな環境でイメージによって示されるゴールにエージェントがナビゲートする必要がある、困難なタスクである。
様々な場面の記憶を利用する既存の手法は、すべての歴史的観察を意思決定に用いているため、非効率な探索に苦しむ。
動作メモリにインスパイアされたパイプラインを用いてナビゲーション性能を向上させる,イメージゴールナビゲーションのための新しいメモリモデルであるMemoNavを提案する。
論文 参考訳(メタデータ) (2024-02-29T13:45:13Z) - Chat-3D v2: Bridging 3D Scene and Large Language Models with Object
Identifiers [62.232809030044116]
会話中にオブジェクトを自由に参照するためにオブジェクト識別子を導入する。
本稿では,属性認識トークンと関係認識トークンを各オブジェクトに対して学習する2段階アライメント手法を提案する。
ScanQA、ScanRefer、Nr3D/Sr3Dといった従来のデータセットで行った実験は、提案手法の有効性を示した。
論文 参考訳(メタデータ) (2023-12-13T14:27:45Z) - The Background Also Matters: Background-Aware Motion-Guided Objects
Discovery [2.6442319761949875]
本研究では,背景認識型動き誘導物体探索法を提案する。
我々は光学的流れから抽出した移動物体のマスクを活用し、学習機構を設計し、それらを真の前景に拡張する。
これにより、オブジェクト発見タスクとオブジェクト/非オブジェクト分離の合同学習が可能になる。
論文 参考訳(メタデータ) (2023-11-05T12:35:47Z) - Localizing Active Objects from Egocentric Vision with Symbolic World
Knowledge [62.981429762309226]
タスクの指示をエゴセントリックな視点から積極的に下す能力は、AIエージェントがタスクを達成したり、人間をバーチャルに支援する上で不可欠である。
本稿では,現在進行中のオブジェクトの役割を学習し,指示から正確に抽出することで,アクティブなオブジェクトをローカライズするフレーズグラウンドモデルの性能を向上させることを提案する。
Ego4DおよびEpic-Kitchensデータセットに関するフレームワークの評価を行った。
論文 参考訳(メタデータ) (2023-10-23T16:14:05Z) - A Contextual Bandit Approach for Learning to Plan in Environments with
Probabilistic Goal Configurations [20.15854546504947]
本研究では,静的なオブジェクトだけでなく可動なオブジェクトに対しても,屋内環境を効率的に探索できるオブジェクトナビのためのモジュラーフレームワークを提案する。
我々は,不確実性に直面した場合の楽観性を示すことにより,環境を効率的に探索する。
提案アルゴリズムを2つのシミュレーション環境と実世界の環境で評価し,高いサンプル効率と信頼性を示す。
論文 参考訳(メタデータ) (2022-11-29T15:48:54Z) - Object Goal Navigation using Data Regularized Q-Learning [9.65323691689801]
Object Goal Navigationでは、ロボットが未確認の環境で対象のオブジェクトクラスのインスタンスを探し、ナビゲートする必要がある。
我々のフレームワークは、時間とともに環境のセマンティックマップを段階的に構築し、その後、長期的目標を何度も選択します。
長期的なゴール選択は、視覚に基づく深層強化学習問題として定式化される。
論文 参考訳(メタデータ) (2022-08-27T13:26:30Z) - TIDEE: Tidying Up Novel Rooms using Visuo-Semantic Commonsense Priors [29.255373211228548]
TIDEEは、学習されたコモンセンスオブジェクト配置と部屋配置に基づいて、混乱したシーンをタイディーアップする。
TIDEEは、ホーム環境を探索し、自然の場所から外れたオブジェクトを検出し、それらに対して妥当なオブジェクトコンテキストを推測し、現在のシーンでそのようなコンテキストをローカライズし、オブジェクトを再配置する。
我々は,AI2THORシミュレーション環境における非編成シーンのタイピングについてTIDEEを検証した。
論文 参考訳(メタデータ) (2022-07-21T21:19:18Z) - MeMOT: Multi-Object Tracking with Memory [97.48960039220823]
私たちのモデルはMeMOTと呼ばれ、トランスフォーマーベースの3つの主要モジュールで構成されています。
MeMOTは広く採用されているMOTデータセット上で非常に競争力のあるパフォーマンスを観測する。
論文 参考訳(メタデータ) (2022-03-31T02:33:20Z) - Object Goal Navigation using Goal-Oriented Semantic Exploration [98.14078233526476]
本研究は,未確認環境における対象カテゴリーのインスタンスにナビゲートするオブジェクトゴールナビゲーションの問題を研究する。
本稿では,表層的なセマンティックマップを構築し,効率的に環境を探索する「ゴール指向セマンティック探索」というモジュールシステムを提案する。
論文 参考訳(メタデータ) (2020-07-01T17:52:32Z) - ObjectNav Revisited: On Evaluation of Embodied Agents Navigating to
Objects [119.46959413000594]
この文書は、ObjectNavのワーキンググループのコンセンサスレコメンデーションを要約します。
評価基準の微妙だが重要な詳細について推奨する。
CVPR 2020のEmbodied AIワークショップで実施された課題において、これらの推奨事項のインスタンス化について、詳細な説明を行う。
論文 参考訳(メタデータ) (2020-06-23T17:18:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。