論文の概要: Multi-Object Navigation with dynamically learned neural implicit
representations
- arxiv url: http://arxiv.org/abs/2210.05129v1
- Date: Tue, 11 Oct 2022 04:06:34 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-12 15:29:38.757228
- Title: Multi-Object Navigation with dynamically learned neural implicit
representations
- Title(参考訳): 動的学習ニューラル暗黙表現を用いたマルチオブジェクトナビゲーション
- Authors: Pierre Marza, Laetitia Matignon, Olivier Simonin, Christian Wolf
- Abstract要約: 本稿では,各エピソードにおいて動的に学習される2つのニューラル暗示表現を用いてニューラルネットワークを構築することを提案する。
マルチオブジェクトナビゲーションにおけるエージェントの評価を行い、暗黙的表現をメモリソースとして使用する場合の影響を高く示す。
- 参考スコア(独自算出の注目度): 11.868792440783055
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Understanding and mapping a new environment are core abilities of any
autonomously navigating agent. While classical robotics usually estimates maps
in a stand-alone manner with SLAM variants, which maintain a topological or
metric representation, end-to-end learning of navigation keeps some form of
memory in a neural network. Networks are typically imbued with inductive
biases, which can range from vectorial representations to birds-eye metric
tensors or topological structures. In this work, we propose to structure neural
networks with two neural implicit representations, which are learned
dynamically during each episode and map the content of the scene: (i) the
Semantic Finder predicts the position of a previously seen queried object; (ii)
the Occupancy and Exploration Implicit Representation encapsulates information
about explored area and obstacles, and is queried with a novel global read
mechanism which directly maps from function space to a usable embedding space.
Both representations are leveraged by an agent trained with Reinforcement
Learning (RL) and learned online during each episode. We evaluate the agent on
Multi-Object Navigation and show the high impact of using neural implicit
representations as a memory source.
- Abstract(参考訳): 新しい環境の理解とマッピングは、自律的なナビゲートエージェントの中核機能である。
古典的ロボティクスは通常、トポロジカルあるいはメートル法的な表現を維持するSLAM変種と単独でマップを推定するが、ナビゲーションのエンドツーエンドの学習は、ニューラルネットワーク内のある種のメモリを保持する。
ネットワークは通常、ベクトル表現から鳥眼メートル法テンソルやトポロジカル構造まで、誘導バイアスが課せられる。
本研究では,2つのニューラル暗黙表現を用いたニューラルネットワークの構築を提案し,各エピソード中に動的に学習し,シーンの内容のマッピングを行う。
i) セマンティックファインダは,前に見たクエリ対象の位置を予測します。
(II)Occupancy and Exploration Implicit Representationは、探索領域や障害物に関する情報をカプセル化し、関数空間から使用可能な埋め込み空間へ直接マップする新しいグローバルリード機構でクエリされる。
どちらの表現も強化学習(RL)で訓練されたエージェントによって活用され、各エピソードでオンラインで学習される。
マルチオブジェクトナビゲーションにおけるエージェントの評価を行い、暗黙的表現をメモリソースとして使用する場合の影響を高く示す。
関連論文リスト
- Automated mapping of virtual environments with visual predictive coding [1.1331292553789585]
本稿では,エージェントが視覚的予測コーディングをしながら仮想環境をナビゲートするフレームワークを提案する。
次の画像予測タスクを学習しながら、エージェントは、距離を定量的に反映する環境の内部表現を自動的に構築する。
内部マップにより、エージェントは視覚情報のみを使用してランドマークに対して位置を特定できる。
論文 参考訳(メタデータ) (2023-08-20T22:29:16Z) - Learning Navigational Visual Representations with Semantic Map
Supervision [85.91625020847358]
エージェントの自我中心のビューとセマンティックマップを対比してナビゲーション固有の視覚表現学習法を提案する。
Ego$2$-Map学習は、オブジェクト、構造、遷移などのコンパクトでリッチな情報を、ナビゲーションのためのエージェントのエゴセントリックな表現に転送する。
論文 参考訳(メタデータ) (2023-07-23T14:01:05Z) - ALSO: Automotive Lidar Self-supervision by Occupancy estimation [70.70557577874155]
本稿では,ポイントクラウド上で動作している深層知覚モデルのバックボーンを事前学習するための自己教師型手法を提案する。
中心となる考え方は、3Dポイントがサンプリングされる表面の再構成であるプリテキストタスクでモデルをトレーニングすることである。
直感的には、もしネットワークがわずかな入力ポイントのみを考慮し、シーン表面を再構築できるなら、おそらく意味情報の断片をキャプチャする。
論文 参考訳(メタデータ) (2022-12-12T13:10:19Z) - Neural Network based Successor Representations of Space and Language [6.748976209131109]
本稿では,構造化知識のマルチスケールの後継表現をニューラルネットワークで学習する手法を提案する。
すべてのシナリオにおいて、ニューラルネットワークは、後続表現を構築することによって基盤構造を正しく学習し、近似する。
我々は、認知地図とニューラルネットワークに基づく構造化知識の継承表現が、人工知能への深層学習の短さを克服する有望な方法を提供すると結論付けた。
論文 参考訳(メタデータ) (2022-02-22T21:52:46Z) - Dynamic Inference with Neural Interpreters [72.90231306252007]
本稿では,モジュールシステムとしての自己アテンションネットワークにおける推論を分解するアーキテクチャであるNeural Interpretersを提案する。
モデルへの入力は、エンドツーエンドの学習方法で一連の関数を通してルーティングされる。
ニューラル・インタープリタは、より少ないパラメータを用いて視覚変換器と同等に動作し、サンプル効率で新しいタスクに転送可能であることを示す。
論文 参考訳(メタデータ) (2021-10-12T23:22:45Z) - PredRNN: A Recurrent Neural Network for Spatiotemporal Predictive
Learning [109.84770951839289]
歴史的文脈からビジュアルダイナミクスを学習するための新しいリカレントネットワークであるPredRNNを紹介する。
本手法は,3つの標準データセット上で高い競争結果が得られることを示す。
論文 参考訳(メタデータ) (2021-03-17T08:28:30Z) - Variational Structured Attention Networks for Deep Visual Representation
Learning [49.80498066480928]
空間的注意マップとチャネル的注意の両方を原則的に共同学習するための統合的深層フレームワークを提案する。
具体的には,確率的表現学習フレームワークに注目度の推定と相互作用を統合する。
ニューラルネットワーク内で推論ルールを実装し,確率パラメータとcnnフロントエンドパラメータのエンドツーエンド学習を可能にする。
論文 参考訳(メタデータ) (2021-03-05T07:37:24Z) - Understanding the Role of Individual Units in a Deep Neural Network [85.23117441162772]
本稿では,画像分類と画像生成ネットワーク内の隠れ単位を系統的に同定する分析フレームワークを提案する。
まず、シーン分類に基づいて訓練された畳み込みニューラルネットワーク(CNN)を分析し、多様なオブジェクト概念にマッチするユニットを発見する。
第2に、シーンを生成するために訓練されたGANモデルについて、同様の分析手法を用いて分析する。
論文 参考訳(メタデータ) (2020-09-10T17:59:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。