論文の概要: Reinforcement Learning from Multiple Sensors via Joint Representations
- arxiv url: http://arxiv.org/abs/2302.05342v1
- Date: Fri, 10 Feb 2023 15:57:20 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-13 15:24:56.129762
- Title: Reinforcement Learning from Multiple Sensors via Joint Representations
- Title(参考訳): 関節表現による複数センサからの強化学習
- Authors: Philipp Becker, Sebastian Markgraf, Fabian Otto, Gerhard Neumann
- Abstract要約: 本稿では,すべてのセンサ情報を単一の一貫した表現に融合させるために,リカレントステートスペースモデルを提案する。
共同表現は画像表現とプロプレセプションのポストホックな組み合わせに比べて性能が有意に向上することを示す。
- 参考スコア(独自算出の注目度): 17.442700717736162
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In many scenarios, observations from more than one sensor modality are
available for reinforcement learning (RL). For example, many agents can
perceive their internal state via proprioceptive sensors but must infer the
environment's state from high-dimensional observations such as images. For
image-based RL, a variety of self-supervised representation learning approaches
exist to improve performance and sample complexity. These approaches learn the
image representation in isolation. However, including proprioception can help
representation learning algorithms to focus on relevant aspects and guide them
toward finding better representations. Hence, in this work, we propose using
Recurrent State Space Models to fuse all available sensory information into a
single consistent representation. We combine reconstruction-based and
contrastive approaches for training, which allows using the most appropriate
method for each sensor modality. For example, we can use reconstruction for
proprioception and a contrastive loss for images. We demonstrate the benefits
of utilizing proprioception in learning representations for RL on a large set
of experiments. Furthermore, we show that our joint representations
significantly improve performance compared to a post hoc combination of image
representations and proprioception.
- Abstract(参考訳): 多くのシナリオでは、複数のセンサモードからの観測が強化学習(RL)に利用可能である。
例えば、多くのエージェントはプロピオセプティブセンサーを介して内部状態を認識できるが、イメージのような高次元の観測から環境の状態を予測する必要がある。
画像ベースのRLでは、パフォーマンスとサンプルの複雑さを改善するために、様々な自己教師付き表現学習アプローチが存在する。
これらのアプローチはイメージ表現を分離して学習する。
しかし、プロプリセプションを含むことによって、表現学習アルゴリズムは関連する側面に集中し、より良い表現を見つけるためのガイドとなる。
そこで本研究では,すべてのセンサ情報を単一の一貫した表現に融合させるために,Recurrent State Space Modelsを提案する。
本研究は,各センサのモダリティに対して最も適切な手法を活用できる,リコンストラクションベースとコントラストアプローチを組み合わせた学習手法を提案する。
例えば、画像のプロピロセプションと対照的な損失に再構成を用いることができる。
本研究では,RLの学習表現にプロプリセプションを活用する利点を,大規模な実験で示す。
さらに,画像表現と固有認識のポストホックな組み合わせと比較して,共同表現の性能が有意に向上することを示す。
関連論文リスト
- M2CURL: Sample-Efficient Multimodal Reinforcement Learning via
Self-Supervised Representation Learning for Robotic Manipulation [0.850206009406913]
マルチモーダルコントラスト非教師強化学習(M2CURL)を提案する。
提案手法は,効率的な表現を学習し,RLアルゴリズムの高速収束に寄与する,新しいマルチモーダル自己教師学習技術を用いている。
Tactile Gym 2シミュレータ上でのM2CURLの評価を行い、異なる操作タスクにおける学習効率を大幅に向上させることを示す。
論文 参考訳(メタデータ) (2024-01-30T14:09:35Z) - Visual Imitation Learning with Calibrated Contrastive Representation [44.63125396964309]
AIL(Adversarial Imitation Learning)は、エージェントが低次元の状態と行動で専門家の行動を再現することを可能にする。
本稿では、視覚的AILフレームワークにコントラスト型代表学習を組み込むことにより、シンプルで効果的な解を提案する。
論文 参考訳(メタデータ) (2024-01-21T04:18:30Z) - Accelerating exploration and representation learning with offline
pre-training [52.6912479800592]
1つのオフラインデータセットから2つの異なるモデルを別々に学習することで、探索と表現の学習を改善することができることを示す。
ノイズコントラスト推定と補助報酬モデルを用いて状態表現を学習することで、挑戦的なNetHackベンチマークのサンプル効率を大幅に向上できることを示す。
論文 参考訳(メタデータ) (2023-03-31T18:03:30Z) - CRC-RL: A Novel Visual Feature Representation Architecture for
Unsupervised Reinforcement Learning [7.4010632660248765]
改良された視覚的特徴を学習するために,CRC損失と呼ばれる不均一な損失関数を用いた新しいアーキテクチャを提案する。
提案したアーキテクチャはCRC-RLと呼ばれ、Deep Mind Controlスイート環境における既存の最先端手法よりも優れている。
論文 参考訳(メタデータ) (2023-01-31T08:41:18Z) - Real-World Image Super-Resolution by Exclusionary Dual-Learning [98.36096041099906]
実世界の画像超解像は,高品質な画像を得るための実用的な画像復元問題である。
深層学習に基づく手法は、現実世界の超解像データセットの復元に期待できる品質を実現している。
本稿では,RWSR-EDL(Real-World Image Super-Resolution by Exclusionary Dual-Learning)を提案する。
論文 参考訳(メタデータ) (2022-06-06T13:28:15Z) - An Empirical Investigation of Representation Learning for Imitation [76.48784376425911]
視覚、強化学習、NLPにおける最近の研究は、補助的な表現学習の目的が、高価なタスク固有の大量のデータの必要性を減らすことを示している。
本稿では,表現学習アルゴリズムを構築するためのモジュラーフレームワークを提案する。
論文 参考訳(メタデータ) (2022-05-16T11:23:42Z) - INFOrmation Prioritization through EmPOWERment in Visual Model-Based RL [90.06845886194235]
モデルベース強化学習(RL)のための修正目的を提案する。
相互情報に基づく状態空間モデルに,変分エンパワーメントにインスパイアされた用語を統合する。
本研究は,視覚に基づくロボット制御作業における自然な映像背景を用いたアプローチの評価である。
論文 参考訳(メタデータ) (2022-04-18T23:09:23Z) - Return-Based Contrastive Representation Learning for Reinforcement
Learning [126.7440353288838]
そこで本研究では,学習表現に異なる戻り値を持つ状態-動作ペアを判別させる新しい補助タスクを提案する。
アルゴリズムはatariゲームやdeepmindコントロールスイートの複雑なタスクのベースラインを上回っています。
論文 参考訳(メタデータ) (2021-02-22T13:04:18Z) - Shared Prior Learning of Energy-Based Models for Image Reconstruction [69.72364451042922]
本研究では,地中真理データを含まないトレーニングに特化して設計された画像再構成のための新しい学習ベースフレームワークを提案する。
基底真理データがない場合には、損失関数をパッチベースのワッサーシュタイン関数に変更する。
共用事前学習では、上記の最適制御問題と正規化器の共用学習パラメータを同時に最適化する。
論文 参考訳(メタデータ) (2020-11-12T17:56:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。