論文の概要: Joint Representations for Reinforcement Learning with Multiple Sensors
- arxiv url: http://arxiv.org/abs/2302.05342v2
- Date: Fri, 2 Jun 2023 09:11:19 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-05 19:57:45.031480
- Title: Joint Representations for Reinforcement Learning with Multiple Sensors
- Title(参考訳): 複数センサを用いた強化学習のための共同表現
- Authors: Philipp Becker, Sebastian Markgraf, Fabian Otto, Gerhard Neumann
- Abstract要約: 複数のセンサからの強化学習のための表現学習を解析する。
共同表現学習における再構成ベースと対照的な損失の組み合わせは,性能を著しく向上させることを示す。
- 参考スコア(独自算出の注目度): 17.442700717736162
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Combining inputs from multiple sensor modalities effectively in reinforcement
learning (RL) is an open problem. While many self-supervised representation
learning approaches exist to improve performance and sample complexity for
image-based RL, they usually neglect other available information, such as robot
proprioception. However, using this proprioception for representation learning
can help algorithms to focus on relevant aspects and guide them toward finding
better representations. In this work, we systematically analyze representation
learning for RL from multiple sensors by building on Recurrent State Space
Models. We propose a combination of reconstruction-based and contrastive
losses, which allows us to choose the most appropriate method for each sensor
modality. We demonstrate the benefits of joint representations, particularly
with distinct loss functions for each modality, for model-free and model-based
RL on complex tasks. Those include tasks where the images contain distractions
or occlusions and a new locomotion suite. We show that combining
reconstruction-based and contrastive losses for joint representation learning
improves performance significantly compared to a post hoc combination of image
representations and proprioception and can also improve the quality of learned
models for model-based RL.
- Abstract(参考訳): 強化学習(RL)において、複数のセンサモードからの入力を効果的に組み合わせることは、オープンな問題である。
多くの自己教師付き表現学習アプローチは、画像ベースのRLの性能とサンプルの複雑さを改善するために存在するが、ロボットの受容のような他の利用可能な情報を無視している。
しかし、表現学習にこの概念を用いることは、アルゴリズムが関連する側面に集中し、より良い表現を見つけるためのガイドとなる。
本研究では,連続状態空間モデルに基づいて複数のセンサからRLの表現学習を体系的に解析する。
本研究では,各センサのモダリティに最も適した手法を選択可能な再構成型とコントラスト型の組み合わせを提案する。
本稿では,複雑なタスクに対するモデルフリーおよびモデルベースrlのための,各モダリティの異なる損失関数を用いたジョイント表現の利点を示す。
これには、画像が邪魔や閉塞を含むタスクや、新しい移動スイートが含まれる。
共同表現学習における再構成ベースと対比的損失の組み合わせは,画像表現と固有概念のポストホックな組み合わせに比べて有意に性能が向上し,モデルベースrlの学習モデルの品質も向上することを示す。
関連論文リスト
- M2CURL: Sample-Efficient Multimodal Reinforcement Learning via
Self-Supervised Representation Learning for Robotic Manipulation [0.850206009406913]
マルチモーダルコントラスト非教師強化学習(M2CURL)を提案する。
提案手法は,効率的な表現を学習し,RLアルゴリズムの高速収束に寄与する,新しいマルチモーダル自己教師学習技術を用いている。
Tactile Gym 2シミュレータ上でのM2CURLの評価を行い、異なる操作タスクにおける学習効率を大幅に向上させることを示す。
論文 参考訳(メタデータ) (2024-01-30T14:09:35Z) - Visual Imitation Learning with Calibrated Contrastive Representation [44.63125396964309]
AIL(Adversarial Imitation Learning)は、エージェントが低次元の状態と行動で専門家の行動を再現することを可能にする。
本稿では、視覚的AILフレームワークにコントラスト型代表学習を組み込むことにより、シンプルで効果的な解を提案する。
論文 参考訳(メタデータ) (2024-01-21T04:18:30Z) - Accelerating exploration and representation learning with offline
pre-training [52.6912479800592]
1つのオフラインデータセットから2つの異なるモデルを別々に学習することで、探索と表現の学習を改善することができることを示す。
ノイズコントラスト推定と補助報酬モデルを用いて状態表現を学習することで、挑戦的なNetHackベンチマークのサンプル効率を大幅に向上できることを示す。
論文 参考訳(メタデータ) (2023-03-31T18:03:30Z) - CRC-RL: A Novel Visual Feature Representation Architecture for
Unsupervised Reinforcement Learning [7.4010632660248765]
改良された視覚的特徴を学習するために,CRC損失と呼ばれる不均一な損失関数を用いた新しいアーキテクチャを提案する。
提案したアーキテクチャはCRC-RLと呼ばれ、Deep Mind Controlスイート環境における既存の最先端手法よりも優れている。
論文 参考訳(メタデータ) (2023-01-31T08:41:18Z) - Real-World Image Super-Resolution by Exclusionary Dual-Learning [98.36096041099906]
実世界の画像超解像は,高品質な画像を得るための実用的な画像復元問題である。
深層学習に基づく手法は、現実世界の超解像データセットの復元に期待できる品質を実現している。
本稿では,RWSR-EDL(Real-World Image Super-Resolution by Exclusionary Dual-Learning)を提案する。
論文 参考訳(メタデータ) (2022-06-06T13:28:15Z) - An Empirical Investigation of Representation Learning for Imitation [76.48784376425911]
視覚、強化学習、NLPにおける最近の研究は、補助的な表現学習の目的が、高価なタスク固有の大量のデータの必要性を減らすことを示している。
本稿では,表現学習アルゴリズムを構築するためのモジュラーフレームワークを提案する。
論文 参考訳(メタデータ) (2022-05-16T11:23:42Z) - INFOrmation Prioritization through EmPOWERment in Visual Model-Based RL [90.06845886194235]
モデルベース強化学習(RL)のための修正目的を提案する。
相互情報に基づく状態空間モデルに,変分エンパワーメントにインスパイアされた用語を統合する。
本研究は,視覚に基づくロボット制御作業における自然な映像背景を用いたアプローチの評価である。
論文 参考訳(メタデータ) (2022-04-18T23:09:23Z) - Return-Based Contrastive Representation Learning for Reinforcement
Learning [126.7440353288838]
そこで本研究では,学習表現に異なる戻り値を持つ状態-動作ペアを判別させる新しい補助タスクを提案する。
アルゴリズムはatariゲームやdeepmindコントロールスイートの複雑なタスクのベースラインを上回っています。
論文 参考訳(メタデータ) (2021-02-22T13:04:18Z) - Shared Prior Learning of Energy-Based Models for Image Reconstruction [69.72364451042922]
本研究では,地中真理データを含まないトレーニングに特化して設計された画像再構成のための新しい学習ベースフレームワークを提案する。
基底真理データがない場合には、損失関数をパッチベースのワッサーシュタイン関数に変更する。
共用事前学習では、上記の最適制御問題と正規化器の共用学習パラメータを同時に最適化する。
論文 参考訳(メタデータ) (2020-11-12T17:56:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。