論文の概要: Joint Representations for Reinforcement Learning with Multiple Sensors

• arxiv url: http://arxiv.org/abs/2302.05342v2
• Date: Fri, 2 Jun 2023 09:11:19 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-05 19:57:45.031480
• Title: Joint Representations for Reinforcement Learning with Multiple Sensors
• Title（参考訳）: 複数センサを用いた強化学習のための共同表現
• Authors: Philipp Becker, Sebastian Markgraf, Fabian Otto, Gerhard Neumann
• Abstract要約: 複数のセンサからの強化学習のための表現学習を解析する。 共同表現学習における再構成ベースと対照的な損失の組み合わせは,性能を著しく向上させることを示す。
• 参考スコア（独自算出の注目度）: 17.442700717736162
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Combining inputs from multiple sensor modalities effectively in reinforcement learning (RL) is an open problem. While many self-supervised representation learning approaches exist to improve performance and sample complexity for image-based RL, they usually neglect other available information, such as robot proprioception. However, using this proprioception for representation learning can help algorithms to focus on relevant aspects and guide them toward finding better representations. In this work, we systematically analyze representation learning for RL from multiple sensors by building on Recurrent State Space Models. We propose a combination of reconstruction-based and contrastive losses, which allows us to choose the most appropriate method for each sensor modality. We demonstrate the benefits of joint representations, particularly with distinct loss functions for each modality, for model-free and model-based RL on complex tasks. Those include tasks where the images contain distractions or occlusions and a new locomotion suite. We show that combining reconstruction-based and contrastive losses for joint representation learning improves performance significantly compared to a post hoc combination of image representations and proprioception and can also improve the quality of learned models for model-based RL.
• Abstract（参考訳）: 強化学習(RL)において、複数のセンサモードからの入力を効果的に組み合わせることは、オープンな問題である。 多くの自己教師付き表現学習アプローチは、画像ベースのRLの性能とサンプルの複雑さを改善するために存在するが、ロボットの受容のような他の利用可能な情報を無視している。 しかし、表現学習にこの概念を用いることは、アルゴリズムが関連する側面に集中し、より良い表現を見つけるためのガイドとなる。 本研究では,連続状態空間モデルに基づいて複数のセンサからRLの表現学習を体系的に解析する。 本研究では,各センサのモダリティに最も適した手法を選択可能な再構成型とコントラスト型の組み合わせを提案する。 本稿では,複雑なタスクに対するモデルフリーおよびモデルベースrlのための,各モダリティの異なる損失関数を用いたジョイント表現の利点を示す。 これには、画像が邪魔や閉塞を含むタスクや、新しい移動スイートが含まれる。 共同表現学習における再構成ベースと対比的損失の組み合わせは,画像表現と固有概念のポストホックな組み合わせに比べて有意に性能が向上し,モデルベースrlの学習モデルの品質も向上することを示す。

関連論文リスト

• Multimodal Information Bottleneck for Deep Reinforcement Learning with Multiple Sensors [10.454194186065195]
  強化学習はロボット制御タスクにおいて有望な成果を上げてきたが、情報の有効活用に苦慮している。 最近の研究は、複数の感覚入力から関節表現を抽出するために、再構成や相互情報に基づく補助的損失を構築している。 生のマルチモーダル観測について,学習した共同表現で情報を圧縮することが有用である。
  論文  参考訳（メタデータ） (2024-10-23T04:32:37Z)
• Visual Imitation Learning with Calibrated Contrastive Representation [44.63125396964309]
  AIL(Adversarial Imitation Learning)は、エージェントが低次元の状態と行動で専門家の行動を再現することを可能にする。 本稿では、視覚的AILフレームワークにコントラスト型代表学習を組み込むことにより、シンプルで効果的な解を提案する。
  論文  参考訳（メタデータ） (2024-01-21T04:18:30Z)
• Sequential Action-Induced Invariant Representation for Reinforcement Learning [1.2046159151610263]
  視覚的障害を伴う高次元観察からタスク関連状態表現を正確に学習する方法は、視覚的強化学習において難しい問題である。 本稿では,逐次動作の制御信号に従うコンポーネントのみを保持するために,補助学習者によってエンコーダを最適化した逐次行動誘発不変表現(SAR)法を提案する。
  論文  参考訳（メタデータ） (2023-09-22T05:31:55Z)
• VIBR: Learning View-Invariant Value Functions for Robust Visual Control [3.2307366446033945]
  VIBR (View-Invariant Bellman Residuals) は、マルチビュートレーニングと不変予測を組み合わせて、RLベースのビジュモータ制御における分配ギャップを削減する手法である。 視覚摂動の高い複雑なビジュオモータ制御環境において,VIBRは既存の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-06-14T14:37:34Z)
• Accelerating exploration and representation learning with offline pre-training [52.6912479800592]
  1つのオフラインデータセットから2つの異なるモデルを別々に学習することで、探索と表現の学習を改善することができることを示す。 ノイズコントラスト推定と補助報酬モデルを用いて状態表現を学習することで、挑戦的なNetHackベンチマークのサンプル効率を大幅に向上できることを示す。
  論文  参考訳（メタデータ） (2023-03-31T18:03:30Z)
• R\'enyiCL: Contrastive Representation Learning with Skew R\'enyi Divergence [78.15455360335925]
  我々はR'enyiCLという新しい頑健なコントラスト学習手法を提案する。 我々の手法は R'enyi divergence の変動的下界の上に構築されている。 我々は,R'enyi の対照的な学習目的が,自然に強い負のサンプリングと簡単な正のサンプリングを同時に行うことを示す。
  論文  参考訳（メタデータ） (2022-08-12T13:37:05Z)
• Real-World Image Super-Resolution by Exclusionary Dual-Learning [98.36096041099906]
  実世界の画像超解像は,高品質な画像を得るための実用的な画像復元問題である。 深層学習に基づく手法は、現実世界の超解像データセットの復元に期待できる品質を実現している。 本稿では,RWSR-EDL(Real-World Image Super-Resolution by Exclusionary Dual-Learning)を提案する。
  論文  参考訳（メタデータ） (2022-06-06T13:28:15Z)
• Return-Based Contrastive Representation Learning for Reinforcement Learning [126.7440353288838]
  そこで本研究では,学習表現に異なる戻り値を持つ状態-動作ペアを判別させる新しい補助タスクを提案する。 アルゴリズムはatariゲームやdeepmindコントロールスイートの複雑なタスクのベースラインを上回っています。
  論文  参考訳（メタデータ） (2021-02-22T13:04:18Z)
• Deep Partial Multi-View Learning [94.39367390062831]
  クロスパーシャル・マルチビュー・ネットワーク(CPM-Nets)と呼ばれる新しいフレームワークを提案する。 我々はまず、多視点表現に対する完全性と汎用性の形式的な定義を提供する。 そして、理論的に学習された潜在表現の多元性を証明する。
  論文  参考訳（メタデータ） (2020-11-12T02:29:29Z)
• Dynamic Dual-Attentive Aggregation Learning for Visible-Infrared Person Re-Identification [208.1227090864602]
  Visible-infrared person re-identification (VI-ReID) は、歩行者検索の課題である。 既存のVI-ReID法は、識別可能性に制限があり、ノイズの多い画像に対して弱いロバスト性を持つグローバル表現を学習する傾向にある。 そこで我々は,VI-ReIDのための動的二段階集合(DDAG)学習法を提案する。
  論文  参考訳（メタデータ） (2020-07-18T03:08:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。