論文の概要: Reinforcement Learning from Multiple Sensors via Joint Representations

• arxiv url: http://arxiv.org/abs/2302.05342v1
• Date: Fri, 10 Feb 2023 15:57:20 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-13 15:24:56.129762
• Title: Reinforcement Learning from Multiple Sensors via Joint Representations
• Title（参考訳）: 関節表現による複数センサからの強化学習
• Authors: Philipp Becker, Sebastian Markgraf, Fabian Otto, Gerhard Neumann
• Abstract要約: 本稿では,すべてのセンサ情報を単一の一貫した表現に融合させるために,リカレントステートスペースモデルを提案する。 共同表現は画像表現とプロプレセプションのポストホックな組み合わせに比べて性能が有意に向上することを示す。
• 参考スコア（独自算出の注目度）: 17.442700717736162
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In many scenarios, observations from more than one sensor modality are available for reinforcement learning (RL). For example, many agents can perceive their internal state via proprioceptive sensors but must infer the environment's state from high-dimensional observations such as images. For image-based RL, a variety of self-supervised representation learning approaches exist to improve performance and sample complexity. These approaches learn the image representation in isolation. However, including proprioception can help representation learning algorithms to focus on relevant aspects and guide them toward finding better representations. Hence, in this work, we propose using Recurrent State Space Models to fuse all available sensory information into a single consistent representation. We combine reconstruction-based and contrastive approaches for training, which allows using the most appropriate method for each sensor modality. For example, we can use reconstruction for proprioception and a contrastive loss for images. We demonstrate the benefits of utilizing proprioception in learning representations for RL on a large set of experiments. Furthermore, we show that our joint representations significantly improve performance compared to a post hoc combination of image representations and proprioception.
• Abstract（参考訳）: 多くのシナリオでは、複数のセンサモードからの観測が強化学習(RL)に利用可能である。 例えば、多くのエージェントはプロピオセプティブセンサーを介して内部状態を認識できるが、イメージのような高次元の観測から環境の状態を予測する必要がある。 画像ベースのRLでは、パフォーマンスとサンプルの複雑さを改善するために、様々な自己教師付き表現学習アプローチが存在する。 これらのアプローチはイメージ表現を分離して学習する。 しかし、プロプリセプションを含むことによって、表現学習アルゴリズムは関連する側面に集中し、より良い表現を見つけるためのガイドとなる。 そこで本研究では,すべてのセンサ情報を単一の一貫した表現に融合させるために,Recurrent State Space Modelsを提案する。 本研究は,各センサのモダリティに対して最も適切な手法を活用できる,リコンストラクションベースとコントラストアプローチを組み合わせた学習手法を提案する。 例えば、画像のプロピロセプションと対照的な損失に再構成を用いることができる。 本研究では,RLの学習表現にプロプリセプションを活用する利点を,大規模な実験で示す。 さらに,画像表現と固有認識のポストホックな組み合わせと比較して,共同表現の性能が有意に向上することを示す。

関連論文リスト

• Multimodal Information Bottleneck for Deep Reinforcement Learning with Multiple Sensors [10.454194186065195]
  強化学習はロボット制御タスクにおいて有望な成果を上げてきたが、情報の有効活用に苦慮している。 最近の研究は、複数の感覚入力から関節表現を抽出するために、再構成や相互情報に基づく補助的損失を構築している。 生のマルチモーダル観測について,学習した共同表現で情報を圧縮することが有用である。
  論文  参考訳（メタデータ） (2024-10-23T04:32:37Z)
• Visual Imitation Learning with Calibrated Contrastive Representation [44.63125396964309]
  AIL(Adversarial Imitation Learning)は、エージェントが低次元の状態と行動で専門家の行動を再現することを可能にする。 本稿では、視覚的AILフレームワークにコントラスト型代表学習を組み込むことにより、シンプルで効果的な解を提案する。
  論文  参考訳（メタデータ） (2024-01-21T04:18:30Z)
• Sequential Action-Induced Invariant Representation for Reinforcement Learning [1.2046159151610263]
  視覚的障害を伴う高次元観察からタスク関連状態表現を正確に学習する方法は、視覚的強化学習において難しい問題である。 本稿では,逐次動作の制御信号に従うコンポーネントのみを保持するために,補助学習者によってエンコーダを最適化した逐次行動誘発不変表現(SAR)法を提案する。
  論文  参考訳（メタデータ） (2023-09-22T05:31:55Z)
• VIBR: Learning View-Invariant Value Functions for Robust Visual Control [3.2307366446033945]
  VIBR (View-Invariant Bellman Residuals) は、マルチビュートレーニングと不変予測を組み合わせて、RLベースのビジュモータ制御における分配ギャップを削減する手法である。 視覚摂動の高い複雑なビジュオモータ制御環境において,VIBRは既存の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-06-14T14:37:34Z)
• Accelerating exploration and representation learning with offline pre-training [52.6912479800592]
  1つのオフラインデータセットから2つの異なるモデルを別々に学習することで、探索と表現の学習を改善することができることを示す。 ノイズコントラスト推定と補助報酬モデルを用いて状態表現を学習することで、挑戦的なNetHackベンチマークのサンプル効率を大幅に向上できることを示す。
  論文  参考訳（メタデータ） (2023-03-31T18:03:30Z)
• R\'enyiCL: Contrastive Representation Learning with Skew R\'enyi Divergence [78.15455360335925]
  我々はR'enyiCLという新しい頑健なコントラスト学習手法を提案する。 我々の手法は R'enyi divergence の変動的下界の上に構築されている。 我々は,R'enyi の対照的な学習目的が,自然に強い負のサンプリングと簡単な正のサンプリングを同時に行うことを示す。
  論文  参考訳（メタデータ） (2022-08-12T13:37:05Z)
• Real-World Image Super-Resolution by Exclusionary Dual-Learning [98.36096041099906]
  実世界の画像超解像は,高品質な画像を得るための実用的な画像復元問題である。 深層学習に基づく手法は、現実世界の超解像データセットの復元に期待できる品質を実現している。 本稿では,RWSR-EDL(Real-World Image Super-Resolution by Exclusionary Dual-Learning)を提案する。
  論文  参考訳（メタデータ） (2022-06-06T13:28:15Z)
• Return-Based Contrastive Representation Learning for Reinforcement Learning [126.7440353288838]
  そこで本研究では,学習表現に異なる戻り値を持つ状態-動作ペアを判別させる新しい補助タスクを提案する。 アルゴリズムはatariゲームやdeepmindコントロールスイートの複雑なタスクのベースラインを上回っています。
  論文  参考訳（メタデータ） (2021-02-22T13:04:18Z)
• Deep Partial Multi-View Learning [94.39367390062831]
  クロスパーシャル・マルチビュー・ネットワーク(CPM-Nets)と呼ばれる新しいフレームワークを提案する。 我々はまず、多視点表現に対する完全性と汎用性の形式的な定義を提供する。 そして、理論的に学習された潜在表現の多元性を証明する。
  論文  参考訳（メタデータ） (2020-11-12T02:29:29Z)
• Dynamic Dual-Attentive Aggregation Learning for Visible-Infrared Person Re-Identification [208.1227090864602]
  Visible-infrared person re-identification (VI-ReID) は、歩行者検索の課題である。 既存のVI-ReID法は、識別可能性に制限があり、ノイズの多い画像に対して弱いロバスト性を持つグローバル表現を学習する傾向にある。 そこで我々は,VI-ReIDのための動的二段階集合(DDAG)学習法を提案する。
  論文  参考訳（メタデータ） (2020-07-18T03:08:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。