論文の概要: Improving Reinforcement Learning Efficiency with Auxiliary Tasks in Non-Visual Environments: A Comparison

• arxiv url: http://arxiv.org/abs/2310.04241v2
• Date: Mon, 9 Oct 2023 13:02:07 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-12 18:38:50.484416
• Title: Improving Reinforcement Learning Efficiency with Auxiliary Tasks in Non-Visual Environments: A Comparison
• Title（参考訳）: 非視覚環境における補助課題による強化学習効率の向上:比較
• Authors: Moritz Lange, Noah Krystiniak, Raphael C. Engelhardt, Wolfgang Konen, Laurenz Wiskott
• Abstract要約: 本研究は,低次元非視覚的観察のための唯一の疎結合表現学習法である,我々の知識を最大限に活用して,一般的な補助課題と比較する。 その結果, 十分複雑な環境下では, 補助的タスクによる表現学習は, 性能向上にのみ寄与することがわかった。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Real-world reinforcement learning (RL) environments, whether in robotics or industrial settings, often involve non-visual observations and require not only efficient but also reliable and thus interpretable and flexible RL approaches. To improve efficiency, agents that perform state representation learning with auxiliary tasks have been widely studied in visual observation contexts. However, for real-world problems, dedicated representation learning modules that are decoupled from RL agents are more suited to meet requirements. This study compares common auxiliary tasks based on, to the best of our knowledge, the only decoupled representation learning method for low-dimensional non-visual observations. We evaluate potential improvements in sample efficiency and returns for environments ranging from a simple pendulum to a complex simulated robotics task. Our findings show that representation learning with auxiliary tasks only provides performance gains in sufficiently complex environments and that learning environment dynamics is preferable to predicting rewards. These insights can inform future development of interpretable representation learning approaches for non-visual observations and advance the use of RL solutions in real-world scenarios.
• Abstract（参考訳）: 実世界の強化学習(RL)環境は、ロボット工学でも工業でも、しばしば非視覚的な観察を伴い、効率的だけでなく信頼性も必要であり、解釈可能で柔軟なRLアプローチを必要とする。 視覚的観察の文脈において,補助的なタスクで状態表現学習を行うエージェントが広く研究されている。 しかし、実世界の問題では、RLエージェントから切り離された専用表現学習モジュールの方が要求を満たすのに適している。 本研究は,低次元非視覚観察のための唯一の非結合表現学習法である知識に基づいて,共通の補助タスクを比較した。 我々は,単純な振り子から複雑なシミュレーションロボットタスクまで幅広い環境において,サンプル効率とリターンの潜在的な改善を評価する。 本研究は,補助タスクによる表現学習が,十分に複雑な環境でのパフォーマンス向上に留まらず,学習環境のダイナミクスが報酬の予測に好適であることを示す。 これらの知見は、非視覚的観察のための解釈可能な表現学習アプローチの今後の発展に寄与し、実世界のシナリオにおけるRLソリューションの利用を前進させる。

関連論文リスト

• DEAR: Disentangled Environment and Agent Representations for Reinforcement Learning without Reconstruction [4.813546138483559]
  強化学習(RL)アルゴリズムは視覚的な観察からロボット制御タスクを学習することができるが、大量のデータを必要とすることが多い。 本稿では,その形状に関するエージェントの知識が,視覚的RL法のサンプル効率を向上させる方法について検討する。 本稿では,エージェントのセグメンテーションマスクを監督対象とする,分散環境とエージェント表現という新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-06-30T09:15:21Z)
• Learning Future Representation with Synthetic Observations for Sample-efficient Reinforcement Learning [12.277005054008017]
  視覚強化学習(RL)では、上流表現学習が下流政策学習の効果を決定づける。 補助訓練データを充実させることで,RLの補助表現学習を改善する。 本研究では、将来の情報を含む可能性のある観測を合成するためのトレーニング不要な手法を提案する。 残りの合成観測と実観測は、クラスタリングに基づく時間的関連タスクを達成する補助データとして機能する。
  論文  参考訳（メタデータ） (2024-05-20T02:43:04Z)
• Sequential Action-Induced Invariant Representation for Reinforcement Learning [1.2046159151610263]
  視覚的障害を伴う高次元観察からタスク関連状態表現を正確に学習する方法は、視覚的強化学習において難しい問題である。 本稿では,逐次動作の制御信号に従うコンポーネントのみを保持するために,補助学習者によってエンコーダを最適化した逐次行動誘発不変表現(SAR)法を提案する。
  論文  参考訳（メタデータ） (2023-09-22T05:31:55Z)
• ALP: Action-Aware Embodied Learning for Perception [60.64801970249279]
  認知のための行動認識型身体学習(ALP)について紹介する。 ALPは、強化学習ポリシーと逆ダイナミクス予測目標を最適化することにより、行動情報を表現学習に組み込む。 ALPは、複数の下流認識タスクにおいて、既存のベースラインよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-06-16T21:51:04Z)
• Learning Task-relevant Representations for Generalization via Characteristic Functions of Reward Sequence Distributions [63.773813221460614]
  同じタスクで異なる環境にまたがる一般化は、視覚的強化学習の成功に不可欠である。 本稿では,タスク関連情報を抽出する手法として,特徴逆列予測(CRESP)を提案する。 実験により、CRESPは目に見えない環境での一般化性能を大幅に向上することが示された。
  論文  参考訳（メタデータ） (2022-05-20T14:52:03Z)
• An Empirical Investigation of Representation Learning for Imitation [76.48784376425911]
  視覚、強化学習、NLPにおける最近の研究は、補助的な表現学習の目的が、高価なタスク固有の大量のデータの必要性を減らすことを示している。 本稿では,表現学習アルゴリズムを構築するためのモジュラーフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-05-16T11:23:42Z)
• Task-Induced Representation Learning [14.095897879222672]
  視覚的に複雑な環境における意思決定における表現学習手法の有効性を評価する。 表現学習は、視覚的に複雑なシーンであっても、目に見えないタスクのサンプル効率を向上する。
  論文  参考訳（メタデータ） (2022-04-25T17:57:10Z)
• Exploratory State Representation Learning [63.942632088208505]
  本稿では,XSRL(eXploratory State Representation Learning)と呼ばれる新しい手法を提案する。 一方、コンパクトな状態表現と、その表現から不可解な情報を除去するために使用される状態遷移推定器を共同で学習する。 一方、逆モデルを継続的に訓練し、このモデルの予測誤差に$k$-stepの学習促進ボーナスを加え、発見ポリシーの目的を形成する。
  論文  参考訳（メタデータ） (2021-09-28T10:11:07Z)
• Visual Adversarial Imitation Learning using Variational Models [60.69745540036375]
  逆関数仕様は、深い強化学習を通しての学習行動にとって大きな障害であり続けている。 望ましい行動の視覚的なデモンストレーションは、エージェントを教えるためのより簡単で自然な方法を示すことが多い。 変動モデルに基づく対向的模倣学習アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2021-07-16T00:15:18Z)
• Reinforcement Learning with Prototypical Representations [114.35801511501639]
  Proto-RLは、プロトタイプ表現を通じて表現学習と探索を結び付ける自己監督型フレームワークである。 これらのプロトタイプは、エージェントの探索経験の要約と同時に、観察を表す基盤としても機能する。 これにより、困難な連続制御タスクのセットで最新の下流ポリシー学習が可能になります。
  論文  参考訳（メタデータ） (2021-02-22T18:56:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。