論文の概要: Prioritized Soft Q-Decomposition for Lexicographic Reinforcement Learning
- arxiv url: http://arxiv.org/abs/2310.02360v2
- Date: Thu, 2 May 2024 10:01:56 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-03 22:10:30.527807
- Title: Prioritized Soft Q-Decomposition for Lexicographic Reinforcement Learning
- Title（参考訳）: 辞書強化学習のための優先度付きソフトQ-分解法
- Authors: Finn Rietz, Erik Schaffernicht, Stefan Heinrich, Johannes Andreas Stork,
- Abstract要約: 我々は,レキシコグラフィーの優先度でサブタスクソリューションを学習し,適応するための優先度付きソフトQ分解(PSQD)を提案する。
PSQDは、学習済みのサブタスクソリューションをゼロショット合成で再利用する機能を提供し、次に適応ステップを提供する。
我々は,低次元と高次元の両方のロボット制御タスクに対して,学習,再利用,適応性を成功させ,本手法の有効性を実証する。
- 参考スコア（独自算出の注目度）: 1.8399318639816038
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Reinforcement learning (RL) for complex tasks remains a challenge, primarily due to the difficulties of engineering scalar reward functions and the inherent inefficiency of training models from scratch. Instead, it would be better to specify complex tasks in terms of elementary subtasks and to reuse subtask solutions whenever possible. In this work, we address continuous space lexicographic multi-objective RL problems, consisting of prioritized subtasks, which are notoriously difficult to solve. We show that these can be scalarized with a subtask transformation and then solved incrementally using value decomposition. Exploiting this insight, we propose prioritized soft Q-decomposition (PSQD), a novel algorithm for learning and adapting subtask solutions under lexicographic priorities in continuous state-action spaces. PSQD offers the ability to reuse previously learned subtask solutions in a zero-shot composition, followed by an adaptation step. Its ability to use retained subtask training data for offline learning eliminates the need for new environment interaction during adaptation. We demonstrate the efficacy of our approach by presenting successful learning, reuse, and adaptation results for both low- and high-dimensional simulated robot control tasks, as well as offline learning results. In contrast to baseline approaches, PSQD does not trade off between conflicting subtasks or priority constraints and satisfies subtask priorities during learning. PSQD provides an intuitive framework for tackling complex RL problems, offering insights into the inner workings of the subtask composition.
- Abstract（参考訳）: 複雑なタスクに対する強化学習(RL)は、主に工学的なスカラー報酬関数の難しさと、スクラッチからトレーニングモデルの本質的な非効率性のために、依然として課題である。
代わりに、基本的なサブタスクの観点から複雑なタスクを指定し、可能な限りサブタスクソリューションを再利用する方がよい。
本研究では,連続空間レキシコグラフィーによる多重対象RL問題に対処する。
本研究では,これらをサブタスク変換でスキャラライズし,値分解を用いて段階的に解いた。
この知見を出し, 連続状態-作用空間における語彙的優先度の下でサブタスク解を学習し, 適応するための新しいアルゴリズムである, 優先度付きソフトQ分解(PSQD)を提案する。
PSQDは、学習済みのサブタスクソリューションをゼロショット合成で再利用する機能を提供し、次に適応ステップを提供する。
オフライン学習のために保持されたサブタスクトレーニングデータを使用する能力は、適応中に新しい環境相互作用を不要にする。
我々は,低次元・高次元のロボット制御タスクとオフラインの学習結果の両方に対して,学習,再利用,適応結果を提供することにより,本手法の有効性を実証する。
ベースラインアプローチとは対照的に、PSQDは競合するサブタスクや優先順位制約をトレードオフせず、学習中にサブタスクの優先順位を満たす。
PSQDは複雑なRL問題に取り組むための直感的なフレームワークを提供し、サブタスク構成の内部動作に関する洞察を提供する。
関連論文リスト
- CODE-CL: COnceptor-Based Gradient Projection for DEep Continual Learning [7.573297026523597]
我々は,Deep Continual Learning (CODE-CL) のためのConceptor-based gradient projectionを導入する。
CODE-CLは、過去のタスクの入力空間における方向的重要性を符号化し、新しい知識統合を1-S$で変調する。
概念に基づく表現を用いてタスク重複を分析し,高い相関性を持つタスクを同定する。
論文 参考訳（メタデータ） (2024-11-21T22:31:06Z) - Subspace Adaptation Prior for Few-Shot Learning [5.2997197698288945]
Subspace Adaptation Priorは、勾配に基づく新しいメタ学習アルゴリズムである。
SAPは, 画像分類設定において, 優位性, 競争性に優れることを示す。
論文 参考訳（メタデータ） (2023-10-13T11:40:18Z) - Towards Robust Continual Learning with Bayesian Adaptive Moment Regularization [51.34904967046097]
継続的な学習は、モデルが以前に学習した情報を忘れてしまう破滅的な忘れ込みの課題を克服しようとする。
本稿では,パラメータ成長の制約を緩和し,破滅的な忘れを減らし,新しい事前手法を提案する。
以上の結果から, BAdamは, 単頭クラスインクリメンタル実験に挑戦する先行手法に対して, 最先端の性能を達成できることが示唆された。
論文 参考訳（メタデータ） (2023-09-15T17:10:51Z) - Robust Subtask Learning for Compositional Generalization [20.54144051436337]
我々は、どんなタスクでも実行できるように、サブタスクポリシーをトレーニングする問題に焦点を合わせます。
我々は、平均的なケースのパフォーマンスとは対照的に、すべてのタスクで最悪のケースのパフォーマンスを最大化することを目指している。
論文 参考訳（メタデータ） (2023-02-06T18:19:25Z) - Efficient Meta Reinforcement Learning for Preference-based Fast
Adaptation [17.165083095799712]
本研究では,ループ内強化学習の文脈における少数ショット適応の問題について検討する。
そこで我々は,嗜好に基づくフィードバックによる迅速なポリシー適応を実現するメタRLアルゴリズムを開発した。
論文 参考訳（メタデータ） (2022-11-20T03:55:09Z) - Fast Inference and Transfer of Compositional Task Structures for
Few-shot Task Generalization [101.72755769194677]
本稿では,タスクがサブタスクグラフによって特徴づけられる,数発の強化学習問題として定式化する。
我々のマルチタスクサブタスクグラフ推論器(MTSGI)は、トレーニングタスクから、まず、サブタスクグラフの観点から、一般的なハイレベルなタスク構造を推測する。
提案手法は,2次元グリッドワールドおよび複雑なWebナビゲーション領域において,タスクの共通基盤構造を学習し,活用し,未知のタスクへの適応を高速化する。
論文 参考訳（メタデータ） (2022-05-25T10:44:25Z) - Generalizing to New Tasks via One-Shot Compositional Subgoals [23.15624959305799]
以前は見つからなかったタスクをほとんど、あるいはまったく監督せずに一般化する能力は、現代の機械学習研究において重要な課題である。
適応型「近未来」サブゴールを用いて、模倣学習エージェントを訓練することにより、これらの問題に対処しようとするCASEを導入する。
実験の結果,提案手法は従来よりも30%向上していることがわかった。
論文 参考訳（メタデータ） (2022-05-16T14:30:11Z) - Task Adaptive Parameter Sharing for Multi-Task Learning [114.80350786535952]
Adaptive Task Adapting Sharing(TAPS)は、階層の小さなタスク固有のサブセットを適応的に修正することで、ベースモデルを新しいタスクにチューニングする手法である。
他の手法と比較して、TAPSはダウンストリームタスクに対して高い精度を維持し、タスク固有のパラメータは少ない。
我々は,タスクやアーキテクチャ(ResNet,DenseNet,ViT)を微調整して評価し,実装が簡単でありながら最先端の性能を実現することを示す。
論文 参考訳（メタデータ） (2022-03-30T23:16:07Z) - Parrot: Data-Driven Behavioral Priors for Reinforcement Learning [79.32403825036792]
そこで本研究では,実験で得られた複雑なインプット・アウトプット関係を事前に学習する手法を提案する。
RLエージェントが新規な動作を試す能力を阻害することなく、この学習が新しいタスクを迅速に学習するのにどのように役立つかを示す。
論文 参考訳（メタデータ） (2020-11-19T18:47:40Z) - Hierarchical Reinforcement Learning as a Model of Human Task
Interleaving [60.95424607008241]
我々は、強化学習によって駆動される監督制御の階層モデルを開発する。
このモデルは、タスクインターリービングの既知の経験的効果を再現する。
その結果、階層的RLがタスクインターリービングのもっともらしいモデルとして支持された。
論文 参考訳（メタデータ） (2020-01-04T17:53:28Z) - Meta Reinforcement Learning with Autonomous Inference of Subtask
Dependencies [57.27944046925876]
本稿では,タスクがサブタスクグラフによって特徴づけられるような,新しい数発のRL問題を提案し,対処する。
メタ政治を直接学習する代わりに、Subtask Graph Inferenceを使ったメタラーナーを開発した。
実験の結果,2つのグリッドワールド領域とStarCraft II環境において,提案手法が潜在タスクパラメータを正確に推定できることが確認された。
論文 参考訳（メタデータ） (2020-01-01T17:34:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。