論文の概要: Proximal Curriculum with Task Correlations for Deep Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2405.02481v1
• Date: Fri, 3 May 2024 21:07:54 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-07 19:50:15.803458
• Title: Proximal Curriculum with Task Correlations for Deep Reinforcement Learning
• Title（参考訳）: タスク相関を考慮した深層強化学習のための近位カリキュラム
• Authors: Georgios Tzannetos, Parameswaran Kamalaruban, Adish Singla,
• Abstract要約: エージェントの最終性能を複雑なタスクに対する目標分布として測定するコンテキストマルチタスク設定におけるカリキュラム設計について検討する。 本稿では,タスク相関を利用してエージェントの学習を目標分布に向けて進めながら,エージェントにとって難しくないタスクを選択する必要性を効果的にバランスさせる新しいカリキュラムProCuRL-Targetを提案する。
• 参考スコア（独自算出の注目度）: 25.10619062353793
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Curriculum design for reinforcement learning (RL) can speed up an agent's learning process and help it learn to perform well on complex tasks. However, existing techniques typically require domain-specific hyperparameter tuning, involve expensive optimization procedures for task selection, or are suitable only for specific learning objectives. In this work, we consider curriculum design in contextual multi-task settings where the agent's final performance is measured w.r.t. a target distribution over complex tasks. We base our curriculum design on the Zone of Proximal Development concept, which has proven to be effective in accelerating the learning process of RL agents for uniform distribution over all tasks. We propose a novel curriculum, ProCuRL-Target, that effectively balances the need for selecting tasks that are not too difficult for the agent while progressing the agent's learning toward the target distribution via leveraging task correlations. We theoretically justify the task selection strategy of ProCuRL-Target by analyzing a simple learning setting with REINFORCE learner model. Our experimental results across various domains with challenging target task distributions affirm the effectiveness of our curriculum strategy over state-of-the-art baselines in accelerating the training process of deep RL agents.
• Abstract（参考訳）: 強化学習のためのカリキュラム設計(RL)は、エージェントの学習プロセスのスピードアップと、複雑なタスクの学習を支援する。 しかし、既存の手法では、通常、ドメイン固有のハイパーパラメータチューニング、タスク選択のための高価な最適化手順、あるいは特定の学習目的にのみ適している。 本研究では,エージェントの最終性能が複雑なタスクに対する目標分布で測定されるような,コンテキスト多タスク環境におけるカリキュラム設計について考察する。 我々は,RLエージェントの学習プロセスの高速化に有効であることが証明された「近位開発ゾーン」の概念に基づくカリキュラム設計を行った。 本稿では,タスク相関を利用してエージェントの学習を目標分布に向けて進めながら,エージェントにとって難しくないタスクを選択する必要性を効果的にバランスさせる新しいカリキュラムProCuRL-Targetを提案する。 ReINFORCE学習者モデルを用いて簡単な学習環境を解析し,ProCuRL-Targetのタスク選択戦略を理論的に正当化する。 RLエージェントの訓練過程を高速化する上で, 現状のベースラインに対するカリキュラム戦略の有効性を検証した。

関連論文リスト

• RL-GPT: Integrating Reinforcement Learning and Code-as-policy [82.1804241891039]
  本稿では,低速エージェントと高速エージェントからなる2レベル階層型フレームワークRL-GPTを提案する。 遅いエージェントはコーディングに適したアクションを分析し、速いエージェントはコーディングタスクを実行する。 この分解は、各エージェントが特定のタスクに効果的に集中し、パイプライン内で非常に効率的なことを証明します。
  論文  参考訳（メタデータ） (2024-02-29T16:07:22Z)
• Active Instruction Tuning: Improving Cross-Task Generalization by Training on Prompt Sensitive Tasks [101.40633115037983]
  インストラクションチューニング(IT)は,大規模言語モデル(LLM)を命令付き多種多様なタスクで訓練することにより,印象的なゼロショット一般化を実現する。 ITモデルの性能と一般化性を改善するために、新しいタスクをどのように選択するかは、未解決の問題である。 本稿では,情報的タスクを識別する新しいフレームワークである即時不確実性に基づくアクティブな指導チューニングを提案し,選択したタスク上でモデルをアクティブにチューニングする。
  論文  参考訳（メタデータ） (2023-11-01T04:40:05Z)
• Meta-Reinforcement Learning Based on Self-Supervised Task Representation Learning [23.45043290237396]
  MoSSは、自己監督型タスク表現学習に基づくコンテキストベースメタ強化学習アルゴリズムである。 MuJoCoとMeta-Worldのベンチマークでは、MoSSはパフォーマンス、サンプル効率(3-50倍高速)、適応効率、一般化の点で先行して性能が向上している。
  論文  参考訳（メタデータ） (2023-04-29T15:46:19Z)
• Proximal Curriculum for Reinforcement Learning Agents [17.654532900660712]
  近縁開発ゾーン(ZPD)の教育的概念に触発されたカリキュラム戦略であるProCuRLを設計する。 ProCuRLは、学習者が難しすぎても難しすぎるタスクを選択するとき、学習の進捗が最大になるという直感を捉えます。
  論文  参考訳（メタデータ） (2023-04-25T14:49:34Z)
• Reinforcement Learning with Success Induced Task Prioritization [68.8204255655161]
  本稿では,自動カリキュラム学習のためのフレームワークであるSuccess induced Task Prioritization (SITP)を紹介する。 アルゴリズムはエージェントに最速の学習を提供するタスクの順序を選択する。 我々は,SITPが他のカリキュラム設計手法と一致するか,あるいは上回っていることを実証する。
  論文  参考訳（メタデータ） (2022-12-30T12:32:43Z)
• Understanding the Complexity Gains of Single-Task RL with a Curriculum [83.46923851724408]
  強化学習 (Reinforcement Learning, RL) の問題は, 十分に形が整った報酬なしでは困難である。 カリキュラムで定義されるマルチタスクRL問題として、シングルタスクRL問題を再構成する理論的枠組みを提供する。 マルチタスクRL問題における各タスクの逐次解法は、元の単一タスク問題の解法よりも計算効率がよいことを示す。
  論文  参考訳（メタデータ） (2022-12-24T19:46:47Z)
• Curriculum Reinforcement Learning using Optimal Transport via Gradual Domain Adaptation [46.103426976842336]
  強化学習(CRL)は、簡単なタスクから始まり、徐々に難しいタスクへと学習する一連のタスクを作成することを目的としている。 本研究では、ソース(補助的)とターゲットタスク分布の間のカリキュラムとしてCRLをフレーミングするという考え方に焦点をあてる。 半教師付き学習における段階的ドメイン適応の洞察に触発されて、CRLのタスク分散シフトを小さなシフトに分解することで、自然なカリキュラムを作成する。
  論文  参考訳（メタデータ） (2022-10-18T22:33:33Z)
• Adaptive Procedural Task Generation for Hard-Exploration Problems [78.20918366839399]
  ハード探索問題における強化学習を容易にするために,適応手続きタスク生成(APT-Gen)を導入する。 私たちのアプローチの中心は、ブラックボックスの手続き生成モジュールを通じてパラメータ化されたタスク空間からタスクを作成することを学習するタスクジェネレータです。 学習進捗の直接指標がない場合のカリキュラム学習を可能にするために,生成したタスクにおけるエージェントのパフォーマンスと,対象タスクとの類似性をバランスさせてタスクジェネレータを訓練することを提案する。
  論文  参考訳（メタデータ） (2020-07-01T09:38:51Z)
• Automatic Curriculum Learning through Value Disagreement [95.19299356298876]
  新しい未解決タスクを継続的に解決することが、多様な行動を学ぶための鍵です。 エージェントが複数の目標を達成する必要があるマルチタスク領域では、トレーニング目標の選択はサンプル効率に大きな影響を与える可能性がある。 そこで我々は,エージェントが解決すべき目標のための自動カリキュラムを作成することを提案する。 提案手法は,13のマルチゴールロボットタスクと5つのナビゲーションタスクにまたがって評価し,現在の最先端手法よりも高い性能を示す。
  論文  参考訳（メタデータ） (2020-06-17T03:58:25Z)
• Self-Paced Deep Reinforcement Learning [42.467323141301826]
  カリキュラム強化学習(CRL)は、学習を通して調整された一連のタスクに公開することにより、エージェントの学習速度と安定性を向上させる。 実証的な成功にもかかわらず、CRLのオープンな疑問は、手動設計を避けながら、与えられた強化学習(RL)エージェントのカリキュラムを自動的に生成する方法である。 本稿では,カリキュラム生成を推論問題として解釈し,タスク上の分布を段階的に学習し,対象タスクにアプローチすることで解答を提案する。 このアプローチは、エージェントがペースを制御し、しっかりとした理論的動機を持ち、深いRLアルゴリズムと容易に統合できる自動カリキュラム生成につながる。
  論文  参考訳（メタデータ） (2020-04-24T15:48:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。