論文の概要: Understanding the Complexity Gains of Single-Task RL with a Curriculum

• arxiv url: http://arxiv.org/abs/2212.12809v3
• Date: Sun, 18 Jun 2023 02:13:46 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-22 04:28:02.572202
• Title: Understanding the Complexity Gains of Single-Task RL with a Curriculum
• Title（参考訳）: カリキュラムによるシングルタスクrlの複雑性向上の理解
• Authors: Qiyang Li, Yuexiang Zhai, Yi Ma, Sergey Levine
• Abstract要約: 強化学習 (Reinforcement Learning, RL) の問題は, 十分に形が整った報酬なしでは困難である。 カリキュラムで定義されるマルチタスクRL問題として、シングルタスクRL問題を再構成する理論的枠組みを提供する。 マルチタスクRL問題における各タスクの逐次解法は、元の単一タスク問題の解法よりも計算効率がよいことを示す。
• 参考スコア（独自算出の注目度）: 83.46923851724408
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reinforcement learning (RL) problems can be challenging without well-shaped rewards. Prior work on provably efficient RL methods generally proposes to address this issue with dedicated exploration strategies. However, another way to tackle this challenge is to reformulate it as a multi-task RL problem, where the task space contains not only the challenging task of interest but also easier tasks that implicitly function as a curriculum. Such a reformulation opens up the possibility of running existing multi-task RL methods as a more efficient alternative to solving a single challenging task from scratch. In this work, we provide a theoretical framework that reformulates a single-task RL problem as a multi-task RL problem defined by a curriculum. Under mild regularity conditions on the curriculum, we show that sequentially solving each task in the multi-task RL problem is more computationally efficient than solving the original single-task problem, without any explicit exploration bonuses or other exploration strategies. We also show that our theoretical insights can be translated into an effective practical learning algorithm that can accelerate curriculum learning on simulated robotic tasks.
• Abstract（参考訳）: 強化学習 (Reinforcement Learning, RL) の問題は, 十分な報奨がなければ難しい。 証明可能なRL法に関する先行研究は、一般的にこの問題に専用の探索戦略で対処することを提案している。 しかし、この課題に取り組む別の方法は、タスク空間が興味深いタスクだけでなく、暗黙的にカリキュラムとして機能する簡単なタスクを含むマルチタスクrl問題として再編成することである。 このような改革により、既存のマルチタスクRLメソッドをスクラッチから1つの課題を解決するためのより効率的な代替手段として実行することが可能となる。 本研究では,単タスクrl問題をカリキュラムで定義されたマルチタスクrl問題として再構成する理論的枠組みを提案する。 カリキュラムの厳密な規則性条件下では、マルチタスクRL問題における各タスクの逐次的解決は、明確な探索ボーナスや探索戦略を伴わずに、元の単一タスク問題の解決よりも計算的に効率的であることを示す。 また, シミュレーションロボットタスクにおけるカリキュラム学習を高速化する効果的な実践的学習アルゴリズムに, 理論的洞察を変換できることを示した。

関連論文リスト

• Sample Efficient Myopic Exploration Through Multitask Reinforcement Learning with Diverse Tasks [53.44714413181162]
  本稿では, エージェントが十分に多様なタスクセットで訓練された場合, 筋電図探索設計による一般的なポリシー共有アルゴリズムは, サンプル効率がよいことを示す。 我々の知る限りでは、これはMTRLの「探索的利益」の初めての理論的実証である。
  論文  参考訳（メタデータ） (2024-03-03T22:57:44Z)
• On the Benefit of Optimal Transport for Curriculum Reinforcement Learning [32.59609255906321]
  タスク分布間のキュリキュラをフレーミングすることに焦点を当てる。 我々は,カリキュラムの生成を制約付き最適輸送問題とする。 ベンチマークでは、既存のCRL法により、このカリキュラム生成方法が改善できることが示されている。
  論文  参考訳（メタデータ） (2023-09-25T12:31:37Z)
• A Survey of Meta-Reinforcement Learning [83.95180398234238]
  我々は,メタRLと呼ばれるプロセスにおいて,機械学習問題自体として,より優れたRLアルゴリズムを開発した。 本稿では,タスク分布の存在と各タスクに利用可能な学習予算に基づいて,高レベルでメタRL研究をクラスタ化する方法について議論する。 RL実践者のための標準ツールボックスにメタRLを組み込むことの道程について,オープンな問題を提示することによって,結論を下す。
  論文  参考訳（メタデータ） (2023-01-19T12:01:41Z)
• Meta Reinforcement Learning with Successor Feature Based Context [51.35452583759734]
  本稿では,既存のメタRLアルゴリズムと競合する性能を実現するメタRL手法を提案する。 本手法は,複数のタスクに対して同時に高品質なポリシーを学習するだけでなく,短時間のトレーニングで新しいタスクに迅速に適応できる。
  論文  参考訳（メタデータ） (2022-07-29T14:52:47Z)
• Efficiently Identifying Task Groupings for Multi-Task Learning [55.80489920205404]
  マルチタスク学習は、あるタスクによって学習された情報を活用して、他のタスクのトレーニングに役立てることができる。 マルチタスク学習モデルにおいて、どのタスクを一緒にトレーニングすべきかを選択するアプローチを提案する。 本手法は,全タスクを協調学習し,タスクの勾配が他のタスクの損失に影響を及ぼす影響を定量化する。
  論文  参考訳（メタデータ） (2021-09-10T02:01:43Z)
• Reset-Free Reinforcement Learning via Multi-Task Learning: Learning Dexterous Manipulation Behaviors without Human Intervention [67.1936055742498]
  マルチタスク学習は、リセットフリーの学習スキームをはるかに複雑な問題に効果的にスケールできることを示す。 この研究は、人間の介入なしにRLを用いて現実世界での巧妙な操作行動を学ぶ能力を示す。
  論文  参考訳（メタデータ） (2021-04-22T17:38:27Z)
• Trying AGAIN instead of Trying Longer: Prior Learning for Automatic Curriculum Learning [39.489869446313065]
  Deep RL(DRL)コミュニティにおける大きな課題は、見えない状況に対して汎用的なエージェントを訓練することである。 そこで本研究では,(1)教師アルゴリズムがDRLエージェントを高探索カリキュラムで学習し,(2)初回から学習した前処理を蒸留して「専門カリキュラム」を生成する2段階のACLアプローチを提案する。 本研究の目的は,最先端技術に対する平均50%の改善を示すことに加えて,複数の学習者を対象としたACL技術の改良を指向した新たな研究方向性の第一の例を示すことである。
  論文  参考訳（メタデータ） (2020-04-07T07:30:27Z)
• Learning Context-aware Task Reasoning for Efficient Meta-reinforcement Learning [29.125234093368732]
  本稿では,新しいタスクの学習において,人間レベルの効率を実現するためのメタRL戦略を提案する。 本稿では,メタRL問題をタスク探索,タスク推論,タスク充足という3つのサブタスクに分解する。 提案アルゴリズムは,タスク推論の探索を効果的に行い,トレーニングとテストの双方においてサンプル効率を向上し,メタオーバーフィッティング問題を緩和する。
  論文  参考訳（メタデータ） (2020-03-03T07:38:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。