論文の概要: A Survey of Continual Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2506.21872v1
• Date: Fri, 27 Jun 2025 03:10:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-30 21:12:23.064756
• Title: A Survey of Continual Reinforcement Learning
• Title（参考訳）: 継続的強化学習に関する調査
• Authors: Chaofan Pan, Xin Yang, Yanhua Li, Wei Wei, Tianrui Li, Bo An, Jiye Liang,
• Abstract要約: 強化学習(Reinforcement Learning, RL)は、シーケンシャルな意思決定問題を解決するための重要な機械学習パラダイムである。 タスクをまたいで一般化するRLの限られた能力は、動的および実世界の環境での適用性を制限する。 CRL(Continuous Reinforcement Learning)は、これらの制限に対処するための有望な研究方向として登場した。
• 参考スコア（独自算出の注目度）: 37.12149196139624
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reinforcement Learning (RL) is an important machine learning paradigm for solving sequential decision-making problems. Recent years have witnessed remarkable progress in this field due to the rapid development of deep neural networks. However, the success of RL currently relies on extensive training data and computational resources. In addition, RL's limited ability to generalize across tasks restricts its applicability in dynamic and real-world environments. With the arisen of Continual Learning (CL), Continual Reinforcement Learning (CRL) has emerged as a promising research direction to address these limitations by enabling agents to learn continuously, adapt to new tasks, and retain previously acquired knowledge. In this survey, we provide a comprehensive examination of CRL, focusing on its core concepts, challenges, and methodologies. Firstly, we conduct a detailed review of existing works, organizing and analyzing their metrics, tasks, benchmarks, and scenario settings. Secondly, we propose a new taxonomy of CRL methods, categorizing them into four types from the perspective of knowledge storage and/or transfer. Finally, our analysis highlights the unique challenges of CRL and provides practical insights into future directions.
• Abstract（参考訳）: 強化学習(Reinforcement Learning, RL)は、シーケンシャルな意思決定問題を解決するための重要な機械学習パラダイムである。 近年、ディープニューラルネットワークの急速な発展により、この分野で顕著な進歩が見られた。 しかし、RLの成功は、現在広範なトレーニングデータと計算資源に依存している。 さらに、タスクをまたいで一般化するRLの限られた能力は、動的および実環境における適用性を制限する。 継続学習(CL)の出現に伴い、継続強化学習(CRL)は、エージェントが継続的に学習し、新しいタスクに適応し、以前獲得した知識を維持することによって、これらの制限に対処するための有望な研究方向として登場した。 本調査では、CRLの中核となる概念、課題、方法論を総合的に検討する。 まず、既存の作業の詳細なレビューを行い、メトリクス、タスク、ベンチマーク、シナリオ設定の整理と分析を行います。 次に,知識記憶・移動の観点から,CRL法を4つのタイプに分類した新しい分類法を提案する。 最後に、CRLのユニークな課題に注目し、今後の方向性について実践的な洞察を提供する。

関連論文リスト

• Advancements and Challenges in Continual Reinforcement Learning: A Comprehensive Review [23.42371049953867]
  この論文は、継続的な強化学習、重要な概念、重要な課題、新しい方法論の基本的な側面を掘り下げている。 ロボット工学における継続的な強化学習の最近の進歩と、卓越した研究で利用される評価環境の簡潔な概観に特に重点を置いている。 このレビューは、限界と将来的な方向性に関する議論で締めくくられ、研究者や実践者にも貴重な洞察を与えている。
  論文  参考訳（メタデータ） (2025-06-27T04:36:05Z)
• Improving RL Exploration for LLM Reasoning through Retrospective Replay [45.00643118030677]
  本稿では,Retrospective Replay-based Reinforcement Learning (RRL) という新しいアルゴリズムを提案する。 RRLにより、モデルが早期に特定された有望な状態を再検討し、探索の効率性と有効性を向上させることができる。
  論文  参考訳（メタデータ） (2025-04-19T17:40:04Z)
• Towards Sample-Efficiency and Generalization of Transfer and Inverse Reinforcement Learning: A Comprehensive Literature Review [50.67937325077047]
  本稿では,転送および逆強化学習(T-IRL)によるRLアルゴリズムのサンプル効率と一般化を実現するための総合的なレビューを行う。 以上の結果から,最近の研究成果の大部分は,人間のループとシム・トゥ・リアル戦略を活用することで,上記の課題に対処していることが示唆された。 IRL構造の下では、経験の少ない移行と、そのようなフレームワークのマルチエージェントおよびマルチインテンション問題への拡張を必要とするトレーニングスキームが近年研究者の優先事項となっている。
  論文  参考訳（メタデータ） (2024-11-15T15:18:57Z)
• Ensemble Reinforcement Learning: A Survey [43.17635633600716]
  強化学習(Reinforcement Learning, RL)は, 様々な科学的, 応用的な問題に対処するための, 極めて効果的な手法として登場した。 これに対し, アンサンブル強化学習(ERL)は, RLとアンサンブル学習(EL)の両方の利点を組み合わせた有望なアプローチであり, 広く普及している。 ERLは複数のモデルやトレーニングアルゴリズムを活用して、問題空間を包括的に探索し、強力な一般化能力を持つ。
  論文  参考訳（メタデータ） (2023-03-05T09:26:44Z)
• A Tutorial on Meta-Reinforcement Learning [69.76165430793571]
  我々は,メタRLと呼ばれるプロセスにおいて,機械学習問題自体として,より優れたRLアルゴリズムを開発した。 本稿では,タスク分布の存在と各タスクに利用可能な学習予算に基づいて,高レベルでメタRL研究をクラスタ化する方法について議論する。 RL実践者のための標準ツールボックスにメタRLを組み込むことの道程について,オープンな問題を提示することによって,結論を下す。
  論文  参考訳（メタデータ） (2023-01-19T12:01:41Z)
• Pretraining in Deep Reinforcement Learning: A Survey [17.38360092869849]
  事前訓練は伝達可能な知識の獲得に有効であることが示されている。 強化学習の性質から, この分野でのプレトレーニングには, 独特な課題が伴う。
  論文  参考訳（メタデータ） (2022-11-08T02:17:54Z)
• Task-Agnostic Continual Reinforcement Learning: Gaining Insights and Overcoming Challenges [27.474011433615317]
  連続学習(CL)は、一連のタスクから学習するモデルやエージェントの開発を可能にする。 タスクに依存しないCLとマルチタスク(MTL)エージェントのパフォーマンス差に寄与する要因について検討する。
  論文  参考訳（メタデータ） (2022-05-28T17:59:00Z)
• Towards Continual Reinforcement Learning: A Review and Perspectives [69.48324517535549]
  我々は,連続的強化学習(RL)に対する異なる定式化とアプローチの文献レビューの提供を目的とする。 まだ初期段階だが、継続的なrlの研究は、よりインクリメンタルな強化学習者を開発することを約束している。 これには、医療、教育、物流、ロボット工学などの分野の応用が含まれる。
  論文  参考訳（メタデータ） (2020-12-25T02:35:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。