論文の概要: Towards Continual Reinforcement Learning: A Review and Perspectives

• arxiv url: http://arxiv.org/abs/2012.13490v1
• Date: Fri, 25 Dec 2020 02:35:27 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-25 04:38:40.996166
• Title: Towards Continual Reinforcement Learning: A Review and Perspectives
• Title（参考訳）: 継続的強化学習に向けて : レビューと展望
• Authors: Khimya Khetarpal, Matthew Riemer, Irina Rish, Doina Precup
• Abstract要約: 我々は,連続的強化学習(RL)に対する異なる定式化とアプローチの文献レビューの提供を目的とする。 まだ初期段階だが、継続的なrlの研究は、よりインクリメンタルな強化学習者を開発することを約束している。 これには、医療、教育、物流、ロボット工学などの分野の応用が含まれる。
• 参考スコア（独自算出の注目度）: 69.48324517535549
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this article, we aim to provide a literature review of different formulations and approaches to continual reinforcement learning (RL), also known as lifelong or non-stationary RL. We begin by discussing our perspective on why RL is a natural fit for studying continual learning. We then provide a taxonomy of different continual RL formulations and mathematically characterize the non-stationary dynamics of each setting. We go on to discuss evaluation of continual RL agents, providing an overview of benchmarks used in the literature and important metrics for understanding agent performance. Finally, we highlight open problems and challenges in bridging the gap between the current state of continual RL and findings in neuroscience. While still in its early days, the study of continual RL has the promise to develop better incremental reinforcement learners that can function in increasingly realistic applications where non-stationarity plays a vital role. These include applications such as those in the fields of healthcare, education, logistics, and robotics.
• Abstract（参考訳）: 本稿では,ライフロングあるいは非定常RLとしても知られる連続的強化学習(RL)に対する,異なる定式化とアプローチの文献レビューを提案する。 まず、RLが継続的学習に自然に適合する理由について議論する。 次に、異なる連続RLの定式化の分類を提供し、各設定の非定常力学を数学的に特徴づける。 続いて、連続RLエージェントの評価について論じ、文献で使用されるベンチマークの概要と、エージェントのパフォーマンスを理解するための重要な指標を提供する。 最後に、連続RLの状態と神経科学の発見とのギャップを埋める際のオープンな問題と課題を強調した。 初期の段階において、連続RLの研究は、非定常性が重要な役割を果たす、より現実的なアプリケーションで機能するより良い増分強化学習者を開発することを約束している。 これには、医療、教育、物流、ロボット工学などの分野の応用が含まれる。

関連論文リスト

• Towards Sample-Efficiency and Generalization of Transfer and Inverse Reinforcement Learning: A Comprehensive Literature Review [50.67937325077047]
  本稿では,転送および逆強化学習(T-IRL)によるRLアルゴリズムのサンプル効率と一般化を実現するための総合的なレビューを行う。 以上の結果から,最近の研究成果の大部分は,人間のループとシム・トゥ・リアル戦略を活用することで,上記の課題に対処していることが示唆された。 IRL構造の下では、経験の少ない移行と、そのようなフレームワークのマルチエージェントおよびマルチインテンション問題への拡張を必要とするトレーニングスキームが近年研究者の優先事項となっている。
  論文  参考訳（メタデータ） (2024-11-15T15:18:57Z)
• Reinforcement Learning in Dynamic Treatment Regimes Needs Critical Reexamination [7.162274565861427]
  動的治療体制におけるオフライン強化学習は 前例のない機会と課題が混在している。 不整合性や潜在的に決定的でない評価指標などの懸念を引用して、動的治療体制におけるRLの適用の再評価を論じる。 評価指標の変化やマルコフ決定過程(MDP)の定式化によって,RLアルゴリズムの性能が著しく変化することを示した。
  論文  参考訳（メタデータ） (2024-05-28T20:03:18Z)
• Using Think-Aloud Data to Understand Relations between Self-Regulation Cycle Characteristics and Student Performance in Intelligent Tutoring Systems [15.239133633467672]
  本研究では,学習者のモーメント・バイ・モーメントのパフォーマンスとSRLの挙動について検討する。 本稿では,AI生成した思考情報に基づくSRL行動のラベル付けの実現可能性を示す。 SRLサイクルの進行過程における学生の行動は、後のSRLサイクルの段階よりも、問題解決時のモーメント・バイ・モーメントの正しさが低かった。
  論文  参考訳（メタデータ） (2023-12-09T20:36:58Z)
• A Survey on Causal Reinforcement Learning [41.645270300009436]
  本稿では、CRL(Causal Reinforcement Learning)の作業のレビュー、CRL手法のレビュー、RLへの因果性から潜在的な機能について検討する。 特に,既存のCRLアプローチを,因果関係に基づく情報が事前に与えられるか否かに応じて2つのカテゴリに分けた。 我々は、マルコフ決定プロセス(MDP)、部分観測マルコフ決定プロセス(POMDP)、マルチアーム帯域(MAB)、動的治療レジーム(DTR)など、様々なモデルの形式化の観点から、各カテゴリを解析する。
  論文  参考訳（メタデータ） (2023-02-10T12:25:08Z)
• A Comprehensive Survey of Continual Learning: Theory, Method and Application [64.23253420555989]
  本稿では,基礎的設定,理論的基礎,代表的方法,実践的応用を橋渡しする継続的学習に関する包括的調査を行う。 連続学習の一般的な目的は、資源効率の文脈において、適切な安定性と塑性のトレードオフと適切なタスク内/タスク内一般化性を保証することであると要約する。
  論文  参考訳（メタデータ） (2023-01-31T11:34:56Z)
• Survey on Fair Reinforcement Learning: Theory and Practice [9.783469272270896]
  本稿では、強化学習(RL)フレームワークを用いて実装されたフェアネスアプローチについて概観する。 本稿では,RL法を適用した様々な実用的応用について論じる。 フェアRLの分野を前進させるために検討すべき主要な課題をいくつか取り上げる。
  論文  参考訳（メタデータ） (2022-05-20T09:07:28Z)
• Autonomous Reinforcement Learning: Formalism and Benchmarking [106.25788536376007]
  人間や動物が行うような現実世界の具体的学習は、連続的で非エポゾディックな世界にある。 RLの一般的なベンチマークタスクはエピソジックであり、試行錯誤によってエージェントに複数の試行を行う環境がリセットされる。 この相違は、擬似環境向けに開発されたRLアルゴリズムを現実世界のプラットフォーム上で実行しようとする場合、大きな課題となる。
  論文  参考訳（メタデータ） (2021-12-17T16:28:06Z)
• Continual World: A Robotic Benchmark For Continual Reinforcement Learning [17.77261981963946]
  正しいトレードオフを理解することは概念的にも計算的にも困難である、と私たちは主張する。 テストベッドとしてMeta-World上に構築された,現実的で有意義に多様なロボットタスクからなるベンチマークを提案する。
  論文  参考訳（メタデータ） (2021-05-23T11:33:04Z)
• RL Unplugged: A Suite of Benchmarks for Offline Reinforcement Learning [108.9599280270704]
  オフラインのRL手法を評価・比較するためのRL Unpluggedというベンチマークを提案する。 RL Unpluggedにはゲームやシミュレートされたモーター制御問題を含むさまざまな領域のデータが含まれている。 本論文で提示した全タスクのデータと,全アルゴリズムをオープンソースとして公開する。
  論文  参考訳（メタデータ） (2020-06-24T17:14:51Z)
• Transient Non-Stationarity and Generalisation in Deep Reinforcement Learning [67.34810824996887]
  非定常性は、静止環境においても強化学習(Reinforcement Learning, RL)において生じることがある。 深部RLエージェントの一般化を改善するため,ITER(Iterated Relearning)を提案する。
  論文  参考訳（メタデータ） (2020-06-10T13:26:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。