論文の概要: A Survey of Generalisation in Deep Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2111.09794v1
• Date: Thu, 18 Nov 2021 16:53:02 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-19 14:00:46.353630
• Title: A Survey of Generalisation in Deep Reinforcement Learning
• Title（参考訳）: 深層強化学習の一般化に関する調査研究
• Authors: Robert Kirk, Amy Zhang, Edward Grefenstette, Tim Rockt\"aschel
• Abstract要約: 深層強化学習の一般化は、展開時に目に見えない新しい状況に一般化するRLアルゴリズムを作ることを目的としている。 実世界のシナリオで強化学習アルゴリズムを展開するためには、これに取り組むことが不可欠です。 この調査は、この初期段階の分野の概要である。
• 参考スコア（独自算出の注目度）: 18.098133342169646
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The study of generalisation in deep Reinforcement Learning (RL) aims to produce RL algorithms whose policies generalise well to novel unseen situations at deployment time, avoiding overfitting to their training environments. Tackling this is vital if we are to deploy reinforcement learning algorithms in real world scenarios, where the environment will be diverse, dynamic and unpredictable. This survey is an overview of this nascent field. We provide a unifying formalism and terminology for discussing different generalisation problems, building upon previous works. We go on to categorise existing benchmarks for generalisation, as well as current methods for tackling the generalisation problem. Finally, we provide a critical discussion of the current state of the field, including recommendations for future work. Among other conclusions, we argue that taking a purely procedural content generation approach to benchmark design is not conducive to progress in generalisation, we suggest fast online adaptation and tackling RL-specific problems as some areas for future work on methods for generalisation, and we recommend building benchmarks in underexplored problem settings such as offline RL generalisation and reward-function variation.
• Abstract（参考訳）: 深層強化学習(rl)における一般化の研究は、展開時の新たな未熟な状況によく一般化し、トレーニング環境への過度な適合を避けるための、rlアルゴリズムの開発を目標としている。 環境が多様で動的で予測不能な現実のシナリオに強化学習アルゴリズムを展開するには、これに取り組むことが不可欠です。 この調査は、この初期段階の分野の概要である。 我々は、様々な一般化問題について議論するための統一形式主義と用語を提供する。 一般化のための既存のベンチマークと、一般化問題に取り組む現在の手法を分類します。 最後に,今後の作業の推奨など,この分野の現状に関する批判的な議論を行う。 その他の結論として, ベンチマーク設計に純粋に手続き的コンテンツ生成アプローチを採用することは, 一般化の進展に寄与しない, オンライン適応とRL固有の問題への対処を, 一般化手法の今後の研究分野として提案し, オフラインRLの一般化や報酬関数の変動といった未解決の問題設定において, ベンチマークを構築することを推奨する。

関連論文リスト

• Inferring Behavior-Specific Context Improves Zero-Shot Generalization in Reinforcement Learning [4.902544998453533]
  環境の重力レベルなどの文脈的手がかりの理解と活用は、堅牢な一般化に不可欠である。 提案アルゴリズムは, 様々なシミュレートされた領域における一般化を改良し, ゼロショット設定における事前の文脈学習技術より優れていることを示す。
  論文  参考訳（メタデータ） (2024-04-15T07:31:48Z)
• Discovering General Reinforcement Learning Algorithms with Adversarial Environment Design [54.39859618450935]
  メタ学習型更新ルールは,広範囲のRLタスクで良好に機能するアルゴリズムの発見を期待して,実現可能であることを示す。 Learned Policy Gradient (LPG)のようなアルゴリズムによる印象的な初期結果にもかかわらず、これらのアルゴリズムが目に見えない環境に適用される場合、まだギャップが残っている。 本研究では,メタ教師付き学習分布の特性が,これらのアルゴリズムの性能に与える影響について検討する。
  論文  参考訳（メタデータ） (2023-10-04T12:52:56Z)
• RL-ViGen: A Reinforcement Learning Benchmark for Visual Generalization [23.417092819516185]
  視覚一般化のための強化学習ベンチマークRL-ViGenを紹介する。 RL-ViGenは多種多様なタスクと幅広い一般化型を含み、より信頼性の高い結論の導出を容易にする。 我々の願望は、RL-ViGenが将来の普遍的な視覚一般化RLエージェントの創出の触媒となることである。
  論文  参考訳（メタデータ） (2023-07-15T05:45:37Z)
• On the Importance of Exploration for Generalization in Reinforcement Learning [89.63074327328765]
  本研究では,不確実性の高い状態の探索を支援する方法であるEDE: Exploration via Distributional Ensembleを提案する。 当社のアルゴリズムは,ProcgenとCrafterの両面で最先端を実現するための,最初のバリューベースアプローチである。
  論文  参考訳（メタデータ） (2023-06-08T18:07:02Z)
• A Survey of Meta-Reinforcement Learning [83.95180398234238]
  我々は,メタRLと呼ばれるプロセスにおいて,機械学習問題自体として,より優れたRLアルゴリズムを開発した。 本稿では,タスク分布の存在と各タスクに利用可能な学習予算に基づいて,高レベルでメタRL研究をクラスタ化する方法について議論する。 RL実践者のための標準ツールボックスにメタRLを組み込むことの道程について,オープンな問題を提示することによって,結論を下す。
  論文  参考訳（メタデータ） (2023-01-19T12:01:41Z)
• A Survey on Deep Reinforcement Learning-based Approaches for Adaptation and Generalization [3.307203784120634]
  Deep Reinforcement Learning (DRL)は、現実世界の環境で複雑な問題を効率的に解ける知的なエージェントを作ることを目的としている。 本稿では,DRLに基づく適応と一般化に向けた最近の研究動向について述べる。
  論文  参考訳（メタデータ） (2022-02-17T04:29:08Z)
• Contextualize Me -- The Case for Context in Reinforcement Learning [49.794253971446416]
  文脈強化学習(cRL)は、このような変化を原則的にモデル化するためのフレームワークを提供する。 我々は,cRLが有意義なベンチマークや一般化タスクに関する構造化推論を通じて,RLのゼロショット一般化の改善にどのように貢献するかを示す。
  論文  参考訳（メタデータ） (2022-02-09T15:01:59Z)
• Policy Mirror Descent for Regularized Reinforcement Learning: A Generalized Framework with Linear Convergence [60.20076757208645]
  本稿では,正規化RLを解くためのGPMDアルゴリズムを提案する。 我々は,このアルゴリズムが次元自由な方法で,全範囲の学習率に線形に収束することを実証した。
  論文  参考訳（メタデータ） (2021-05-24T02:21:34Z)
• Dynamics Generalization via Information Bottleneck in Deep Reinforcement Learning [90.93035276307239]
  本稿では,RLエージェントのより優れた一般化を実現するために,情報理論正則化目標とアニーリングに基づく最適化手法を提案する。 迷路ナビゲーションからロボットタスクまで、さまざまな領域において、我々のアプローチの極端な一般化の利点を実証する。 この研究は、タスク解決のために冗長な情報を徐々に取り除き、RLの一般化を改善するための原則化された方法を提供する。
  論文  参考訳（メタデータ） (2020-08-03T02:24:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。