論文の概要: Automated Reinforcement Learning (AutoRL): A Survey and Open Problems
- arxiv url: http://arxiv.org/abs/2201.03916v1
- Date: Tue, 11 Jan 2022 12:41:43 GMT
- ステータス: 処理完了
- システム内更新日: 2022-01-12 14:45:17.914217
- Title: Automated Reinforcement Learning (AutoRL): A Survey and Open Problems
- Title（参考訳）: 自動強化学習(AutoRL: Automated Reinforcement Learning)の調査と課題
- Authors: Jack Parker-Holder, Raghu Rajan, Xingyou Song, Andr\'e Biedenkapp,
Yingjie Miao, Theresa Eimer, Baohe Zhang, Vu Nguyen, Roberto Calandra,
Aleksandra Faust, Frank Hutter, Marius Lindauer
- Abstract要約: AutoRL(Automated Reinforcement Learning)には、AutoMLの標準的なアプリケーションだけでなく、RL特有の課題も含まれている。
我々は共通の分類法を提供し、各領域を詳細に議論し、今後の研究者にとって関心のあるオープンな問題を提起する。
- 参考スコア（独自算出の注目度）: 92.73407630874841
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The combination of Reinforcement Learning (RL) with deep learning has led to
a series of impressive feats, with many believing (deep) RL provides a path
towards generally capable agents. However, the success of RL agents is often
highly sensitive to design choices in the training process, which may require
tedious and error-prone manual tuning. This makes it challenging to use RL for
new problems, while also limits its full potential. In many other areas of
machine learning, AutoML has shown it is possible to automate such design
choices and has also yielded promising initial results when applied to RL.
However, Automated Reinforcement Learning (AutoRL) involves not only standard
applications of AutoML but also includes additional challenges unique to RL,
that naturally produce a different set of methods. As such, AutoRL has been
emerging as an important area of research in RL, providing promise in a variety
of applications from RNA design to playing games such as Go. Given the
diversity of methods and environments considered in RL, much of the research
has been conducted in distinct subfields, ranging from meta-learning to
evolution. In this survey we seek to unify the field of AutoRL, we provide a
common taxonomy, discuss each area in detail and pose open problems which would
be of interest to researchers going forward.
- Abstract（参考訳）: 強化学習(RL)とディープラーニングの組み合わせは、多くの(深い)RLが一般的に有能なエージェントへの道筋を提供する、という印象的な成果をもたらした。
しかしながら、RLエージェントの成功は、しばしばトレーニングプロセスにおける設計選択に非常に敏感であり、退屈でエラーを起こしやすい手動チューニングを必要とする。
これにより、新しい問題にRLを使用することが難しくなり、また、その潜在能力を最大限に制限する。
機械学習の他の多くの分野において、AutoMLはそのような設計選択を自動化できることを示しており、RLに適用すると有望な初期結果も得られている。
しかし、AutoRL(Automated Reinforcement Learning)は、AutoMLの標準的なアプリケーションだけでなく、RL特有の課題も含んでいる。
そのため、AutoRLはRLにおける重要な研究領域として現れており、RNA設計からGoのようなゲームまで、様々なアプリケーションで約束されている。
RLにおける手法や環境の多様性を考えると、研究の多くはメタラーニングから進化まで、異なるサブフィールドで行われている。
本調査では,AutoRLの分野を統一し,共通分類学を提供し,各分野を詳細に議論し,今後の研究者にとって関心のあるオープンな問題を提起する。
関連論文リスト
- A Benchmark Environment for Offline Reinforcement Learning in Racing Games [54.83171948184851]
オフライン強化学習(英語: Offline Reinforcement Learning、ORL)は、従来の強化学習(RL)の高サンプリング複雑さを減らすための有望なアプローチである。
本稿では,ORL研究のための新しい環境であるOfflineManiaを紹介する。
TrackManiaシリーズにインスパイアされ、Unity 3Dゲームエンジンで開発された。
論文 参考訳（メタデータ） (2024-07-12T16:44:03Z) - Adaptive $Q$-Network: On-the-fly Target Selection for Deep Reinforcement Learning [18.579378919155864]
我々は、追加のサンプルを必要としない最適化手順の非定常性を考慮するために、Adaptive $Q$Network (AdaQN)を提案する。
AdaQNは理論上は健全で、MuJoCo制御問題やAtari 2600のゲームで実証的に検証されている。
論文 参考訳（メタデータ） (2024-05-25T11:57:43Z) - ArCHer: Training Language Model Agents via Hierarchical Multi-Turn RL [80.10358123795946]
大規模言語モデルを微調整するためのマルチターンRLアルゴリズムを構築するためのフレームワークを開発する。
我々のフレームワークは階層的なRLアプローチを採用し、2つのRLアルゴリズムを並列に実行している。
実験により,ArCHerはエージェントタスクの効率と性能を大幅に向上させることがわかった。
論文 参考訳（メタデータ） (2024-02-29T18:45:56Z) - A Survey of Meta-Reinforcement Learning [69.76165430793571]
我々は,メタRLと呼ばれるプロセスにおいて,機械学習問題自体として,より優れたRLアルゴリズムを開発した。
本稿では,タスク分布の存在と各タスクに利用可能な学習予算に基づいて,高レベルでメタRL研究をクラスタ化する方法について議論する。
RL実践者のための標準ツールボックスにメタRLを組み込むことの道程について,オープンな問題を提示することによって,結論を下す。
論文 参考訳（メタデータ） (2023-01-19T12:01:41Z) - Understanding the Complexity Gains of Single-Task RL with a Curriculum [83.46923851724408]
強化学習 (Reinforcement Learning, RL) の問題は, 十分に形が整った報酬なしでは困難である。
カリキュラムで定義されるマルチタスクRL問題として、シングルタスクRL問題を再構成する理論的枠組みを提供する。
マルチタスクRL問題における各タスクの逐次解法は、元の単一タスク問題の解法よりも計算効率がよいことを示す。
論文 参考訳（メタデータ） (2022-12-24T19:46:47Z) - Pretraining in Deep Reinforcement Learning: A Survey [17.38360092869849]
事前訓練は伝達可能な知識の獲得に有効であることが示されている。
強化学習の性質から, この分野でのプレトレーニングには, 独特な課題が伴う。
論文 参考訳（メタデータ） (2022-11-08T02:17:54Z) - Automated Reinforcement Learning: An Overview [6.654552816487819]
強化学習と深層強化学習は、シーケンシャルな意思決定問題を解決する一般的な方法である。
本稿では,RLの自動化に使用可能な文献と最近の研究について考察する。
論文 参考訳（メタデータ） (2022-01-13T14:28:06Z) - Formula RL: Deep Reinforcement Learning for Autonomous Racing using
Telemetry Data [4.042350304426975]
この問題を,車両のテレメトリと連続的な動作空間からなる多次元入力を用いて強化学習タスクとして構成する。
我々は,2つの実験において,Deep Deterministic Policy gradient (DDPG) の10変種をレースに投入した。
研究によると、rlでトレーニングされたモデルは、オープンソースの手作りロボットよりも高速に運転できるだけでなく、未知のトラックに一般化できる。
論文 参考訳（メタデータ） (2021-04-22T14:40:12Z) - Investigating Value of Curriculum Reinforcement Learning in Autonomous
Driving Under Diverse Road and Weather Conditions [0.0]
本稿では,自動運転アプリケーションにおけるカリキュラム強化学習の価値を検討する。
道路の複雑さや気象条件の異なる現実的な運転シミュレータで、複数の異なる運転シナリオを設定しました。
その結果、カリキュラムRLは、運転性能とサンプルの複雑さの両方の観点から、複雑な運転タスクで有意な利益を得ることができます。
論文 参考訳（メタデータ） (2021-03-14T12:05:05Z) - How to Train Your Robot with Deep Reinforcement Learning; Lessons We've
Learned [111.06812202454364]
本稿では,ロボット深部RLのケーススタディをいくつか紹介する。
深部RLにおける一般的な課題と,それらの課題について論じる。
また、他の卓越した課題についても概説し、その多くが現実世界のロボティクスの設定に特有のものである。
論文 参考訳（メタデータ） (2021-02-04T22:09:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。