論文の概要: Learning to Optimize for Reinforcement Learning
- arxiv url: http://arxiv.org/abs/2302.01470v2
- Date: Sun, 2 Jul 2023 09:40:07 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-04 14:51:30.873886
- Title: Learning to Optimize for Reinforcement Learning
- Title(参考訳): 強化学習のための学習
- Authors: Qingfeng Lan, A. Rupam Mahmood, Shuicheng Yan, Zhongwen Xu
- Abstract要約: ゼロから強化学習を行うエージェントを学習することは可能であることを示す。
おもちゃのタスクでしか訓練されないが、我々の学習はブラックスの複雑なタスクに一般化することができる。
- 参考スコア(独自算出の注目度): 79.03249959636776
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In recent years, by leveraging more data, computation, and diverse tasks,
learned optimizers have achieved remarkable success in supervised learning,
outperforming classical hand-designed optimizers. Reinforcement learning (RL)
is essentially different from supervised learning and in practice these learned
optimizers do not work well even in simple RL tasks. We investigate this
phenomenon and identity three issues. First, the gradients of an RL agent vary
across a wide range in logarithms while their absolute values are in a small
range, making neural networks hard to obtain accurate parameter updates.
Second, the agent-gradient distribution is non-independent and identically
distributed, leading to inefficient meta-training. Finally, due to highly
stochastic agent-environment interactions, the agent-gradients have high bias
and variance, which increase the difficulty of learning an optimizer for RL. We
propose gradient processing, pipeline training, and a novel optimizer structure
with good inductive bias to address these issues. By applying these techniques,
for the first time, we show that learning an optimizer for RL from scratch is
possible. Although only trained in toy tasks, our learned optimizer can
generalize to unseen complex tasks in Brax.
- Abstract(参考訳): 近年、多くのデータ、計算、多様なタスクを活用することで、学習オプティマイザは教師付き学習において大きな成功を収め、古典的な手設計オプティマイザよりも優れています。
強化学習(Reinforcement Learning, RL)は、教師あり学習とは本質的に異なり、実際にこれらの学習最適化は単純なRLタスクでもうまく機能しない。
この現象と同一性は3つある。
第一に、RLエージェントの勾配は、その絶対値が小さい範囲にある間、幅広い対数の範囲で変化し、ニューラルネットワークが正確なパラメータ更新を得るのが困難になる。
第二に、エージェント勾配分布は非独立で同一分布であり、非効率なメタトレーニングをもたらす。
最後に, エージェント・環境相互作用の高度化により, エージェント・グラディエントは高いバイアスと分散を有し, 最適化器の学習が困難になる。
これらの問題に対処するために,勾配処理,パイプライントレーニング,インダクティブバイアスの高い新しいオプティマイザ構造を提案する。
これらの手法を適用することで、初めてRLの最適化をスクラッチから学習できることが示される。
おもちゃのタスクでしか訓練されないが、学習したオプティマイザはブラックスの複雑なタスクに一般化できる。
関連論文リスト
- Robust Learning with Progressive Data Expansion Against Spurious
Correlation [65.83104529677234]
本研究では,2層非線形畳み込みニューラルネットワークの学習過程について検討した。
分析の結果,不均衡なデータ群と学習容易なスプリアス特徴が学習過程におけるスプリアス特徴の優位性に繋がる可能性が示唆された。
本稿では,PDEと呼ばれる新たなトレーニングアルゴリズムを提案する。
論文 参考訳(メタデータ) (2023-06-08T05:44:06Z) - VeLO: Training Versatile Learned Optimizers by Scaling Up [67.90237498659397]
私たちは、ディープラーニングの成功の背後にある同じスケーリングアプローチを活用して、汎用性を学びます。
私たちは、パラメータの更新を取り込み出力する小さなニューラルネットワークであるディープラーニングのためのインジェクションをトレーニングします。
学習したメタトレーニングコード、関連するトレインテストデータ、およびvelo-code.ioのベースラインを備えた広範なベンチマークスイートをオープンソースとして公開しています。
論文 参考訳(メタデータ) (2022-11-17T18:39:07Z) - Learning to Optimize Quasi-Newton Methods [22.504971951262004]
本稿では、最適化時に最適な事前条件をオンラインで学習するLODOと呼ばれる新しい機械学習を提案する。
他のL2Oメソッドとは異なり、LODOはトレーニングタスクの配布にメタトレーニングを一切必要としない。
この勾配は, 雑音場における逆 Hessian を近似し, 幅広い逆 Hessian を表現可能であることを示す。
論文 参考訳(メタデータ) (2022-10-11T03:47:14Z) - Mastering the Unsupervised Reinforcement Learning Benchmark from Pixels [112.63440666617494]
強化学習アルゴリズムは成功するが、エージェントと環境の間の大量の相互作用を必要とする。
本稿では,教師なしモデルベースRLを用いてエージェントを事前学習する手法を提案する。
我々はReal-Word RLベンチマークにおいて、適応中の環境摂動に対する抵抗性を示唆し、堅牢な性能を示す。
論文 参考訳(メタデータ) (2022-09-24T14:22:29Z) - Training Efficiency and Robustness in Deep Learning [2.6451769337566406]
ディープラーニングモデルのトレーニング効率と堅牢性を改善するためのアプローチについて検討する。
より情報的なトレーニングデータに基づく学習の優先順位付けは収束速度を高め、テストデータに対する一般化性能を向上させる。
トレーニングデータのサンプリングに対する冗長性を考慮した修正により、トレーニング速度が向上し、トレーニング信号の多様性を検出する効率的な方法が開発されていることを示す。
論文 参考訳(メタデータ) (2021-12-02T17:11:33Z) - Reverse engineering learned optimizers reveals known and novel
mechanisms [50.50540910474342]
学習は最適化問題を解決するために自らを訓練できるアルゴリズムである。
実験の結果は,学習の動作方法に関するそれまでの曖昧な理解を解明し,今後の学習を解釈するためのツールを確立するのに役立つ。
論文 参考訳(メタデータ) (2020-11-04T07:12:43Z) - Tasks, stability, architecture, and compute: Training more effective
learned optimizers, and using them to train themselves [53.37905268850274]
我々は、自動正規化を実現するために、バリデーション損失などの追加機能にアクセス可能な、階層的で階層的なニューラルネットワークパラメータ化を導入した。
ほとんどの学習は単一のタスク、あるいは少数のタスクでトレーニングされています。
何千ものタスクをトレーニングし、桁違いに計算量を増やし、その結果、目に見えないタスクよりも優れたパフォーマンスの一般化を実現します。
論文 参考訳(メタデータ) (2020-09-23T16:35:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。