論文の概要: Discovering Minimal Reinforcement Learning Environments

• arxiv url: http://arxiv.org/abs/2406.12589v1
• Date: Tue, 18 Jun 2024 13:19:26 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-19 18:58:07.336770
• Title: Discovering Minimal Reinforcement Learning Environments
• Title（参考訳）: 最小強化学習環境の発見
• Authors: Jarek Liesen, Chris Lu, Andrei Lupu, Jakob N. Foerster, Henning Sprekeler, Robert T. Lange,
• Abstract要約: 強化学習(RL)エージェントは、通常、同じ環境で訓練され、評価される。 人間は試験を受ける前に本を勉強するなど、評価される前に専門的な環境で訓練することが多い。
• 参考スコア（独自算出の注目度）: 24.6408931194983
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Reinforcement learning (RL) agents are commonly trained and evaluated in the same environment. In contrast, humans often train in a specialized environment before being evaluated, such as studying a book before taking an exam. The potential of such specialized training environments is still vastly underexplored, despite their capacity to dramatically speed up training. The framework of synthetic environments takes a first step in this direction by meta-learning neural network-based Markov decision processes (MDPs). The initial approach was limited to toy problems and produced environments that did not transfer to unseen RL algorithms. We extend this approach in three ways: Firstly, we modify the meta-learning algorithm to discover environments invariant towards hyperparameter configurations and learning algorithms. Secondly, by leveraging hardware parallelism and introducing a curriculum on an agent's evaluation episode horizon, we can achieve competitive results on several challenging continuous control problems. Thirdly, we surprisingly find that contextual bandits enable training RL agents that transfer well to their evaluation environment, even if it is a complex MDP. Hence, we set up our experiments to train synthetic contextual bandits, which perform on par with synthetic MDPs, yield additional insights into the evaluation environment, and can speed up downstream applications.
• Abstract（参考訳）: 強化学習(RL)エージェントは、通常、同じ環境で訓練され、評価される。 対照的に、人間は試験を受ける前に本を勉強するなど、評価される前に専門的な環境で訓練することが多い。 このような専門的な訓練環境のポテンシャルは、トレーニングを劇的にスピードアップする能力にもかかわらず、まだ非常に過小評価されている。 合成環境のフレームワークは、メタ学習ニューラルネットワークに基づくマルコフ決定プロセス(MDP)によって、この方向への第一歩を踏み出す。 最初のアプローチはおもちゃの問題に限られ、未知のRLアルゴリズムに移行しない環境を生み出した。 このアプローチを3つの方法で拡張する: まず、ハイパーパラメータ設定や学習アルゴリズムに不変な環境を見つけるために、メタ学習アルゴリズムを変更します。 第2に、ハードウェア並列性を活用し、エージェントの評価エピソード水平線上にカリキュラムを導入することにより、いくつかの挑戦的な連続制御問題に対する競合的な結果が得られる。 第3に, 複雑なMDPであっても, 評価環境に良好に移行するRLエージェントの訓練が可能になる。 そこで我々は, 合成MDPと同等に動作し, 評価環境にさらなる洞察を与え, 下流のアプリケーションを高速化する合成文脈包帯を訓練するために, 実験をセットアップした。

関連論文リスト

• No Regrets: Investigating and Improving Regret Approximations for Curriculum Discovery [53.08822154199948]
  非教師なし環境設計(UED)手法は、エージェントがイン・オブ・アウト・ディストリビューションタスクに対して堅牢になることを約束する適応的カリキュラムとして近年注目を集めている。 本研究は,既存のUEDメソッドがいかにトレーニング環境を選択するかを検討する。 本研究では,学習性の高いシナリオを直接訓練する手法を開発した。
  論文  参考訳（メタデータ） (2024-08-27T14:31:54Z)
• Accelerating Goal-Conditioned RL Algorithms and Research [17.155006770675904]
  自己指導型目標条件強化学習(GCRL)エージェントは、環境との非構造的相互作用において達成された目標から学習することで、新しい行動を発見する。 これらの手法は、低速環境シミュレーションのデータ不足や安定したアルゴリズムの欠如により、同様の成功は得られていない。 我々は、自制的なGCRLのためのベンチマーク(JaxGCRL)をリリースし、研究者は単一のGPU上で数百万の環境ステップでエージェントを訓練することができる。
  論文  参考訳（メタデータ） (2024-08-20T17:58:40Z)
• Aquatic Navigation: A Challenging Benchmark for Deep Reinforcement Learning [53.3760591018817]
  ゲームエンジンとDeep Reinforcement Learningの統合の最近の進歩を利用して,水上ナビゲーションのための新しいベンチマーク環境を提案する。 具体的には、最も広く受け入れられているアルゴリズムの一つであるPPOに着目し、先進的なトレーニング手法を提案する。 実験により,これらの成分をうまく組み合わせることで,有望な結果が得られることが示された。
  論文  参考訳（メタデータ） (2024-05-30T23:20:23Z)
• DRED: Zero-Shot Transfer in Reinforcement Learning via Data-Regularised Environment Design [11.922951794283168]
  本研究では,RLエージェントのゼロショット一般化能力(ZSG)に,個々の環境インスタンスやレベルのサンプリングがどう影響するかを検討する。 基本層を共有する深いアクター・クリティカルなアーキテクチャでは, エージェントの内部表現と, 生成したトレーニングデータのトレーニングレベルとの相互情報を最小限に抑える。 既存のUED手法は,ZSG性能の低いトレーニング分布を著しくシフトできることがわかった。 オーバーフィッティングと分散シフトの両面を防止するため,データ正規化環境設計(D)を導入する。
  論文  参考訳（メタデータ） (2024-02-05T19:47:45Z)
• Staged Reinforcement Learning for Complex Tasks through Decomposed Environments [4.883558259729863]
  RL問題を実問題に近似する2つの方法について議論する。 交通ジャンクションシミュレーションの文脈において、複雑なタスクを複数のサブタスクに分解できれば、これらのタスクを最初に解くのが有利であることを示す。 多エージェントの観点から、我々は、CTDE(Centralized Training Decentralized Execution)と呼ばれる一般的なパラダイムの下で学んだ経験の活用を活用するトレーニング構造化機構を導入する。
  論文  参考訳（メタデータ） (2023-11-05T19:43:23Z)
• End-to-end Lidar-Driven Reinforcement Learning for Autonomous Racing [0.0]
  強化学習(Reinforcement Learning, RL)は、自動化とロボット工学の領域において、変革的なアプローチとして登場した。 本研究は、フィードフォワード生ライダーと速度データのみを用いて、レース環境をナビゲートするRLエージェントを開発し、訓練する。 エージェントのパフォーマンスは、実世界のレースシナリオで実験的に評価される。
  論文  参考訳（メタデータ） (2023-09-01T07:03:05Z)
• Mastering the Unsupervised Reinforcement Learning Benchmark from Pixels [112.63440666617494]
  強化学習アルゴリズムは成功するが、エージェントと環境の間の大量の相互作用を必要とする。 本稿では,教師なしモデルベースRLを用いてエージェントを事前学習する手法を提案する。 我々はReal-Word RLベンチマークにおいて、適応中の環境摂動に対する抵抗性を示唆し、堅牢な性能を示す。
  論文  参考訳（メタデータ） (2022-09-24T14:22:29Z)
• Autonomous Reinforcement Learning: Formalism and Benchmarking [106.25788536376007]
  人間や動物が行うような現実世界の具体的学習は、連続的で非エポゾディックな世界にある。 RLの一般的なベンチマークタスクはエピソジックであり、試行錯誤によってエージェントに複数の試行を行う環境がリセットされる。 この相違は、擬似環境向けに開発されたRLアルゴリズムを現実世界のプラットフォーム上で実行しようとする場合、大きな課題となる。
  論文  参考訳（メタデータ） (2021-12-17T16:28:06Z)
• Meta-Reinforcement Learning by Tracking Task Non-stationarity [45.90345116853823]
  本稿では,タスクの時間的進化を明示的に追跡することで,将来に向けて最適化する新しいアルゴリズム(TRIO)を提案する。 既存のほとんどの方法とは異なり、TRIOはマルコフのタスク進化過程を想定していない。 我々は,異なるシミュレーション問題に対するアルゴリズムの評価を行い,競争ベースラインよりも優れた性能を示す。
  論文  参考訳（メタデータ） (2021-05-18T21:19:41Z)
• Deep Reinforcement Learning amidst Lifelong Non-Stationarity [67.24635298387624]
  政治以外のRLアルゴリズムは、寿命の長い非定常性に対処できることを示す。 提案手法は潜在変数モデルを用いて,現在および過去の経験から環境表現を学習する。 また, 生涯の非定常性を示すシミュレーション環境もいくつか導入し, 環境変化を考慮しないアプローチを著しく上回っていることを実証的に確認した。
  論文  参考訳（メタデータ） (2020-06-18T17:34:50Z)
• Robust Reinforcement Learning via Adversarial training with Langevin Dynamics [51.234482917047835]
  本稿では,頑健な強化学習(RL)エージェントを訓練する難しい課題に取り組むために,サンプリング視点を導入する。 本稿では,2人プレイヤポリシー手法のサンプリング版である,スケーラブルな2人プレイヤRLアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-02-14T14:59:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。