論文の概要: Accelerating Goal-Conditioned RL Algorithms and Research

• arxiv url: http://arxiv.org/abs/2408.11052v2
• Date: Mon, 4 Nov 2024 09:27:54 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-08 06:22:37.608931
• Title: Accelerating Goal-Conditioned RL Algorithms and Research
• Title（参考訳）: ゴール条件付きRLアルゴリズムの高速化と研究
• Authors: Michał Bortkiewicz, Władek Pałucki, Vivek Myers, Tadeusz Dziarmaga, Tomasz Arczewski, Łukasz Kuciński, Benjamin Eysenbach,
• Abstract要約: 自己指導型目標条件強化学習(GCRL)エージェントは、環境との非構造的相互作用において達成された目標から学習することで、新しい行動を発見する。 これらの手法は、低速環境シミュレーションのデータ不足や安定したアルゴリズムの欠如により、同様の成功は得られていない。 我々は、自制的なGCRLのためのベンチマーク(JaxGCRL)をリリースし、研究者は単一のGPU上で数百万の環境ステップでエージェントを訓練することができる。
• 参考スコア（独自算出の注目度）: 17.155006770675904
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Abstract Self-supervision has the potential to transform reinforcement learning (RL), paralleling the breakthroughs it has enabled in other areas of machine learning. While self-supervised learning in other domains aims to find patterns in a fixed dataset, self-supervised goal-conditioned reinforcement learning (GCRL) agents discover new behaviors by learning from the goals achieved during unstructured interaction with the environment. However, these methods have failed to see similar success, both due to a lack of data from slow environment simulations as well as a lack of stable algorithms. We take a step toward addressing both of these issues by releasing a high-performance codebase and benchmark (JaxGCRL) for self-supervised GCRL, enabling researchers to train agents for millions of environment steps in minutes on a single GPU. By utilizing GPU-accelerated replay buffers, environments, and a stable contrastive RL algorithm, we reduce training time by up to $22\times$. Additionally, we assess key design choices in contrastive RL, identifying those that most effectively stabilize and enhance training performance. With this approach, we provide a foundation for future research in self-supervised GCRL, enabling researchers to quickly iterate on new ideas and evaluate them in diverse and challenging environments. Website + Code: https://github.com/MichalBortkiewicz/JaxGCRL
• Abstract（参考訳）: 抽象自己監督(Abstract Self-supervision)は、強化学習(RL)を変換する可能性を秘めている。 他のドメインでの自己教師型学習は、固定データセットのパターンを見つけることを目的としているが、自己教師型目標条件強化学習(GCRL)エージェントは、環境との非構造化相互作用で達成された目標から学習することで、新しい行動を発見する。 しかし、これらの手法は、低速環境シミュレーションのデータ不足と安定したアルゴリズムの欠如により、同様の成功は得られていない。 我々は、自己監督型GCRLのための高性能コードベースとベンチマーク(JaxGCRL)をリリースし、研究者が1つのGPU上で数百万の環境ステップでエージェントを訓練できるようにすることで、これらの問題を解決するための一歩を踏み出した。 GPUアクセラレーションされたリプレイバッファ、環境、および安定したコントラストRLアルゴリズムを利用することで、トレーニング時間を最大22\times$に短縮する。 さらに、比較RLにおける重要な設計選択を評価し、トレーニング性能を最も効果的に安定させ、向上させるものを特定する。 このアプローチにより、我々は、自己監督型GCRLにおける将来の研究の基盤を提供し、研究者が新しいアイデアをすばやく反復し、多様で挑戦的な環境でそれらを評価できるようにする。 Website + Code: https://github.com/MichalBortkiewicz/JaxGCRL

関連論文リスト

• OGBench: Benchmarking Offline Goal-Conditioned RL [72.00291801676684]
  オフライン目標条件強化学習(GCRL)は強化学習における大きな問題である。 オフラインゴール条件RLにおけるアルゴリズム研究のための,新しい高品質なベンチマークであるOGBenchを提案する。
  論文  参考訳（メタデータ） (2024-10-26T06:06:08Z)
• PCGRL+: Scaling, Control and Generalization in Reinforcement Learning Level Generators [2.334978724544296]
  制御可能なデザイナーエージェントを訓練する手段として,PCGRL (Procedural Content Generation) が導入された。 PCGRLはゲームデザイナーにユニークな余裕を提供するが、RLエージェントを訓練する計算集約的なプロセスによって制約される。 我々はJaxにいくつかのPCGRL環境を実装し、GPU上で学習とシミュレーションのあらゆる側面が並列に行われるようにした。
  論文  参考訳（メタデータ） (2024-08-22T16:30:24Z)
• A Benchmark Environment for Offline Reinforcement Learning in Racing Games [54.83171948184851]
  オフライン強化学習(英語: Offline Reinforcement Learning、ORL)は、従来の強化学習(RL)の高サンプリング複雑さを減らすための有望なアプローチである。 本稿では,ORL研究のための新しい環境であるOfflineManiaを紹介する。 TrackManiaシリーズにインスパイアされ、Unity 3Dゲームエンジンで開発された。
  論文  参考訳（メタデータ） (2024-07-12T16:44:03Z)
• SERL: A Software Suite for Sample-Efficient Robotic Reinforcement Learning [85.21378553454672]
  筆者らは,報酬の計算と環境のリセットを行う手法とともに,効率的なオフ・ポリティクス・ディープ・RL法を含むライブラリを開発した。 我々は,PCBボードアセンブリ,ケーブルルーティング,オブジェクトの移動に関するポリシを,非常に効率的な学習を実現することができることを発見した。 これらの政策は完全な成功率またはほぼ完全な成功率、摂動下でさえ極端な堅牢性を実現し、突発的な堅牢性回復と修正行動を示す。
  論文  参考訳（メタデータ） (2024-01-29T10:01:10Z)
• SMORE: Score Models for Offline Goal-Conditioned Reinforcement Learning [33.125187822259186]
  オフライン目標定義強化学習(GCRL)は、スパース報酬関数を使用して、オフラインデータセットから純粋な環境において、複数の目標を達成するための学習を行う。 我々は混合分布マッチングの新しいレンズの下でGCRLに新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2023-11-03T16:19:33Z)
• Mastering the Unsupervised Reinforcement Learning Benchmark from Pixels [112.63440666617494]
  強化学習アルゴリズムは成功するが、エージェントと環境の間の大量の相互作用を必要とする。 本稿では,教師なしモデルベースRLを用いてエージェントを事前学習する手法を提案する。 我々はReal-Word RLベンチマークにおいて、適応中の環境摂動に対する抵抗性を示唆し、堅牢な性能を示す。
  論文  参考訳（メタデータ） (2022-09-24T14:22:29Z)
• REIN-2: Giving Birth to Prepared Reinforcement Learning Agents Using Reinforcement Learning Agents [0.0]
  本稿では,課題学習の目的を課題(あるいは課題の集合)の目的にシフトさせるメタラーニング手法を提案する。 我々のモデルであるREIN-2は、RLフレームワーク内で構成されたメタ学習スキームであり、その目的は、他のRLエージェントの作り方を学ぶメタRLエージェントを開発することである。 従来の最先端のDeep RLアルゴリズムと比較して、実験結果は、人気のあるOpenAI Gym環境において、我々のモデルの顕著な性能を示している。
  論文  参考訳（メタデータ） (2021-10-11T10:13:49Z)
• Discovering Reinforcement Learning Algorithms [53.72358280495428]
  強化学習アルゴリズムは、いくつかのルールの1つに従ってエージェントのパラメータを更新する。 本稿では,更新ルール全体を検出するメタラーニング手法を提案する。 これには、一連の環境と対話することで、"何を予測するか"(例えば、値関数)と"どのように学習するか"の両方が含まれている。
  論文  参考訳（メタデータ） (2020-07-17T07:38:39Z)
• RL Unplugged: A Suite of Benchmarks for Offline Reinforcement Learning [108.9599280270704]
  オフラインのRL手法を評価・比較するためのRL Unpluggedというベンチマークを提案する。 RL Unpluggedにはゲームやシミュレートされたモーター制御問題を含むさまざまな領域のデータが含まれている。 本論文で提示した全タスクのデータと,全アルゴリズムをオープンソースとして公開する。
  論文  参考訳（メタデータ） (2020-06-24T17:14:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。