論文の概要: Parallel $Q$-Learning: Scaling Off-policy Reinforcement Learning under Massively Parallel Simulation

• arxiv url: http://arxiv.org/abs/2307.12983v1
• Date: Mon, 24 Jul 2023 17:59:37 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-25 13:14:39.685003
• Title: Parallel $Q$-Learning: Scaling Off-policy Reinforcement Learning under Massively Parallel Simulation
• Title（参考訳）: parallel $q$-learning: 超並列シミュレーションによるオフポリシー強化学習のスケーリング
• Authors: Zechu Li, Tao Chen, Zhang-Wei Hong, Anurag Ajay, Pulkit Agrawal
• Abstract要約: 強化学習は、大量のトレーニングデータを必要とするため、複雑なタスクに時間を要する。 アイザック・ギムのようなGPUベースのシミュレーションの最近の進歩は、コモディティGPU上で何千回もデータを収集している。 本稿では,PPOを壁面時間で上回る並列$Q$-Learning方式を提案する。
• 参考スコア（独自算出の注目度）: 17.827002299991285
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reinforcement learning is time-consuming for complex tasks due to the need for large amounts of training data. Recent advances in GPU-based simulation, such as Isaac Gym, have sped up data collection thousands of times on a commodity GPU. Most prior works used on-policy methods like PPO due to their simplicity and ease of scaling. Off-policy methods are more data efficient but challenging to scale, resulting in a longer wall-clock training time. This paper presents a Parallel $Q$-Learning (PQL) scheme that outperforms PPO in wall-clock time while maintaining superior sample efficiency of off-policy learning. PQL achieves this by parallelizing data collection, policy learning, and value learning. Different from prior works on distributed off-policy learning, such as Apex, our scheme is designed specifically for massively parallel GPU-based simulation and optimized to work on a single workstation. In experiments, we demonstrate that $Q$-learning can be scaled to \textit{tens of thousands of parallel environments} and investigate important factors affecting learning speed. The code is available at https://github.com/Improbable-AI/pql.
• Abstract（参考訳）: 強化学習は、大量のトレーニングデータを必要とするため、複雑なタスクに時間を要する。 アイザック・ギムのようなGPUベースのシミュレーションの最近の進歩は、コモディティGPU上で何千回もデータを収集している。 これまでのほとんどの作業では、単純さとスケーリングの容易さから、PPOのような政治手法を使用していました。 オフポリシーメソッドの方がデータ効率が良いが、スケールが難しいため、ウォールクロックのトレーニング時間が長くなる。 本稿では,オフ・ポリティカル・ラーニングの優れたサンプル・効率を維持しつつ,壁時計時間におけるppoを上回る並列$q$-learning (pql)スキームを提案する。 PQLは、データ収集、ポリシ学習、バリュー学習を並列化する。 apexのような分散オフポリシー学習の先行研究とは異なり、このスキームはgpuベースの超並列シミュレーション用に特別に設計されており、1つのワークステーションで動作するように最適化されている。 実験では、$Q$-learning を \textit{tens of thousands 並列環境にスケールできることを示し、学習速度に影響を及ぼす重要な要因について検討した。 コードはhttps://github.com/Improbable-AI/pqlで入手できる。

関連論文リスト

• Faster Multi-GPU Training with PPLL: A Pipeline Parallelism Framework Leveraging Local Learning [8.628231789161577]
  本稿では,ローカル学習アルゴリズムを活用する新しいフレームワークPPLL(Pipeline Parallelism based on Local Learning)を提案する。 GPU間のデータ転送を管理するキューを利用することで、PPLLはシームレスなクロスGPU通信を保証する。 その結果,PPLLは従来のパイプライン並列処理と同等あるいはそれ以上の訓練速度を達成しつつ,局所的な学習手法の学習速度を大幅に向上することを示した。
  論文  参考訳（メタデータ） (2024-11-19T08:09:18Z)
• Autonomous Vehicle Controllers From End-to-End Differentiable Simulation [60.05963742334746]
  そこで我々は,AVコントローラのトレーニングにAPG(analytic Policy gradients)アプローチを適用可能なシミュレータを提案し,その設計を行う。 提案するフレームワークは, エージェントがより根底的なポリシーを学ぶのを助けるために, 環境力学の勾配を役立てる, エンド・ツー・エンドの訓練ループに, 微分可能シミュレータを組み込む。 ダイナミクスにおけるパフォーマンスとノイズに対する堅牢性の大幅な改善と、全体としてより直感的なヒューマンライクな処理が見られます。
  論文  参考訳（メタデータ） (2024-09-12T11:50:06Z)
• SAPG: Split and Aggregate Policy Gradients [37.433915947580076]
  本稿では,大規模環境をチャンクに分割し,重要サンプリングにより融合させることにより,大規模環境を効果的に活用できる新しいオンラインRLアルゴリズムを提案する。 我々のアルゴリズムはSAPGと呼ばれ、バニラPPOや他の強力なベースラインが高い性能を達成できない様々な困難環境において、非常に高い性能を示す。
  論文  参考訳（メタデータ） (2024-07-29T17:59:50Z)
• Automatic Task Parallelization of Dataflow Graphs in ML/DL models [0.0]
  本稿では,MLデータフローグラフに固有の並列パスを利用する線形クラスタリング手法を提案する。 我々はONNX形式で入力MLモデルから可読かつ実行可能な並列Pytorch+Pythonコードを生成する。 いくつかのMLグラフの予備結果は、シリアル実行よりも1.9$times$スピードアップである。
  論文  参考訳（メタデータ） (2023-08-22T04:54:30Z)
• In Situ Framework for Coupling Simulation and Machine Learning with Application to CFD [51.04126395480625]
  近年、流体力学計算を容易にする機械学習(ML)の多くの成功例が報告されている。 シミュレーションが大きくなるにつれて、従来のオフライン学習のための新しいトレーニングデータセットの生成は、I/Oとストレージのボトルネックを生み出します。 この作業は、この結合を単純化し、異種クラスタでのその場トレーニングと推論を可能にするソリューションを提供する。
  論文  参考訳（メタデータ） (2023-06-22T14:07:54Z)
• PARTIME: Scalable and Parallel Processing Over Time with Deep Neural Networks [68.96484488899901]
  PartIMEは、データが継続的にストリーミングされるたびにニューラルネットワークを高速化するように設計されたライブラリです。 PartIMEは、ストリームから利用可能になった時点で、各データサンプルの処理を開始する。 オンライン学習において、PartialIMEと古典的な非並列ニューラル計算を経験的に比較するために実験が行われる。
  論文  参考訳（メタデータ） (2022-10-17T14:49:14Z)
• SOLIS -- The MLOps journey from data acquisition to actionable insights [62.997667081978825]
  本稿では,基本的なクロスプラットフォームテンソルフレームワークとスクリプト言語エンジンを使用しながら,すべての要件をサポートする統合デプロイメントパイプラインとフリー・ツー・オペレートアプローチを提案する。 しかし、このアプローチは、実際のプロダクショングレードシステムに機械学習機能を実際にデプロイするために必要な手順やパイプラインを提供していない。
  論文  参考訳（メタデータ） (2021-12-22T14:45:37Z)
• Efficient Device Scheduling with Multi-Job Federated Learning [64.21733164243781]
  本稿では,複数のジョブの並列学習プロセスを実現するための,新しいマルチジョブフェデレーション学習フレームワークを提案する。 コストを最小化しつつ、複数のジョブに対してデバイスをスケジュールする強化学習法とベイズ最適化法を提案する。 提案手法は,トレーニング時間(最大8.67倍高速)と精度(最大44.6%高)において,ベースラインアプローチよりも有意に優れていた。
  論文  参考訳（メタデータ） (2021-12-11T08:05:11Z)
• WarpDrive: Extremely Fast End-to-End Deep Multi-Agent Reinforcement Learning on a GPU [15.337470862838794]
  我々は、単一のGPU上でエンドツーエンドのマルチエージェントRLを実装する、柔軟で軽量で使いやすいオープンソースのRLフレームワークであるWarpDriveを紹介します。 我々の設計ではシミュレーションとエージェントを並列に実行し、GPU上に1つのシミュレーションデータストアを配置して安全に更新する。 WarpDriveは、ベンチマークTagシミュレーションにおいて、2000の環境と1000のエージェント(CPU実装と比べて少なくとも100倍高いスループット)で290万の環境ステップ/秒を生成する。
  論文  参考訳（メタデータ） (2021-08-31T16:59:27Z)
• Large Batch Simulation for Deep Reinforcement Learning [101.01408262583378]
  我々は,視覚複雑な3次元環境における深層強化学習に基づく学習を,事前作業よりも2桁高速化する。 単一のGPUマシンで1秒間に19,000フレーム以上の経験と最大72,000フレーム/秒のエンドツーエンドのトレーニング速度を実現します。 バッチシミュレーションと性能最適化を組み合わせることで、1つのGPU上の複雑な3D環境において、従来の最先端システムでトレーニングされたエージェントの精度の97%から97%まで、ポイントナビゲーションエージェントをトレーニングできることを実証する。
  論文  参考訳（メタデータ） (2021-03-12T00:22:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。