論文の概要: Beyond The Rainbow: High Performance Deep Reinforcement Learning On A Desktop PC

• arxiv url: http://arxiv.org/abs/2411.03820v1
• Date: Wed, 06 Nov 2024 10:42:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-07 19:24:16.687995
• Title: Beyond The Rainbow: High Performance Deep Reinforcement Learning On A Desktop PC
• Title（参考訳）: ハイパフォーマンスなDeep Reinforcement LearningをデスクトップPCで体験できる「Beyond the Rainbow」
• Authors: Tyler Clark, Mark Towers, Christine Evers, Jonathon Hare,
• Abstract要約: 本稿では,RL文学からレインボーDQNへの6つの改良点を統合する新しいアルゴリズムであるBeyond The Rainbow(BTR)を提案する。 我々は、複雑な3Dゲームを扱うBTRの能力を実証し、スーパーマリオギャラクシー、マリオカート、モルタルコンバットをプレイするエージェントのトレーニングに成功した。 計算効率を念頭に設計したBTRでは、12時間以内に2億のAtariフレーム上のデスクトップPCでエージェントを訓練することができる。
• 参考スコア（独自算出の注目度）: 6.812247730094933
• License:
• Abstract: Rainbow Deep Q-Network (DQN) demonstrated combining multiple independent enhancements could significantly boost a reinforcement learning (RL) agent's performance. In this paper, we present "Beyond The Rainbow" (BTR), a novel algorithm that integrates six improvements from across the RL literature to Rainbow DQN, establishing a new state-of-the-art for RL using a desktop PC, with a human-normalized interquartile mean (IQM) of 7.4 on atari-60. Beyond Atari, we demonstrate BTR's capability to handle complex 3D games, successfully training agents to play Super Mario Galaxy, Mario Kart, and Mortal Kombat with minimal algorithmic changes. Designing BTR with computational efficiency in mind, agents can be trained using a desktop PC on 200 million Atari frames within 12 hours. Additionally, we conduct detailed ablation studies of each component, analzying the performance and impact using numerous measures.
• Abstract（参考訳）: Rainbow Deep Q-Network (DQN)は、複数の独立した拡張を組み合わせることで、強化学習(RL)エージェントの性能を大幅に向上させることを示した。 本稿では,RL文献からRainbow DQNへの6つの改良を取り入れた新しいアルゴリズムであるBeyond The Rainbow (BTR)を提案する。 Atari以外にも、複雑な3Dゲームを扱うBTRの能力、スーパーマリオギャラクシー、マリオカート、モルタルコンバットを最小限のアルゴリズム変更でプレイするエージェントのトレーニングを成功させています。 計算効率を念頭に置いてBTRを設計したエージェントは、12時間以内に2億のAtariフレーム上のデスクトップPCを使って訓練することができる。 さらに,各成分の詳細なアブレーション研究を行い,多数の測定値を用いて性能と影響を鎮静する。

関連論文リスト

• Transforming Game Play: A Comparative Study of DCQN and DTQN Architectures in Reinforcement Learning [0.0]
  本稿では,3つの異なるゲーム間での畳み込みニューラルネットワーク(CNN)とトランスフォーマーアーキテクチャを用いたディープQ-Networksの性能について検討する。 本研究の目的は、AtariゲームAsteroids, Space Invaders, CentipedeでDCQNとDTQNのパフォーマンスをベンチマークすることで、このギャップを埋めることである。
  論文  参考訳（メタデータ） (2024-10-14T16:08:15Z)
• Read and Reap the Rewards: Learning to Play Atari with the Help of Instruction Manuals [69.76245723797368]
  Read and Rewardは、Atariゲーム開発者がリリースしたマニュアルを読むことで、Atariゲーム上のRLアルゴリズムを高速化する。 各種RLアルゴリズムは,設計支援による性能向上とトレーニング速度の向上を実現している。
  論文  参考訳（メタデータ） (2023-02-09T05:47:03Z)
• ElegantRL-Podracer: Scalable and Elastic Library for Cloud-Native Deep Reinforcement Learning [141.58588761593955]
  クラウドネイティブな深層強化学習のためのライブラリElegantRL-podracerを提案する。 数百万のコアを効率的にサポートし、複数のレベルで大規模な並列トレーニングを実行する。 低レベルでは、各ポッドは1つのGPUで7,000近いGPUコアをフル活用することで、エージェントと環境のインタラクションを並列にシミュレートする。
  論文  参考訳（メタデータ） (2021-12-11T06:31:21Z)
• Godot Reinforcement Learning Agents [10.413185820687021]
  Godot RL Agentsインターフェースは、挑戦的な2Dおよび3D環境におけるエージェントの動作の設計、生成、学習を可能にする。 このフレームワークは、研究者やゲームデザイナが、離散的、連続的、混合的なアクション空間を持つ環境を作成できる汎用的なツールである。
  論文  参考訳（メタデータ） (2021-12-07T11:24:34Z)
• Architecting and Visualizing Deep Reinforcement Learning Models [77.34726150561087]
  深層強化学習(Deep Reinforcement Learning, DRL)は、コンピュータが相互にコミュニケーションする方法を教えることを目的とした理論である。 本稿では,新しいAtari Pongゲーム環境,ポリシーグラデーションに基づくDRLモデル,リアルタイムネットワーク可視化,そしてDRL推論の直観と認識を構築するためのインタラクティブディスプレイを提案する。
  論文  参考訳（メタデータ） (2021-12-02T17:48:26Z)
• Human-Level Control without Server-Grade Hardware [20.531576904743282]
  Deep Q-Network (DQN)は強化学習の大きなマイルストーンとなった。 DQNのAtari 2600実験は、完全な複製に費用がかかるままである。 このことは、最先端のハードウェアや大規模なクラウドコンピューティングリソースにアクセスできない研究者にとって、大きな障壁となる。 NVIDIA GeForce GTX 1080 GPUを1つだけで実装することで、200万フレームのAtari実験のトレーニング時間を25時間から9時間に短縮します。
  論文  参考訳（メタデータ） (2021-11-01T21:15:01Z)
• Explaining Deep Reinforcement Learning Agents In The Atari Domain through a Surrogate Model [78.69367679848632]
  深部RLエージェントの説明を導出するための軽量で効果的な手法について述べる。 提案手法は,RLエージェントの画素ベース入力から解釈可能な知覚的入力表現への変換に依存する。 次に、ターゲットの深いRLエージェントの挙動を再現するために、それ自身解釈可能な代理モデルを訓練する。
  論文  参考訳（メタデータ） (2021-10-07T05:01:44Z)
• RAPID-RL: A Reconfigurable Architecture with Preemptive-Exits for Efficient Deep-Reinforcement Learning [7.990007201671364]
  効率的な深部RL(RAPID-RL)のためのプリエンプティブ出口を持つ再構成可能なアーキテクチャを提案する。 RAPID-RLは入力の難易度に基づいてプリエンプティブ層の条件付き活性化を可能にする。 RAPID-RL は Atari (Drone Navigation) タスクにおいて 0.88x (0.91x) 以上の性能を維持しながら, 演算数 0.34x (0.25x) を発生させることを示す。
  論文  参考訳（メタデータ） (2021-09-16T21:30:40Z)
• DeepCrawl: Deep Reinforcement Learning for Turn-based Strategy Games [137.86426963572214]
  Deep CrawlはiOSとAndroid用の完全にプレイ可能なRogueライクなプロトタイプで、すべてのエージェントがDeep Reinforcement Learning (DRL)を使用してトレーニングされたポリシーネットワークによって制御される。 本研究の目的は、近年のDRLの進歩が、ビデオゲームにおける非プレイヤーキャラクターに対する説得力のある行動モデルの開発に有効であるかどうかを理解することである。
  論文  参考訳（メタデータ） (2020-12-03T13:53:29Z)
• Agent57: Outperforming the Atari Human Benchmark [15.75730239983062]
  Atariゲームは強化学習における長年のベンチマークだ。 本稿では,Atari 57 ゲームにおいて,Atari 57 ゲームにおいてヒトの標準ベンチマークを上回り,初の深度 RL エージェントである Agent57 を提案する。
  論文  参考訳（メタデータ） (2020-03-30T11:33:16Z)
• Learn to Interpret Atari Agents [106.21468537372995]
  リージョン・センシティブ・レインボー(Rerea-sensitive Rainbow、RS-Rainbow)は、Qネットワークの強力なエージェントであるレインボーをベースとした、エンドツーエンドのトレーニング可能なネットワークである。 提案するエージェントは地域感応性レインボー (RS-Rainbow) と名付けられ, 強力なQネットワークエージェントであるレインボーをベースとしたエンド・ツー・エンドのトレーニング可能なネットワークである。
  論文  参考訳（メタデータ） (2018-12-29T03:35:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。