論文の概要: Training Larger Networks for Deep Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2102.07920v1
• Date: Tue, 16 Feb 2021 02:16:54 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-17 15:12:54.867882
• Title: Training Larger Networks for Deep Reinforcement Learning
• Title（参考訳）: 深層強化学習のための大規模ネットワークの訓練
• Authors: Kei Ota, Devesh K. Jha, Asako Kanezaki
• Abstract要約: ネットワーク容量の増加は性能を向上しないことを示す。 本稿では,1)DenseNet接続の広いネットワーク,2)RLのトレーニングから表現学習を分離する,3)オーバーフィッティング問題を軽減するための分散トレーニング手法を提案する。 この3倍の手法を用いることで、非常に大きなネットワークをトレーニングでき、性能が大幅に向上することを示す。
• 参考スコア（独自算出の注目度）: 18.193180866998333
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The success of deep learning in the computer vision and natural language processing communities can be attributed to training of very deep neural networks with millions or billions of parameters which can then be trained with massive amounts of data. However, similar trend has largely eluded training of deep reinforcement learning (RL) algorithms where larger networks do not lead to performance improvement. Previous work has shown that this is mostly due to instability during training of deep RL agents when using larger networks. In this paper, we make an attempt to understand and address training of larger networks for deep RL. We first show that naively increasing network capacity does not improve performance. Then, we propose a novel method that consists of 1) wider networks with DenseNet connection, 2) decoupling representation learning from training of RL, 3) a distributed training method to mitigate overfitting problems. Using this three-fold technique, we show that we can train very large networks that result in significant performance gains. We present several ablation studies to demonstrate the efficacy of the proposed method and some intuitive understanding of the reasons for performance gain. We show that our proposed method outperforms other baseline algorithms on several challenging locomotion tasks.
• Abstract（参考訳）: コンピュータビジョンと自然言語処理コミュニティにおけるディープラーニングの成功は、数百万から数十億のパラメータを持つ非常に深いニューラルネットワークのトレーニングによるもので、大量のデータでトレーニングすることができる。 しかし、同様の傾向は、大規模ネットワークが性能改善に繋がらない深層強化学習(RL)アルゴリズムの訓練をほとんど妨げている。 従来の研究によると、これは大きなネットワークを使用する場合、ディープRLエージェントのトレーニング中に不安定である。 本論文では,深層RLのための大規模ネットワークにおけるトレーニングの理解と対処を試みる。 まず,ネットワーク容量の増加によって性能が向上しないことを示す。 そこで本研究では,1)密網接続の広いネットワーク,2)rlのトレーニングから表現学習を分離する手法,3)過剰フィッティング問題を緩和するための分散学習手法を提案する。 この3倍の手法を用いることで、非常に大きなネットワークをトレーニングでき、性能が大幅に向上することを示す。 提案手法の有効性と性能向上の理由を直感的に理解するためのいくつかのアブレーション研究を紹介します。 提案手法は,複数の課題に対して,他のベースラインアルゴリズムを上回っていることを示した。

関連論文リスト

• Deep Fusion: Efficient Network Training via Pre-trained Initializations [3.9146761527401424]
  我々は、より小さなネットワークの初期化を事前訓練したネットワークトレーニングの効率的なアプローチであるDeep Fusionを提案する。 我々の実験は、Deep Fusionが訓練プロセスを加速するだけでなく、計算要求を減少させる実用的で効果的なアプローチであることを示す。 我々は,Deep Fusionの最適利用を導く理論的枠組みを検証し,トレーニング時間と資源消費の両方を著しく削減することを示した。
  論文  参考訳（メタデータ） (2023-06-20T21:30:54Z)
• Solving Large-scale Spatial Problems with Convolutional Neural Networks [88.31876586547848]
  大規模空間問題に対する学習効率を向上させるために移動学習を用いる。 畳み込みニューラルネットワーク (CNN) は, 信号の小さな窓で訓練できるが, 性能劣化の少ない任意の大信号で評価できる。
  論文  参考訳（メタデータ） (2023-06-14T01:24:42Z)
• Single-Shot Pruning for Offline Reinforcement Learning [47.886329599997474]
  深層強化学習(Deep Reinforcement Learning, RL)は、複雑な現実世界の問題を解決するための強力なフレームワークである。 この問題に対処するひとつの方法は、必要なパラメータだけを残したニューラルネットワークをプルークすることです。 我々は,RLと単発プルーニングのギャップを埋め,オフラインRLに対する一般的なプルーニング手法を提案する。
  論文  参考訳（メタデータ） (2021-12-31T18:10:02Z)
• Recursive Least-Squares Estimator-Aided Online Learning for Visual Tracking [58.14267480293575]
  オフライン学習を必要とせず、簡単な効果的なオンライン学習手法を提案する。 これは、モデルが以前見たオブジェクトに関する知識を記憶するための、内蔵されたメモリ保持メカニズムを可能にする。 我々は、RT-MDNetにおける多層パーセプトロンと、DiMPにおける畳み込みニューラルネットワークの追跡のためのオンライン学習ファミリーにおける2つのネットワークに基づくアプローチを評価する。
  論文  参考訳（メタデータ） (2021-12-28T06:51:18Z)
• On The Transferability of Deep-Q Networks [6.822707222147354]
  Transfer Learningは、ディープニューラルネットワークのトレーニングの成功を特徴付けるハードルを克服することのできる、効率的な機械学習パラダイムである。 TLの利用は、SL(Supervised Learning)において十分に確立され、成功した訓練実践であるが、DRL(Deep Reinforcement Learning)の適用性は稀である。 本稿では,3種類のDeep-Q NetworksのDRLベンチマークおよび新しい制御タスクセット上での転送可能性について検討する。
  論文  参考訳（メタデータ） (2021-10-06T10:29:37Z)
• Dynamic Sparse Training for Deep Reinforcement Learning [36.66889208433228]
  我々は,ニューラルネットワークをスクラッチから切り離した深層強化学習エージェントを動的に訓練する試みを初めて提案する。 私たちのアプローチは、既存の深層強化学習アルゴリズムに簡単に統合できます。 我々は,オープンAI体育連続制御タスクに対するアプローチを評価した。
  論文  参考訳（メタデータ） (2021-06-08T09:57:20Z)
• Sparsity in Deep Learning: Pruning and growth for efficient inference and training in neural networks [78.47459801017959]
  Sparsityは、モバイル機器に適合する通常のネットワークのメモリフットプリントを減らすことができる。 ニューラルネットワークの要素を除去および追加するためのアプローチ、モデルの疎性を達成するための異なるトレーニング戦略、実際に疎性を利用するメカニズムについて説明する。
  論文  参考訳（メタデータ） (2021-01-31T22:48:50Z)
• Go Wide, Then Narrow: Efficient Training of Deep Thin Networks [62.26044348366186]
  本稿では,深層ネットワークを理論的保証で訓練する効率的な手法を提案する。 我々の方法でのトレーニングにより、ResNet50はResNet101を上回り、BERT BaseはBERT Largeに匹敵する。
  論文  参考訳（メタデータ） (2020-07-01T23:34:35Z)
• Can Increasing Input Dimensionality Improve Deep Reinforcement Learning? [15.578423102700764]
  本稿では,ニューラルネットを用いたオンライン特徴抽出ネットワーク(OFENet)を提案する。 我々はRLエージェントが低次元状態観測よりも高次元表現でより効率的に学習できることを示す。
  論文  参考訳（メタデータ） (2020-03-03T16:52:05Z)
• Large-Scale Gradient-Free Deep Learning with Recursive Local Representation Alignment [84.57874289554839]
  大規模データセット上でディープニューラルネットワークをトレーニングするには、重要なハードウェアリソースが必要である。 これらのネットワークをトレーニングするためのワークホースであるバックプロパゲーションは、本質的に並列化が難しいシーケンシャルなプロセスである。 本稿では、深層ネットワークのトレーニングに使用できるバックプロップに代わる、神経生物学的に有望な代替手段を提案する。
  論文  参考訳（メタデータ） (2020-02-10T16:20:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。