論文の概要: The State of Sparse Training in Deep Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2206.10369v1
• Date: Fri, 17 Jun 2022 14:08:00 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-26 22:26:36.308585
• Title: The State of Sparse Training in Deep Reinforcement Learning
• Title（参考訳）: 深層強化学習におけるスパーストレーニングの現状
• Authors: Laura Graesser, Utku Evci, Erich Elsen, Pablo Samuel Castro
• Abstract要約: スパースニューラルネットワークの使用は近年急速に増加しており、特にコンピュータビジョンにおいてである。 彼らの魅力は、トレーニングと保存に必要なパラメータの削減と、学習効率の向上にある。 我々は,様々な深層強化学習エージェントや環境に,既存のスパーストレーニング技術を応用するための体系的な調査を行う。
• 参考スコア（独自算出の注目度）: 23.034856834801346
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The use of sparse neural networks has seen rapid growth in recent years, particularly in computer vision. Their appeal stems largely from the reduced number of parameters required to train and store, as well as in an increase in learning efficiency. Somewhat surprisingly, there have been very few efforts exploring their use in Deep Reinforcement Learning (DRL). In this work we perform a systematic investigation into applying a number of existing sparse training techniques on a variety of DRL agents and environments. Our results corroborate the findings from sparse training in the computer vision domain - sparse networks perform better than dense networks for the same parameter count - in the DRL domain. We provide detailed analyses on how the various components in DRL are affected by the use of sparse networks and conclude by suggesting promising avenues for improving the effectiveness of sparse training methods, as well as for advancing their use in DRL.
• Abstract（参考訳）: スパースニューラルネットワークの使用は近年急速に増加しており、特にコンピュータビジョンにおいてである。 彼らの魅力は、トレーニングと保存に必要なパラメータの数を減らすことと、学習効率の向上に起因している。 驚くべきことに、Deep Reinforcement Learning (DRL)での使用を探求する取り組みはほとんどない。 本研究は,様々なDRLエージェントや環境に対して,既存のスパーストレーニング技術を適用するための体系的な調査を行う。 計算機ビジョン領域ネットワークにおけるスパーストレーニングの結果は,DRL領域において,同じパラメータ数に対して高密度ネットワークよりも優れていた。 本稿では,DRLの各種コンポーネントがスパースネットワークの利用によってどのように影響するかを詳細に分析し,スパーストレーニング手法の有効性の向上やDRLの活用の促進に期待できる方法を提案する。

関連論文リスト

• Solving Large-scale Spatial Problems with Convolutional Neural Networks [88.31876586547848]
  大規模空間問題に対する学習効率を向上させるために移動学習を用いる。 畳み込みニューラルネットワーク (CNN) は, 信号の小さな窓で訓練できるが, 性能劣化の少ない任意の大信号で評価できる。
  論文  参考訳（メタデータ） (2023-06-14T01:24:42Z)
• Pretraining in Deep Reinforcement Learning: A Survey [17.38360092869849]
  事前訓練は伝達可能な知識の獲得に有効であることが示されている。 強化学習の性質から, この分野でのプレトレーニングには, 独特な課題が伴う。
  論文  参考訳（メタデータ） (2022-11-08T02:17:54Z)
• Exploring Low Rank Training of Deep Neural Networks [49.18122605463354]
  低ランクのディープニューラルネットワークのトレーニングは、メモリ消費とトレーニング時間の両方の観点から、非リファクタリングトレーニングよりも効率がよい。 我々は、実際にうまく機能する技術を分析し、GPT2のようなモデルに対する広範囲な改善を通じて、この分野における共通の信念を偽示する証拠を提供する。
  論文  参考訳（メタデータ） (2022-09-27T17:43:45Z)
• Deep Reinforcement Learning with Spiking Q-learning [51.386945803485084]
  スパイクニューラルネットワーク(SNN)は、少ないエネルギー消費で人工知能(AI)を実現することが期待されている。 SNNと深部強化学習(RL)を組み合わせることで、現実的な制御タスクに有望なエネルギー効率の方法を提供する。
  論文  参考訳（メタデータ） (2022-01-21T16:42:11Z)
• Single-Shot Pruning for Offline Reinforcement Learning [47.886329599997474]
  深層強化学習(Deep Reinforcement Learning, RL)は、複雑な現実世界の問題を解決するための強力なフレームワークである。 この問題に対処するひとつの方法は、必要なパラメータだけを残したニューラルネットワークをプルークすることです。 我々は,RLと単発プルーニングのギャップを埋め,オフラインRLに対する一般的なプルーニング手法を提案する。
  論文  参考訳（メタデータ） (2021-12-31T18:10:02Z)
• On The Transferability of Deep-Q Networks [6.822707222147354]
  Transfer Learningは、ディープニューラルネットワークのトレーニングの成功を特徴付けるハードルを克服することのできる、効率的な機械学習パラダイムである。 TLの利用は、SL(Supervised Learning)において十分に確立され、成功した訓練実践であるが、DRL(Deep Reinforcement Learning)の適用性は稀である。 本稿では,3種類のDeep-Q NetworksのDRLベンチマークおよび新しい制御タスクセット上での転送可能性について検討する。
  論文  参考訳（メタデータ） (2021-10-06T10:29:37Z)
• Improving Computational Efficiency in Visual Reinforcement Learning via Stored Embeddings [89.63764845984076]
  効率的な強化学習のためのストアド埋め込み(SEER)について紹介します。 SEERは、既存の非政治深層強化学習方法の簡単な修正です。 計算とメモリを大幅に節約しながら、SEERがRLizableエージェントのパフォーマンスを低下させないことを示します。
  論文  参考訳（メタデータ） (2021-03-04T08:14:10Z)
• Training Larger Networks for Deep Reinforcement Learning [18.193180866998333]
  ネットワーク容量の増加は性能を向上しないことを示す。 本稿では,1)DenseNet接続の広いネットワーク,2)RLのトレーニングから表現学習を分離する,3)オーバーフィッティング問題を軽減するための分散トレーニング手法を提案する。 この3倍の手法を用いることで、非常に大きなネットワークをトレーニングでき、性能が大幅に向上することを示す。
  論文  参考訳（メタデータ） (2021-02-16T02:16:54Z)
• Sparsity in Deep Learning: Pruning and growth for efficient inference and training in neural networks [78.47459801017959]
  Sparsityは、モバイル機器に適合する通常のネットワークのメモリフットプリントを減らすことができる。 ニューラルネットワークの要素を除去および追加するためのアプローチ、モデルの疎性を達成するための異なるトレーニング戦略、実際に疎性を利用するメカニズムについて説明する。
  論文  参考訳（メタデータ） (2021-01-31T22:48:50Z)
• Can Increasing Input Dimensionality Improve Deep Reinforcement Learning? [15.578423102700764]
  本稿では,ニューラルネットを用いたオンライン特徴抽出ネットワーク(OFENet)を提案する。 我々はRLエージェントが低次元状態観測よりも高次元表現でより効率的に学習できることを示す。
  論文  参考訳（メタデータ） (2020-03-03T16:52:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。