論文の概要: Network Sparsity Unlocks the Scaling Potential of Deep Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2506.17204v1
• Date: Fri, 20 Jun 2025 17:54:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-23 19:00:05.581586
• Title: Network Sparsity Unlocks the Scaling Potential of Deep Reinforcement Learning
• Title（参考訳）: ネットワークスポーサリティが深層強化学習のスケーリング可能性を解き放つ
• Authors: Guozheng Ma, Lu Li, Zilin Wang, Li Shen, Pierre-Luc Bacon, Dacheng Tao,
• Abstract要約: 静的ネットワークの疎結合を単独で導入することで,最先端アーキテクチャの高密度化を超えて,さらなるスケーリング可能性を実現することができることを示す。 解析の結果,高密度DRLネットワークをネーティブにスケールアップするのとは対照的に,疎ネットワークは高いパラメータ効率とネットワーク表現性を両立させることがわかった。
• 参考スコア（独自算出の注目度）: 57.3885832382455
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Effectively scaling up deep reinforcement learning models has proven notoriously difficult due to network pathologies during training, motivating various targeted interventions such as periodic reset and architectural advances such as layer normalization. Instead of pursuing more complex modifications, we show that introducing static network sparsity alone can unlock further scaling potential beyond their dense counterparts with state-of-the-art architectures. This is achieved through simple one-shot random pruning, where a predetermined percentage of network weights are randomly removed once before training. Our analysis reveals that, in contrast to naively scaling up dense DRL networks, such sparse networks achieve both higher parameter efficiency for network expressivity and stronger resistance to optimization challenges like plasticity loss and gradient interference. We further extend our evaluation to visual and streaming RL scenarios, demonstrating the consistent benefits of network sparsity.
• Abstract（参考訳）: 深層強化学習モデルを効果的にスケールアップすることは、トレーニング中のネットワークの病理が原因で、周期的リセットや階層正規化などのアーキテクチャ上の進歩など、さまざまな目的の介入を動機付けることで、非常に難しいことが判明した。 より複雑な変更を追求する代わりに、静的ネットワークの疎結合を導入するだけで、最先端のアーキテクチャと密接な関係を越えて、さらなるスケーリングの可能性を解き放つことができることを示す。 これは単純なワンショットランダムプルーニングによって達成され、トレーニング前にネットワーク重量の所定の割合をランダムに除去する。 解析の結果,高密度DRLネットワークを経時的にスケールアップするのとは対照的に,ネットワーク表現率の高いパラメータ効率と,可塑性損失や勾配干渉といった最適化課題に対する強い抵抗性を実現していることがわかった。 我々はさらに、評価を視覚的およびストリーミング的なRLシナリオに拡張し、ネットワーク空間の一貫性の利点を実証する。

関連論文リスト

• Auto-Compressing Networks [59.83547898874152]
  本稿では,各層からの付加的な長フィードフォワード接続が従来の短残コネクションに取って代わるアーキテクチャ変種であるAuto-Nets(ACNs)を紹介する。 ACNは、トレーニング中に情報を有機的に圧縮するネットワークの能力である、"auto-compression"(自動圧縮)という独自の特性を示します。 その結果,ACNは残差ネットワークに比べて耐雑音性が向上し,低データ設定性能が向上し,破滅的忘れを軽減できることがわかった。
  論文  参考訳（メタデータ） (2025-06-11T13:26:09Z)
• Analyzing and Improving the Training Dynamics of Diffusion Models [36.37845647984578]
  一般的なADM拡散モデルアーキテクチャにおいて、不均一かつ非効率なトレーニングの原因をいくつか特定し、修正する。 この哲学の体系的な応用は、観測されたドリフトと不均衡を排除し、同じ計算複雑性でネットワークをかなり良くする。
  論文  参考訳（メタデータ） (2023-12-05T11:55:47Z)
• Iterative Soft Shrinkage Learning for Efficient Image Super-Resolution [91.3781512926942]
  画像超解像(SR)は、CNNからトランスフォーマーアーキテクチャへの広範なニューラルネットワーク設計を目撃している。 本研究は,市販のネットワーク設計を生かし,基礎となる計算オーバーヘッドを低減するため,超高解像度イテレーションにおけるネットワークプルーニングの可能性について検討する。 本研究では, ランダムネットワークのスパース構造を最適化し, 重要でない重みを小さめに微調整することにより, 反復型軟収縮率(ISS-P)法を提案する。
  論文  参考訳（メタデータ） (2023-03-16T21:06:13Z)
• Dynamics-aware Adversarial Attack of Adaptive Neural Networks [75.50214601278455]
  適応型ニューラルネットワークの動的対向攻撃問題について検討する。 本稿では,LGM(Leaded Gradient Method)を提案する。 我々のLGMは、動的無意識攻撃法と比較して、優れた敵攻撃性能を達成している。
  論文  参考訳（メタデータ） (2022-10-15T01:32:08Z)
• SIRe-Networks: Skip Connections over Interlaced Multi-Task Learning and Residual Connections for Structure Preserving Object Classification [28.02302915971059]
  本稿では、オブジェクト分類タスクにおける消失勾配を低減するために、SIReを定義したインターレース型マルチタスク学習戦略を提案する。 提案手法は、自動エンコーダを介して入力画像構造を保存することにより、畳み込みニューラルネットワーク(CNN)を直接改善する。 提案手法を検証するため、SIRe戦略を介して単純なCNNと有名なネットワークの様々な実装を拡張し、CIFAR100データセットで広範囲にテストする。
  論文  参考訳（メタデータ） (2021-10-06T13:54:49Z)
• Sparsity in Deep Learning: Pruning and growth for efficient inference and training in neural networks [78.47459801017959]
  Sparsityは、モバイル機器に適合する通常のネットワークのメモリフットプリントを減らすことができる。 ニューラルネットワークの要素を除去および追加するためのアプローチ、モデルの疎性を達成するための異なるトレーニング戦略、実際に疎性を利用するメカニズムについて説明する。
  論文  参考訳（メタデータ） (2021-01-31T22:48:50Z)
• Improving Neural Network Robustness through Neighborhood Preserving Layers [0.751016548830037]
  このような層を組み込むことができ、効率的にトレーニングできる新しいニューラルネットワークアーキテクチャを実証する。 我々は、設計したネットワークアーキテクチャが、最先端の勾配に基づく攻撃に対してより堅牢であることを実証的に示す。
  論文  参考訳（メタデータ） (2021-01-28T01:26:35Z)
• Exploiting the Full Capacity of Deep Neural Networks while Avoiding Overfitting by Targeted Sparsity Regularization [1.3764085113103217]
  オーバーフィッティングは、比較的小さなデータセットでディープニューラルネットワークをトレーニングする際の最も一般的な問題の1つである。 オーバーフィッティング対策として, 新規な対象空間可視化と正規化戦略を提案する。
  論文  参考訳（メタデータ） (2020-02-21T11:38:17Z)
• Differentiable Sparsification for Deep Neural Networks [0.0]
  本稿では,ディープニューラルネットワークのための完全微分可能なスペーシフィケーション手法を提案する。 提案手法は,ネットワークのスパース化構造と重み付けの両方をエンドツーエンドに学習することができる。 私たちの知る限りでは、これが最初の完全に差別化可能なスパーシフィケーション手法である。
  論文  参考訳（メタデータ） (2019-10-08T03:57:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。