論文の概要: Rethinking the Role of Dynamic Sparse Training for Scalable Deep Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2510.12096v1
• Date: Tue, 14 Oct 2025 03:03:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-15 21:19:14.969736
• Title: Rethinking the Role of Dynamic Sparse Training for Scalable Deep Reinforcement Learning
• Title（参考訳）: スケーラブルな深層強化学習におけるダイナミックスパーストレーニングの役割の再考
• Authors: Guozheng Ma, Lu Li, Zilin Wang, Haoyu Wang, Shengchao Hu, Leszek Rutkowski, Dacheng Tao,
• Abstract要約: ニューラルネットワークのスケーリングは機械学習における画期的な進歩をもたらしたが、このパラダイムは深層強化学習(DRL)では失敗している。 我々は、動的スパーストレーニング戦略が、アーキテクチャの改善によって確立された主要なスケーラビリティ基盤を補完するモジュール固有の利点を提供することを示す。 アーキテクチャ改善の利点を生かした実践的なフレームワークであるModule-Specific Training (MST) にこれらの知見を精査し、アルゴリズムの修正なしに様々なRLアルゴリズムをまたいだ大幅なスケーラビリティ向上を示す。
• 参考スコア（独自算出の注目度）: 58.533203990515034
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Scaling neural networks has driven breakthrough advances in machine learning, yet this paradigm fails in deep reinforcement learning (DRL), where larger models often degrade performance due to unique optimization pathologies such as plasticity loss. While recent works show that dynamically adapting network topology during training can mitigate these issues, existing studies have three critical limitations: (1) applying uniform dynamic training strategies across all modules despite encoder, critic, and actor following distinct learning paradigms, (2) focusing evaluation on basic architectures without clarifying the relative importance and interaction between dynamic training and architectural improvements, and (3) lacking systematic comparison between different dynamic approaches including sparse-to-sparse, dense-to-sparse, and sparse-to-dense. Through comprehensive investigation across modules and architectures, we reveal that dynamic sparse training strategies provide module-specific benefits that complement the primary scalability foundation established by architectural improvements. We finally distill these insights into Module-Specific Training (MST), a practical framework that further exploits the benefits of architectural improvements and demonstrates substantial scalability gains across diverse RL algorithms without algorithmic modifications.
• Abstract（参考訳）: ニューラルネットワークのスケーリングは、機械学習における画期的な進歩を導いているが、このパラダイムは、大きなモデルが可塑性損失などのユニークな最適化パスのために、しばしばパフォーマンスを低下させる、深層強化学習(DRL)では失敗する。 近年の研究では、トレーニング中のネットワークトポロジの動的適応がこれらの問題を緩和することを示す一方で、(1)エンコーダ、批評家、アクターが異なる学習パラダイムに従わず、全てのモジュールに均一な動的トレーニング戦略を適用すること、(2)動的トレーニングとアーキテクチャ改善の相対的重要性と相互作用を明らかにすることなしに基礎的アーキテクチャを評価すること、(3)スパース・トゥ・スパース、シーク・トゥ・スパース、スパース・トゥ・ダンスなどの異なる動的アプローチの系統的比較を欠くこと、の3つの重要な限界がある。 モジュールとアーキテクチャの包括的な調査を通じて、動的スパーストレーニング戦略が、アーキテクチャの改善によって確立された主要なスケーラビリティ基盤を補完するモジュール固有の利点を提供することを明らかにした。 最終的にこれらの知見を,アーキテクチャ改善のメリットをさらに活用する実践的なフレームワークであるModule-Specific Training (MST)に精査する。

関連論文リスト

• Agentic-KGR: Co-evolutionary Knowledge Graph Construction through Multi-Agent Reinforcement Learning [6.665920297143511]
  Agentic-KGRは、大規模言語モデル(LLM)と知識グラフ(KG)の共進化を可能にする新しいフレームワークである。 提案手法では,(1)事前定義された境界を超えてグラフを体系的に拡張する動的スキーマ拡張機構,(2)連続最適化によるモデルパラメータと知識構造間の相乗的共進化を可能にする検索強化メモリシステム,(3)適応シーケンス最適化による計算複雑性を低減しつつ,重要な情報を保存する学習可能なマルチスケールプロンプト圧縮手法を提案する。
  論文  参考訳（メタデータ） (2025-10-10T09:00:07Z)
• Foundation Model for Skeleton-Based Human Action Understanding [56.89025287217221]
  本稿では,統一骨格に基づくDense Representation Learningフレームワークを提案する。 USDRLはトランスフォーマーベースのDense Spatio-Temporal (DSTE)、Multi-Grained Feature Deorrelation (MG-FD)、Multi-Perspective Consistency Training (MPCT)で構成されている。
  論文  参考訳（メタデータ） (2025-08-18T02:42:16Z)
• Stackelberg Coupling of Online Representation Learning and Reinforcement Learning [45.70357546589222]
  SCORERは,表現とQラーニングを階層型ゲームにおける2つの戦略エージェントとみなす,価値に基づくRLのためのフレームワークである。 提案するSCORERフレームワークは, 2時間スケールのアルゴリズムで解を近似する二段階最適化問題に導かれる。
  論文  参考訳（メタデータ） (2025-08-10T18:36:54Z)
• An Overview of Low-Rank Structures in the Training and Adaptation of Large Models [52.67110072923365]
  近年の研究では、低ランク構造の出現というディープネットワークの広範な現象が明らかになった。 これらの暗黙の低次元パターンは、トレーニングの効率と微調整された大規模モデルを改善するための貴重な洞察を提供する。 深層学習のための低ランク構造の利用の進歩を概観し,その数学的基礎に光を当てる。
  論文  参考訳（メタデータ） (2025-03-25T17:26:09Z)
• Generalized Factor Neural Network Model for High-dimensional Regression [50.554377879576066]
  複素・非線形・雑音に隠れた潜在低次元構造を持つ高次元データセットをモデル化する課題に取り組む。 我々のアプローチは、非パラメトリック回帰、因子モデル、高次元回帰のためのニューラルネットワークの概念のシームレスな統合を可能にする。
  論文  参考訳（メタデータ） (2025-02-16T23:13:55Z)
• Network Dynamics-Based Framework for Understanding Deep Neural Networks [8.376259475051974]
  本稿では,動的システム理論のレンズを通して学習力学を解析するための理論的枠組みを提案する。 ニューラルネットワークの線形性と非線形性の概念をニューロンレベルで2つの基本変換単位を導入することにより再定義する。 異なる変換モードは、重みベクトルの組織、異なる情報抽出のモード、質的に異なる学習フェーズの出現において、異なる集団的挙動をもたらす。
  論文  参考訳（メタデータ） (2025-01-05T04:23:21Z)
• Three Mechanisms of Feature Learning in a Linear Network [0.34530027457862006]
  有限幅の1次元データを用いた一層線形ネットワークの学習力学の正確な解を提案する。 特徴学習システムに特有の3つの新しいプロトタイプメカニズムを同定する。 実世界のタスクを扱うディープ非線形ネットワークにおいても,これらのメカニズムが現れることを示す実証的な証拠が得られた。
  論文  参考訳（メタデータ） (2024-01-13T14:21:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。