論文の概要: Topology-Aware Revival for Efficient Sparse Training

• arxiv url: http://arxiv.org/abs/2602.04166v1
• Date: Wed, 04 Feb 2026 03:01:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-05 19:45:11.350734
• Title: Topology-Aware Revival for Efficient Sparse Training
• Title（参考訳）: 効果的なスパーストレーニングのためのトポロジー・アウェア・リバイバル
• Authors: Meiling Jin, Fei Wang, Xiaoyun Yuan, Chen Qian, Yuan Cheng,
• Abstract要約: Topology-Aware Revival (TAR) は、動的に切り替えることなく静的なスペーシングを改善する軽量のワンショット・ポスト・プルーニング・プロシージャである。 TARは静的スパースベースラインの最終的なリターンを最大+37.9%改善し、動的スパーストレーニングベースラインを+13.5%向上させた。
• 参考スコア（独自算出の注目度）: 25.326221502692192
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Static sparse training is a promising route to efficient learning by committing to a fixed mask pattern, yet the constrained structure reduces robustness. Early pruning decisions can lock the network into a brittle structure that is difficult to escape, especially in deep reinforcement learning (RL) where the evolving policy continually shifts the training distribution. We propose Topology-Aware Revival (TAR), a lightweight one-shot post-pruning procedure that improves static sparsity without dynamic rewiring. After static pruning, TAR performs a single revival step by allocating a small reserve budget across layers according to topology needs, randomly uniformly reactivating a few previously pruned connections within each layer, and then keeping the resulting connectivity fixed for the remainder of training. Across multiple continuous-control tasks with SAC and TD3, TAR improves final return over static sparse baselines by up to +37.9% and also outperforms dynamic sparse training baselines with a median gain of +13.5%.
• Abstract（参考訳）: 静的スパーストレーニングは、固定マスクパターンにコミットすることで効率的な学習への有望な経路であるが、制約された構造は堅牢性を低下させる。 早期の刈り取り決定は、特に進化するポリシーがトレーニング分布を継続的にシフトする深層強化学習(RL)において、回避が難しい脆い構造にネットワークをロックすることができる。 そこで我々は,動的リウィリングを伴わずに静的なスペーサ性を改善する軽量なワンショットプレニング手法であるTopology-Aware Revival (TAR)を提案する。 静的プルーニングの後、TARはトポロジ要求に応じて小さな予備予算をレイヤに割り当て、各レイヤ内で事前プルーニングされた接続をランダムに再活性化し、トレーニングの残り期間は接続を固定することで、単一のリバイバルステップを実行する。 SACとTD3による複数の連続制御タスク全体で、TARは静的スパースベースラインの最終的なリターンを+37.9%改善し、動的スパーストレーニングベースラインを+13.5%向上させた。

関連論文リスト

• UniPTS: A Unified Framework for Proficient Post-Training Sparsity [67.16547529992928]
  Post-Traiing Sparsity (PTS)は、必要な限られたデータで効率的なネットワークスパシティを追求する、新たに登場した道である。 本稿では,従来のスパシティの性能をPSSの文脈に大きく変化させる3つの基本因子を変換することで,この相違を解消しようとする。 我々のフレームワークはUniPTSと呼ばれ、広範囲のベンチマークで既存のPTSメソッドよりも優れていることが検証されている。
  論文  参考訳（メタデータ） (2024-05-29T06:53:18Z)
• PERP: Rethinking the Prune-Retrain Paradigm in the Era of LLMs [22.557682089926004]
  パラメータの小さなサブセットを更新すれば、刈り込み後の回復や性能向上に十分であることを示す。 標準のLoRAとは異なり、スパシティを損なうことなくアダプタを再びマージできる2つの新しいLoRA変種を導入する。
  論文  参考訳（メタデータ） (2023-12-23T11:45:22Z)
• Learning a Consensus Sub-Network with Polarization Regularization and One Pass Training [2.895034191799291]
  プルーニングスキームは、静的プルーニングのための反復的なトレーニングと微調整、動的プルーニンググラフの繰り返し計算によって、余分なオーバーヘッドを生み出す。 本稿では,より軽量なサブネットワークを学習するためのパラメータ解析手法を提案する。 CIFAR-10, CIFAR-100, Tiny Imagenet で得られた結果から, ディープネットワークにおける接続の50%を, 1%の分類精度で除去できることが示唆された。
  論文  参考訳（メタデータ） (2023-02-17T09:37:17Z)
• Trainability Preserving Neural Structured Pruning [64.65659982877891]
  本稿では,正規化型構造化プルーニング法であるTPP(Traiability Preserving pruning)を提案する。 TPPは線形ネットワーク上での地中動力学的等尺性回復法と競合する。 多くのトップパフォーマンスのフィルタプルーニング手法と比較して、優れたパフォーマンスを提供する。
  論文  参考訳（メタデータ） (2022-07-25T21:15:47Z)
• Sparsity Winning Twice: Better Robust Generalization from More Efficient Training [94.92954973680914]
  スパース対位訓練の代替として, (i) スタティック・スパシティと (ii) ダイナミック・スパシティの2つを紹介した。 いずれの方法も、ロバストな一般化ギャップを大幅に縮小し、ロバストなオーバーフィッティングを緩和する。 我々のアプローチは既存の正規化器と組み合わせて、敵の訓練における新たな最先端の成果を確立することができる。
  論文  参考訳（メタデータ） (2022-02-20T15:52:08Z)
• Rapid Structural Pruning of Neural Networks with Set-based Task-Adaptive Meta-Pruning [83.59005356327103]
  既存のプルーニング技術に共通する制限は、プルーニングの前に少なくとも1回はネットワークの事前トレーニングが必要であることである。 本稿では,ターゲットデータセットの関数としてプルーニングマスクを生成することにより,大規模な参照データセット上で事前訓練されたネットワークをタスク適応的にプルークするSTAMPを提案する。 ベンチマークデータセット上での最近の先進的なプルーニング手法に対するSTAMPの有効性を検証する。
  論文  参考訳（メタデータ） (2020-06-22T10:57:43Z)
• TRP: Trained Rank Pruning for Efficient Deep Neural Networks [69.06699632822514]
  低位近似とトレーニングを交互に行うTrated Rank Pruning (TRP)を提案する。 サブ段階降下により最適化された核正則化を利用して、TRPの低位化をさらに促進する。 TRPトレーニングネットワークは本質的に低ランク構造であり、無視可能な性能損失と近似される。
  論文  参考訳（メタデータ） (2020-04-30T03:37:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。