論文の概要: Finding Sparse Subnetworks in One Training Cycle via Progressive Magnitude-Based Pruning

• arxiv url: http://arxiv.org/abs/2606.12278v1
• Date: Wed, 10 Jun 2026 16:17:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-11 16:42:38.554237
• Title: Finding Sparse Subnetworks in One Training Cycle via Progressive Magnitude-Based Pruning
• Title（参考訳）: プログレッシブ・マグニチュード・プルーニングによる1つの訓練サイクルにおけるスパース・サブネットの発見
• Authors: Romana Qureshi, Hafida Benhidour, Said Kerrache, Nahlah Aljeraisy,
• Abstract要約: ニューラルネットワークのプルーニングは、予測性能を維持しながら重要なパラメータを少なくすることで、モデルサイズを削減する。 この研究は、一サイクルの代替品として進行度に基づくプルーニングを評価する。 VGG-19は97%の間隔で93.13%の精度で、SNIPは92.0%、VGG-19は97.97%の精度で93.44%の精度で精度を実現している。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Neural network pruning reduces model size by removing less important parameters while aiming to preserve predictive performance. Although the Lottery Ticket Hypothesis (LTH) shows that sparse subnetworks can match dense networks when trained from suitable initializations, its iterative pruning procedure requires multiple complete training cycles. This work evaluates progressive magnitude-based pruning as a single-cycle alternative. The method gradually increases sparsity during training using a linear schedule and updates pruning masks based on active weight magnitudes. We conduct systematic experiments on CIFAR-10 and MNIST across ResNet, VGG-style, and LeNet architectures, comparing the proposed method with representative iterative and initialization-based pruning baselines, including LTH, SNIP, and GraSP. On CIFAR-10, the method achieves 95.12\% accuracy on ResNet-18 at 72.9\% sparsity, compared with 90.5\% reported for LTH. At extreme sparsity, it achieves 93.13\% accuracy on a VGG-like architecture at 97\% sparsity, compared with approximately 92.0\% for SNIP, and 93.44\% accuracy on VGG-19 at 97.97\% sparsity, compared with 92.19\% for GraSP at 98\% sparsity. A sparsity-accuracy analysis on ResNet-18 further shows that accuracy remains within 0.1 percentage points of the dense baseline across 70--85\% sparsity. These results indicate that progressive magnitude-based pruning provides an effective single-cycle approach for neural network sparsification under the evaluated settings.
• Abstract（参考訳）: ニューラルネットワークのプルーニングは、予測性能を維持しながら重要なパラメータを少なくすることで、モデルサイズを削減する。 Lottery Ticket hypothesis (LTH) は、スパースサブネットワークが適切な初期化からトレーニングされたときに高密度ネットワークにマッチすることを示したが、反復的なプルーニング手順は、複数の完全なトレーニングサイクルを必要とする。 この研究は、一サイクルの代替品として進行度に基づくプルーニングを評価する。 本手法は, 線形スケジュールを用いてトレーニング中の空間幅を徐々に増加させ, アクティブ・ウェイト・マグニチュードに基づいてプルーニングマスクを更新する。 我々は,ResNet,VGGスタイル,LeNetアーキテクチャをまたいだCIFAR-10およびMNISTの系統的実験を行い,提案手法をLTH,SNIP,GraSPを含む代表的反復型および初期化型プルーニングベースラインと比較した。 CIFAR-10では、LTHで報告された90.5\%と比較して、ResNet-18では72.9\%の間隔で95.12\%の精度を達成している。 VGG-19の92.0\%とSNIPの93.44\%は97.97\%、GraSPの92.19\%は98\%である。 ResNet-18のスパーシティ精度解析により,70～85.%の範囲で高密度ベースラインの0.1パーセント以内の精度が維持されていることが示された。 これらの結果は、進行度に基づくプルーニングが、評価条件下でのニューラルネットワークスペーサー化に有効な単一サイクルアプローチを提供することを示している。

関連論文リスト

• Pushing the Limits of Sparsity: A Bag of Tricks for Extreme Pruning [32.918269107547616]
  ディープニューラルネットワークのプルーニングは、高密度ネットワークの性能の大部分を保ちながら、モデルサイズの削減に有効な手法である。 最近のスパース学習法では、95%や98%といった中等度の疎度レベルまで有望な性能を示している。 極端に間隔があっても精度が崩れることなくネットワークの連続的な学習を可能にする手法の集合を提案する。
  論文  参考訳（メタデータ） (2024-11-20T18:54:53Z)
• UniPTS: A Unified Framework for Proficient Post-Training Sparsity [67.16547529992928]
  Post-Traiing Sparsity (PTS)は、必要な限られたデータで効率的なネットワークスパシティを追求する、新たに登場した道である。 本稿では,従来のスパシティの性能をPSSの文脈に大きく変化させる3つの基本因子を変換することで,この相違を解消しようとする。 我々のフレームワークはUniPTSと呼ばれ、広範囲のベンチマークで既存のPTSメソッドよりも優れていることが検証されている。
  論文  参考訳（メタデータ） (2024-05-29T06:53:18Z)
• Quantized Neural Networks for Low-Precision Accumulation with Guaranteed Overflow Avoidance [68.8204255655161]
  本稿では,推定時のアキュムレータの精度を下げる際に,数値オーバーフローを回避する量子化学習アルゴリズムを提案する。 本手法は,浮動小数点点ベースラインに対するモデル精度を維持しつつ,アキュムレータの精度を低減できることを示す。
  論文  参考訳（メタデータ） (2023-01-31T02:46:57Z)
• Dynamic Sparse Training via Balancing the Exploration-Exploitation Trade-off [19.230329532065635]
  スパーストレーニングは、モデルサイズを減らすことで、トレーニングコストを大幅に削減する可能性がある。 既存のスパーストレーニング方法は、主にランダムベースまたはグリーディベースのドロップ・アンド・グロー戦略を使用する。 本研究では,動的スパース学習をスパース接続探索問題として考察する。 実験の結果,提案手法により得られたスパースモデル(最大98%のスパース)は,SOTAスパース訓練法より優れていた。
  論文  参考訳（メタデータ） (2022-11-30T01:22:25Z)
• End-to-End Sensitivity-Based Filter Pruning [49.61707925611295]
  本稿では,各層間のフィルタの重要度を学習するための感度に基づくフィルタプルーニングアルゴリズム(SbF-Pruner)を提案する。 提案手法はフィルタ重みからスコアを学習し,各層のフィルタ間の相関を考慮できる。
  論文  参考訳（メタデータ） (2022-04-15T10:21:05Z)
• Effective Model Sparsification by Scheduled Grow-and-Prune Methods [73.03533268740605]
  本稿では,高密度モデルの事前学習を伴わない新規なGrow-and-prune(GaP)手法を提案する。 実験により、そのようなモデルは様々なタスクにおいて80%の間隔で高度に最適化された高密度モデルの品質に適合または打ち勝つことができることが示された。
  論文  参考訳（メタデータ） (2021-06-18T01:03:13Z)
• Non-Parametric Adaptive Network Pruning [125.4414216272874]
  アルゴリズム設計を簡略化するノンパラメトリックモデリングを導入。 顔認識コミュニティに触発されて,メッセージパッシングアルゴリズムを用いて,適応的な例示数を求める。 EPrunerは「重要」フィルタを決定する際にトレーニングデータへの依存を壊します。
  論文  参考訳（メタデータ） (2021-01-20T06:18:38Z)
• Filter Sketch for Network Pruning [184.41079868885265]
  事前学習したネットワーク重み(フィルタ)の情報保存による新しいネットワークプルーニング手法を提案する。 われわれのアプローチは、FilterSketchと呼ばれ、事前訓練された重みの2次情報を符号化する。 CIFAR-10の実験では、FilterSketchはFLOPの63.3%を削減し、ネットワークパラメータの59.9%を無視できる精度で削減している。
  論文  参考訳（メタデータ） (2020-01-23T13:57:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。