論文の概要: One Shot vs. Iterative: Rethinking Pruning Strategies for Model Compression

• arxiv url: http://arxiv.org/abs/2508.13836v1
• Date: Tue, 19 Aug 2025 13:57:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-20 15:36:31.943029
• Title: One Shot vs. Iterative: Rethinking Pruning Strategies for Model Compression
• Title（参考訳）: One Shot vs. Iterative: モデル圧縮のためのプランニング戦略の再考
• Authors: Mikołaj Janusz, Tomasz Wojnar, Yawei Li, Luca Benini, Kamil Adamczewski,
• Abstract要約: プルーニング(Pruning)は、ニューラルネットワークを圧縮して効率を向上させる技術である。 ワンショットプルーニングと反復プルーニングは、このプロセスに対する2つのアプローチである。 本研究では, 単発プルーニングが低いプルーニング比で有効であるのに対して, 反復プルーニングは高い比率でより良い性能を示すことを示す。
• 参考スコア（独自算出の注目度）: 22.528739000744782
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Pruning is a core technique for compressing neural networks to improve computational efficiency. This process is typically approached in two ways: one-shot pruning, which involves a single pass of training and pruning, and iterative pruning, where pruning is performed over multiple cycles for potentially finer network refinement. Although iterative pruning has historically seen broader adoption, this preference is often assumed rather than rigorously tested. Our study presents one of the first systematic and comprehensive comparisons of these methods, providing rigorous definitions, benchmarking both across structured and unstructured settings, and applying different pruning criteria and modalities. We find that each method has specific advantages: one-shot pruning proves more effective at lower pruning ratios, while iterative pruning performs better at higher ratios. Building on these findings, we advocate for patience-based pruning and introduce a hybrid approach that can outperform traditional methods in certain scenarios, providing valuable insights for practitioners selecting a pruning strategy tailored to their goals and constraints. Source code is available at https://github.com/janumiko/pruning-benchmark.
• Abstract（参考訳）: プルーニングは、ニューラルネットワークを圧縮して計算効率を向上させるためのコア技術である。 このプロセスは通常、2つの方法でアプローチされる: ワンショットプルーニング(ワンショットプルーニング)、トレーニングとプルーニングの1パス、反復プルーニング(反復プルーニング)。 イテレーティブ・プルーニングは歴史的に広く採用されてきたが、厳密なテストではなく、しばしばこの選好が仮定される。 本研究は,これらの手法の体系的および包括的比較の1つとして,厳密な定義を提供し,構造化条件と非構造化条件の両方をベンチマークし,異なるプルーニング基準とモダリティを適用した。 単発プルーニングは低いプルーニング比で有効であるのに対して、反復プルーニングはより高い比率でより効果的であることを示す。 これらの知見に基づいて,忍耐に基づく刈り込みを提唱し,特定のシナリオにおいて従来の手法よりも優れたハイブリッドアプローチを導入し,目標や制約に合わせた刈り込み戦略を選択する実践者にとって貴重な洞察を提供する。 ソースコードはhttps://github.com/janumiko/pruning-benchmarkで入手できる。

関連論文リスト

• One-cycle Structured Pruning with Stability Driven Structure Search [20.18712941647407]
  既存の構造化プルーニングは、しばしば重い計算を必要とする多段階の訓練手順を必要とする。 モデル性能を損なうことなく, 一サイクル構造化プルーニングのための効率的なフレームワークを提案する。 本手法は, 訓練時間において, 最も効率的な刈り出しフレームワークの1つでありながら, 最先端の精度を実現する。
  論文  参考訳（メタデータ） (2025-01-23T07:46:48Z)
• ThinResNet: A New Baseline for Structured Convolutional Networks Pruning [1.90298817989995]
  プルーニング(Pruning)は、ニューラルネットワークのパラメータ数を減らして効率を向上させる圧縮手法である。 本研究では,最先端のトレーニング手法と自明なモデルスケーリングを併用したネットワークに対して,最近のプルーニングの成果が如何に保たれているかを検証する。
  論文  参考訳（メタデータ） (2023-09-22T13:28:18Z)
• Pruning Early Exit Networks [14.048989759890475]
  モデル性能を高く保ちながら計算コストを削減しようとする2つのアプローチを組み合わせる。 1) ネットワーク全体を一度にプルーニングすること,(2) ベースネットワークをプルーニングすること,および線形分類器を順序付きで追加すること,の2つのアプローチを評価する。
  論文  参考訳（メタデータ） (2022-07-08T01:57:52Z)
• Data-Efficient Structured Pruning via Submodular Optimization [32.574190896543705]
  部分モジュラ最適化に基づくデータ効率の高い構造化プルーニング手法を提案する。 この選択問題は弱い部分モジュラー問題であり、効率的なグリードアルゴリズムを用いて証明可能な近似が可能であることを示す。 本手法は,限られた数のトレーニングデータのみを使用し,ラベルを含まない文献の中では数少ない手法の一つである。
  論文  参考訳（メタデータ） (2022-03-09T18:40:29Z)
• COPS: Controlled Pruning Before Training Starts [68.8204255655161]
  最先端のディープニューラルネットワーク(DNN)プルーニング技術は、トレーニング開始前にワンショットで適用され、プルーニングスコアと呼ばれる単一の基準の助けを借りてスパースアーキテクチャを評価する。 この作業では、単一プルーニング基準に集中するのではなく、任意のGASを組み合わせてより強力なプルーニング戦略を構築するためのフレームワークを提供します。
  論文  参考訳（メタデータ） (2021-07-27T08:48:01Z)
• Sparse Training via Boosting Pruning Plasticity with Neuroregeneration [79.78184026678659]
  本研究では, プラスティック性の観点から, 訓練を通しての刈り込みの効果について検討した。 ゼロコスト神経再生(GraNet)と動的スパーストレーニング(DST)変異(GraNet-ST)を併用した段階的プラニング(gradual pruning)法を考案した。 おそらく最も印象的なのは、ImageNet上のResNet-50との大きなマージンで、さまざまな密集したスパースメソッドに対するスパース・ツー・スパーストレーニングのパフォーマンスを初めて向上させたことだ。
  論文  参考訳（メタデータ） (2021-06-19T02:09:25Z)
• MLPruning: A Multilevel Structured Pruning Framework for Transformer-based Models [78.45898846056303]
  プルーニングは、大きな自然言語処理モデルに関連するメモリフットプリントと計算コストを削減する効果的な方法である。 我々は,頭部刈り込み,行刈り,ブロックワイズ刈りという3つの異なるレベルの構造化刈り込みを利用する,新しいマルチレベル構造化刈り込みフレームワークを開発した。
  論文  参考訳（メタデータ） (2021-05-30T22:00:44Z)
• Manifold Regularized Dynamic Network Pruning [102.24146031250034]
  本稿では,全インスタンスの多様体情報をプルーンドネットワークの空間に埋め込むことにより,冗長フィルタを動的に除去する新しいパラダイムを提案する。 提案手法の有効性をいくつかのベンチマークで検証し,精度と計算コストの両面で優れた性能を示す。
  論文  参考訳（メタデータ） (2021-03-10T03:59:03Z)
• Neural Pruning via Growing Regularization [82.9322109208353]
  プルーニングの2つの中心的な問題:プルーニングのスケジュールと重み付けの重要度だ。 具体的には, ペナルティ要因が増大するL2正規化変種を提案し, 精度が著しく向上することを示した。 提案アルゴリズムは,構造化プルーニングと非構造化プルーニングの両方において,大規模データセットとネットワークの実装が容易かつスケーラブルである。
  論文  参考訳（メタデータ） (2020-12-16T20:16:28Z)
• Towards Optimal Filter Pruning with Balanced Performance and Pruning Speed [17.115185960327665]
  本稿では,性能とプルーニング速度の両立のために,バランスの取れたフィルタプルーニング法を提案する。 提案手法は, 約層幅の最適プルーニング速度を予め設定した損失変動で再現できる。 提案手法は共通アーキテクチャに適用可能であり,最終微調整以外の追加訓練は行わない。
  論文  参考訳（メタデータ） (2020-10-14T06:17:09Z)
• Lookahead: A Far-Sighted Alternative of Magnitude-based Pruning [83.99191569112682]
  マグニチュードベースのプルーニングは、ニューラルネットワークをプルーニングする最も単純な方法の1つである。 我々は,単一層最適化を多層最適化に拡張することにより,単純なプルーニング法であるルックアヘッドプルーニングを開発した。 実験の結果,提案手法は様々なネットワーク上での大規模プルーニングよりも一貫して優れていた。
  論文  参考訳（メタデータ） (2020-02-12T05:38:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。