論文の概要: DSA: More Efficient Budgeted Pruning via Differentiable Sparsity Allocation

• arxiv url: http://arxiv.org/abs/2004.02164v5
• Date: Mon, 20 Jul 2020 15:26:14 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-16 11:58:42.876310
• Title: DSA: More Efficient Budgeted Pruning via Differentiable Sparsity Allocation
• Title（参考訳）: DSA: 分散化によるより効率的な予算削減
• Authors: Xuefei Ning, Tianchen Zhao, Wenshuo Li, Peng Lei, Yu Wang, Huazhong Yang
• Abstract要約: 本稿では,効率的なエンドツーエンドのプルーニングフローであるSparsity Allocation (DSA)を提案する。 DSAは,現行の反復型刈り込み法よりも優れた性能を達成でき,その間に全刈り工程の時間コストを少なくとも1.5倍に短縮できることを示した。
• 参考スコア（独自算出の注目度）: 19.786703872356174
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Budgeted pruning is the problem of pruning under resource constraints. In budgeted pruning, how to distribute the resources across layers (i.e., sparsity allocation) is the key problem. Traditional methods solve it by discretely searching for the layer-wise pruning ratios, which lacks efficiency. In this paper, we propose Differentiable Sparsity Allocation (DSA), an efficient end-to-end budgeted pruning flow. Utilizing a novel differentiable pruning process, DSA finds the layer-wise pruning ratios with gradient-based optimization. It allocates sparsity in continuous space, which is more efficient than methods based on discrete evaluation and search. Furthermore, DSA could work in a pruning-from-scratch manner, whereas traditional budgeted pruning methods are applied to pre-trained models. Experimental results on CIFAR-10 and ImageNet show that DSA could achieve superior performance than current iterative budgeted pruning methods, and shorten the time cost of the overall pruning process by at least 1.5x in the meantime.
• Abstract（参考訳）: 予算プルーニングは資源制約下でのプルーニングの問題である。 予算化されたプルーニングでは、リソースをレイヤ(すなわちスパーシティアロケーション)に分散させる方法が重要な問題です。 従来の方法では、効率に欠ける層毎の刈り取り比を離散的に探索することで解決する。 本稿では,効率的なエンドツーエンドのプルーニングフローである分散スパシティアロケーション(DSA)を提案する。 新たな微分可能なプルーニングプロセスを用いることで、DSAは勾配に基づく最適化による階層的プルーニング比を求める。 連続空間における空間の空間性は、離散的な評価と探索に基づく手法よりも効率的である。 さらに、DSAはpruning-from-scratch方式で動作し、従来の予算付きプルーニング方式は事前訓練されたモデルに適用される。 CIFAR-10 と ImageNet の実験結果から,DSA は現行の反復型刈り込み法よりも優れた性能を達成でき,その間に全刈り工程の時間コストを少なくとも1.5倍短縮できることがわかった。

関連論文リスト

• Determining Layer-wise Sparsity for Large Language Models Through a Theoretical Perspective [55.90119819642064]
  本稿では,大規模言語モデル (LLM) の階層的疎度率を理論的観点から決定する上での課題に対処する。 これは、スペーサー化プロセス全体での再構成エラーの累積効果を指す。 この問題を緩和するレイヤワイド・スパシティ・アロケーションに対する、シンプルで効果的なアプローチを導出します。
  論文  参考訳（メタデータ） (2025-02-20T17:51:10Z)
• ETS: Efficient Tree Search for Inference-Time Scaling [61.553681244572914]
  テストタイムの計算スケーリングにおいて有望なアプローチのひとつは、プロセス報酬モデルに対する検索である。 木探索過程における軌跡の多様性は、多様性の増大がさらなる探索を促進するため、探索の精度に影響を与える。 本稿では,冗長なトラジェクトリを抽出し,必要な多様なトラジェクトリを維持しながら,KVの共有を促進する効率的なツリー探索(ETS)を提案する。
  論文  参考訳（メタデータ） (2025-02-19T09:30:38Z)
• Bypass Back-propagation: Optimization-based Structural Pruning for Large Language Models via Policy Gradient [57.9629676017527]
  大規模言語モデルを用いた最適化に基づく構造解析手法を提案する。 我々は,プルーニングモデルの損失を最適化することにより,確率空間におけるプルーニングマスクを直接学習する。 A100 GPUで13Bモデルに対して約35GBのメモリで2.7時間動作させる。
  論文  参考訳（メタデータ） (2024-06-15T09:31:03Z)
• DRIVE: Dual Gradient-Based Rapid Iterative Pruning [2.209921757303168]
  現代のディープニューラルネットワーク(DNN)は、数百万のパラメータで構成され、トレーニングと推論中にハイパフォーマンスコンピューティングを必要とする。 学習後推論の合理化に焦点をあてた従来の刈り込み手法は, 訓練前の刈り込みによって早期に疎水性を活用する試みが近年行われている。 創発に固有のランダム性に対処するために,初期エポックに対する濃密なトレーニングを活用するDual Gradient-Based Rapid Iterative Pruning (DRIVE)を提案する。
  論文  参考訳（メタデータ） (2024-04-01T20:44:28Z)
• Advancing Model Pruning via Bi-level Optimization [89.88761425199598]
  イテレーティブ・マグニチュード・プルーニング(IMP)は,「入賞券」の発見に成功するプルーニング法である ワンショットプルーニング法が開発されているが、これらのスキームは通常IMPほど勝利のチケットを見つけることができない。 提案手法は,双線形問題構造を持つBLO問題の特別なクラスであることを示す。
  論文  参考訳（メタデータ） (2022-10-08T19:19:29Z)
• Data-Efficient Structured Pruning via Submodular Optimization [32.574190896543705]
  部分モジュラ最適化に基づくデータ効率の高い構造化プルーニング手法を提案する。 この選択問題は弱い部分モジュラー問題であり、効率的なグリードアルゴリズムを用いて証明可能な近似が可能であることを示す。 本手法は,限られた数のトレーニングデータのみを使用し,ラベルを含まない文献の中では数少ない手法の一つである。
  論文  参考訳（メタデータ） (2022-03-09T18:40:29Z)
• Pruning with Compensation: Efficient Channel Pruning for Deep Convolutional Neural Networks [0.9712140341805068]
  刈り込みDCNNのコストを大幅に削減する高効率刈り込み法を提案する。 本手法は,最先端のリトレーニングベースプルーニング法と競合するプルーニング性能を示す。
  論文  参考訳（メタデータ） (2021-08-31T10:17:36Z)
• Sparse Training via Boosting Pruning Plasticity with Neuroregeneration [79.78184026678659]
  本研究では, プラスティック性の観点から, 訓練を通しての刈り込みの効果について検討した。 ゼロコスト神経再生(GraNet)と動的スパーストレーニング(DST)変異(GraNet-ST)を併用した段階的プラニング(gradual pruning)法を考案した。 おそらく最も印象的なのは、ImageNet上のResNet-50との大きなマージンで、さまざまな密集したスパースメソッドに対するスパース・ツー・スパーストレーニングのパフォーマンスを初めて向上させたことだ。
  論文  参考訳（メタデータ） (2021-06-19T02:09:25Z)
• Towards Optimal Filter Pruning with Balanced Performance and Pruning Speed [17.115185960327665]
  本稿では,性能とプルーニング速度の両立のために,バランスの取れたフィルタプルーニング法を提案する。 提案手法は, 約層幅の最適プルーニング速度を予め設定した損失変動で再現できる。 提案手法は共通アーキテクチャに適用可能であり,最終微調整以外の追加訓練は行わない。
  論文  参考訳（メタデータ） (2020-10-14T06:17:09Z)
• Dependency Aware Filter Pruning [74.69495455411987]
  重要でないフィルタを割ることは、推論コストを軽減するための効率的な方法である。 以前の作業は、その重み基準やそれに対応するバッチノームスケーリング要因に従ってフィルタをプルークする。 所望の空間性を達成するために,空間性誘導正規化を動的に制御する機構を提案する。
  論文  参考訳（メタデータ） (2020-05-06T07:41:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。