論文の概要: Decay Pruning Method: Smooth Pruning With a Self-Rectifying Procedure

• arxiv url: http://arxiv.org/abs/2406.03879v2
• Date: Mon, 04 Nov 2024 07:16:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-05 14:42:00.116548
• Title: Decay Pruning Method: Smooth Pruning With a Self-Rectifying Procedure
• Title（参考訳）: ディケープルーニング法:自己修正法による平滑プルーニング
• Authors: Minghao Yang, Linlin Gao, Pengyuan Li, Wenbo Li, Yihong Dong, Zhiying Cui,
• Abstract要約: Decay Pruning Method (DPM) は自己修正機構を備えた新しいスムーズプルーニング手法である。 DPMは2つのキーコンポーネントから構成される: (i) Smooth Pruning: 従来のシングルステッププルーニングをマルチステップスムーズプルーニングに変換する。 自己修正: この手順は、勾配情報に基づく準最適プルーニングの修正により、上記のプロセスをさらに強化する。
• 参考スコア（独自算出の注目度）: 18.04859277856265
• License:
• Abstract: Current structured pruning methods often result in considerable accuracy drops due to abrupt network changes and loss of information from pruned structures. To address these issues, we introduce the Decay Pruning Method (DPM), a novel smooth pruning approach with a self-rectifying mechanism. DPM consists of two key components: (i) Smooth Pruning: It converts conventional single-step pruning into multi-step smooth pruning, gradually reducing redundant structures to zero over N steps with ongoing optimization. (ii) Self-Rectifying: This procedure further enhances the aforementioned process by rectifying sub-optimal pruning based on gradient information. Our approach demonstrates strong generalizability and can be easily integrated with various existing pruning methods. We validate the effectiveness of DPM by integrating it with three popular pruning methods: OTOv2, Depgraph, and Gate Decorator. Experimental results show consistent improvements in performance compared to the original pruning methods, along with further reductions of FLOPs in most scenarios.
• Abstract（参考訳）: 現在の構造化プルーニング法は、急激なネットワーク変更や、プルーニングされた構造からの情報の損失により、かなりの精度低下をもたらすことが多い。 これらの問題に対処するために,自己修正機構を備えた新しいスムーズプルーニング手法であるDecay Pruning Method (DPM)を導入する。 DPMは2つの重要なコンポーネントから構成される。 (i)スムース・プルーニング(Smooth Pruning): 従来のシングルステップ・プルーニングを多段階スムーズ・プルーニングに変換し、最適化が進行中であるため、冗長構造を徐々にゼロに減らした。 自己修正: この手順は、勾配情報に基づく準最適プルーニングの修正により、上記のプロセスをさらに強化する。 提案手法は, 高い一般化性を示し, 既存プルーニング手法と容易に統合可能である。 我々はDPMの有効性を,OTOv2,Depgraph,Gate Decoratorの3つの人気プルーニング手法と組み合わせて検証した。 実験の結果,従来の刈り込み法に比べて性能が一貫した改善が見られ,多くのシナリオでFLOPがさらに削減された。

関連論文リスト

• DiP-GO: A Diffusion Pruner via Few-step Gradient Optimization [22.546989373687655]
  本稿では,よりインテリジェントで微分可能なプルーナーを用いて,効率的な拡散モデルを導出する新しいプルーニング法を提案する。 提案手法はSD-1.5の4.4倍の高速化を実現し,従来の最先端手法よりも優れていた。
  論文  参考訳（メタデータ） (2024-10-22T12:18:24Z)
• Greedy Output Approximation: Towards Efficient Structured Pruning for LLMs Without Retraining [16.026565606764954]
  我々は Transformer-based large language model (LLMs) のプルーニングプロセスを単純化する。 出力近似の最適化から導いた2つの推論対応プルーニング基準を提案する。 また,モデル再トレーニングを伴わずにプルーニングエラーを軽減するための2段階再構成手法も導入した。
  論文  参考訳（メタデータ） (2024-07-26T23:53:59Z)
• BMRS: Bayesian Model Reduction for Structured Pruning [9.508747319738847]
  構造化プルーニングの完全エンドツーエンドベイズ手法を提案する。 BMRSは、ニューラルネットワークの構造的プルーニングに対する理論的に基礎的なアプローチを提供する。
  論文  参考訳（メタデータ） (2024-06-03T14:08:04Z)
• AdjointDPM: Adjoint Sensitivity Method for Gradient Backpropagation of Diffusion Probabilistic Models [103.41269503488546]
  既存のカスタマイズ方法は、事前訓練された拡散確率モデルをユーザが提供する概念に合わせるために、複数の参照例にアクセスする必要がある。 本論文は、DPMカスタマイズの課題として、生成コンテンツ上で定義された差別化可能な指標が唯一利用可能な監督基準である場合に解決することを目的とする。 本稿では,拡散モデルから新しいサンプルを初めて生成するAdjointDPMを提案する。 次に、随伴感度法を用いて、損失の勾配をモデルのパラメータにバックプロパゲートする。
  論文  参考訳（メタデータ） (2023-07-20T09:06:21Z)
• Nesterov Accelerated ADMM for Fast Diffeomorphic Image Registration [63.15453821022452]
  ディープラーニングに基づくアプローチの最近の発展は、DiffIRのサブ秒間実行を実現している。 本稿では,中間定常速度場を機能的に構成する簡易な反復スキームを提案する。 次に、任意の順序の正規化項を用いて、これらの速度場に滑らかさを課す凸最適化モデルを提案する。
  論文  参考訳（メタデータ） (2021-09-26T19:56:45Z)
• Pruning with Compensation: Efficient Channel Pruning for Deep Convolutional Neural Networks [0.9712140341805068]
  刈り込みDCNNのコストを大幅に削減する高効率刈り込み法を提案する。 本手法は,最先端のリトレーニングベースプルーニング法と競合するプルーニング性能を示す。
  論文  参考訳（メタデータ） (2021-08-31T10:17:36Z)
• MLPruning: A Multilevel Structured Pruning Framework for Transformer-based Models [78.45898846056303]
  プルーニングは、大きな自然言語処理モデルに関連するメモリフットプリントと計算コストを削減する効果的な方法である。 我々は,頭部刈り込み,行刈り,ブロックワイズ刈りという3つの異なるレベルの構造化刈り込みを利用する,新しいマルチレベル構造化刈り込みフレームワークを開発した。
  論文  参考訳（メタデータ） (2021-05-30T22:00:44Z)
• Pruning Redundant Mappings in Transformer Models via Spectral-Normalized Identity Prior [54.629850694790036]
  スペクトル正規化アイデンティティ事前 (SNIP) は、トランスフォーマーモデルにおける残余モジュール全体をアイデンティティマッピングに向けてペナライズする構造化プルーニング手法である。 5つのGLUEベンチマークタスクでBERTを用いて実験を行い、SNIPが同等の性能を維持しながら効率的な刈り取り結果が得られることを示した。
  論文  参考訳（メタデータ） (2020-10-05T05:40:56Z)
• Cogradient Descent for Bilinear Optimization [124.45816011848096]
  双線形問題に対処するために、CoGDアルゴリズム(Cogradient Descent Algorithm)を導入する。 一方の変数は、他方の変数との結合関係を考慮し、同期勾配降下をもたらす。 本アルゴリズムは,空間的制約下での1変数の問題を解くために応用される。
  論文  参考訳（メタデータ） (2020-06-16T13:41:54Z)
• Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
  我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。 本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
  論文  参考訳（メタデータ） (2020-06-10T08:22:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。