論文の概要: Advancing Weight and Channel Sparsification with Enhanced Saliency

• arxiv url: http://arxiv.org/abs/2502.03658v1
• Date: Wed, 05 Feb 2025 22:56:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-07 14:33:35.357037
• Title: Advancing Weight and Channel Sparsification with Enhanced Saliency
• Title（参考訳）: 塩分濃度の増大による軽量化とチャネルスペーシフィケーション
• Authors: Xinglong Sun, Maying Shen, Hongxu Yin, Lei Mao, Pavlo Molchanov, Jose M. Alvarez,
• Abstract要約: プルーニングは、冗長パラメータを除去することでモデルを加速し、圧縮することを目的としている。 この除去は不可逆であり、しばしば刈り取られたモデルでは性能が劣る。 我々は、非構造的または構造的空間性に対する所定の重要性基準を強化するために、効率的で革新的なパラダイムを導入します。
• 参考スコア（独自算出の注目度）: 27.89287351110155
• License:
• Abstract: Pruning aims to accelerate and compress models by removing redundant parameters, identified by specifically designed importance scores which are usually imperfect. This removal is irreversible, often leading to subpar performance in pruned models. Dynamic sparse training, while attempting to adjust sparse structures during training for continual reassessment and refinement, has several limitations including criterion inconsistency between pruning and growth, unsuitability for structured sparsity, and short-sighted growth strategies. Our paper introduces an efficient, innovative paradigm to enhance a given importance criterion for either unstructured or structured sparsity. Our method separates the model into an active structure for exploitation and an exploration space for potential updates. During exploitation, we optimize the active structure, whereas in exploration, we reevaluate and reintegrate parameters from the exploration space through a pruning and growing step consistently guided by the same given importance criterion. To prepare for exploration, we briefly "reactivate" all parameters in the exploration space and train them for a few iterations while keeping the active part frozen, offering a preview of the potential performance gains from reintegrating these parameters. We show on various datasets and configurations that existing importance criterion even simple as magnitude can be enhanced with ours to achieve state-of-the-art performance and training cost reductions. Notably, on ImageNet with ResNet50, ours achieves an +1.3 increase in Top-1 accuracy over prior art at 90% ERK sparsity. Compared with the SOTA latency pruning method HALP, we reduced its training cost by over 70% while attaining a faster and more accurate pruned model.
• Abstract（参考訳）: プルーニングは、通常不完全である特別に設計された重要度スコアによって識別される冗長パラメータを除去することでモデルを加速し、圧縮することを目的としている。 この除去は不可逆であり、しばしば刈り取られたモデルでは性能が劣る。 動的スパーストレーニングは、連続的な再評価と改善のためのトレーニング中にスパース構造を調整しようとする一方で、プルーニングと成長の矛盾、構造的疎性に対する不適合性、短期的な成長戦略などいくつかの制限がある。 本稿は,非構造的・構造的空間性に対して,所定の重要性基準を強化するための,効率的かつ革新的なパラダイムを提案する。 提案手法では,本手法を有効利用のためのアクティブな構造と,潜在的更新のための探索空間に分割する。 エクスプロイトの間、我々はアクティブな構造を最適化する一方、探索では、同じ重要な基準によって一貫して導かれるプルーニングと成長ステップを通じて、探索空間からパラメータを再評価し、再統合する。 探索の準備として、探索空間内の全てのパラメータを短時間で「再活性化」し、アクティブ部分の凍結を維持しながら数回繰り返し訓練し、これらのパラメータの再統合による潜在的なパフォーマンス向上のプレビューを提供しました。 さまざまなデータセットや構成について,既存の重要な基準が,最先端のパフォーマンスとトレーニングコストの削減を達成するために,私たち自身の規模で拡張可能であることを示します。 特に、ImageNet with ResNet50では、従来の技術よりも90%のERK間隔で、トップ1の精度が+1.3向上している。 HALPと比較して,より高速で高精度なプルーニングモデルを実現するとともに,トレーニングコストを70%以上削減した。

関連論文リスト

• Pushing the Limits of Sparsity: A Bag of Tricks for Extreme Pruning [4.421875265386832]
  ディープニューラルネットワークのプルーニングは、高密度ネットワークの性能の大部分を保ちながら、モデルサイズの削減に有効な手法である。 最近のスパース学習法では、95%や98%といった中等度の疎度レベルまで有望な性能を示している。 極端に間隔があっても精度が崩れることなくネットワークの連続的な学習を可能にする手法の集合を提案する。
  論文  参考訳（メタデータ） (2024-11-20T18:54:53Z)
• SaRA: High-Efficient Diffusion Model Fine-tuning with Progressive Sparse Low-Rank Adaptation [52.6922833948127]
  本研究では,事前学習した拡散モデルにおけるパラメータの重要性について検討する。 本稿では,これらの非効率パラメータをフル活用するための新しいモデル微調整法を提案する。 本手法は,下流アプリケーションにおける事前学習モデルの生成能力を向上する。
  論文  参考訳（メタデータ） (2024-09-10T16:44:47Z)
• Reconstruct the Pruned Model without Any Retraining [23.235907813011174]
  本稿では,線形補間に基づく適応再構成(LIAR)フレームワークを提案する。 LIARはバックプロパゲーションや再トレーニングを必要とせず、様々なプルーニング基準やモジュールと互換性がある。 GLUE, SQuAD, WikiText, 常識推論などのベンチマークによる評価の結果, LIARはパラメータの50%を除去しても, 98%の精度でBERTモデルを維持できることがわかった。
  論文  参考訳（メタデータ） (2024-07-18T09:30:44Z)
• Enhanced Sparsification via Stimulative Training [36.0559905521154]
  既存の方法では、減量重みの重要性を抑制するために、時差による罰則を設定するのが一般的である。 本稿では,拡張スパシフィケーションパラダイムに基づく,表現性という構造的プルーニングフレームワークを提案する。 蒸留の容量ギャップを小さくするため, 変異膨張法を提案する。
  論文  参考訳（メタデータ） (2024-03-11T04:05:17Z)
• Sparse Low-rank Adaptation of Pre-trained Language Models [79.74094517030035]
  本稿では,適応過程における固有ランクの動的調整を可能にする疎低ランク適応(SoRA)を提案する。 提案手法は,LoRAを高いランクで初期化すると同時に,一時的に増大するパラメータを効率的に利用することにより,LoRAの表現力を向上する。 実験の結果,SoRAは70%の保持パラメータと70%のトレーニング時間でも,他のベースラインよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2023-11-20T11:56:25Z)
• FOSTER: Feature Boosting and Compression for Class-Incremental Learning [52.603520403933985]
  ディープニューラルネットワークは、新しいカテゴリーを学ぶ際に破滅的な忘れ方に悩まされる。 本稿では,新たなカテゴリを適応的に学習するためのモデルとして,新しい2段階学習パラダイムFOSTERを提案する。
  論文  参考訳（メタデータ） (2022-04-10T11:38:33Z)
• Online Convolutional Re-parameterization [51.97831675242173]
  2段階のパイプラインであるオンライン畳み込み再パラメータ化(OREPA)は、複雑なトレーニング時間ブロックを単一の畳み込みに絞ることで、巨大なトレーニングオーバーヘッドを低減することを目的としている。 最先端のre-paramモデルと比較して、OREPAはトレーニング時間のメモリコストを約70%削減し、トレーニング速度を約2倍向上させることができる。 また、オブジェクト検出とセマンティックセグメンテーションの実験を行い、下流タスクに一貫した改善を示す。
  論文  参考訳（メタデータ） (2022-04-02T09:50:19Z)
• Sparse Progressive Distillation: Resolving Overfitting under Pretrain-and-Finetune Paradigm [7.662952656290564]
  トランスフォーマーベースの言語モデルのフットプリント要求を減らすために、様々なプルーニング手法が提案されている。 オーバーフィッティングのリスクを減らすことが,プレトレイン・アンド・ファインチューンパラダイムの下での刈り込みの有効性を初めて示す。
  論文  参考訳（メタデータ） (2021-10-15T16:42:56Z)
• Powerpropagation: A sparsity inducing weight reparameterisation [65.85142037667065]
  我々は、本質的にスパースモデルにつながるニューラルネットワークの新しい重みパラメータ化であるPowerpropagationを紹介した。 この方法で訓練されたモデルは同様の性能を示すが、0で明らかに高い密度の分布を持ち、より多くのパラメータを安全に刈り取ることができる。 ここでは、Powerpropagationと従来のウェイトプルーニング技術と、最近の最先端スパース・トゥ・スパースアルゴリズムを組み合わせることで、ImageNetベンチマークで優れたパフォーマンスを示す。
  論文  参考訳（メタデータ） (2021-10-01T10:03:57Z)
• Progressive Skeletonization: Trimming more fat from a network at initialization [76.11947969140608]
  本稿では,接続感度が最大となるスケルトン化ネットワークを提案する。 次に、目的を最大化する2つの近似手順を提案する。 提案手法は, 高い刈り込みレベルにおいて, 性能を著しく向上させる。
  論文  参考訳（メタデータ） (2020-06-16T11:32:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。