論文の概要: Advancing Weight and Channel Sparsification with Enhanced Saliency

• arxiv url: http://arxiv.org/abs/2502.03658v1
• Date: Wed, 05 Feb 2025 22:56:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-07 14:33:35.357037
• Title: Advancing Weight and Channel Sparsification with Enhanced Saliency
• Title（参考訳）: 塩分濃度の増大による軽量化とチャネルスペーシフィケーション
• Authors: Xinglong Sun, Maying Shen, Hongxu Yin, Lei Mao, Pavlo Molchanov, Jose M. Alvarez,
• Abstract要約: プルーニングは、冗長パラメータを除去することでモデルを加速し、圧縮することを目的としている。 この除去は不可逆であり、しばしば刈り取られたモデルでは性能が劣る。 我々は、非構造的または構造的空間性に対する所定の重要性基準を強化するために、効率的で革新的なパラダイムを導入します。
• 参考スコア（独自算出の注目度）: 27.89287351110155
• License:
• Abstract: Pruning aims to accelerate and compress models by removing redundant parameters, identified by specifically designed importance scores which are usually imperfect. This removal is irreversible, often leading to subpar performance in pruned models. Dynamic sparse training, while attempting to adjust sparse structures during training for continual reassessment and refinement, has several limitations including criterion inconsistency between pruning and growth, unsuitability for structured sparsity, and short-sighted growth strategies. Our paper introduces an efficient, innovative paradigm to enhance a given importance criterion for either unstructured or structured sparsity. Our method separates the model into an active structure for exploitation and an exploration space for potential updates. During exploitation, we optimize the active structure, whereas in exploration, we reevaluate and reintegrate parameters from the exploration space through a pruning and growing step consistently guided by the same given importance criterion. To prepare for exploration, we briefly "reactivate" all parameters in the exploration space and train them for a few iterations while keeping the active part frozen, offering a preview of the potential performance gains from reintegrating these parameters. We show on various datasets and configurations that existing importance criterion even simple as magnitude can be enhanced with ours to achieve state-of-the-art performance and training cost reductions. Notably, on ImageNet with ResNet50, ours achieves an +1.3 increase in Top-1 accuracy over prior art at 90% ERK sparsity. Compared with the SOTA latency pruning method HALP, we reduced its training cost by over 70% while attaining a faster and more accurate pruned model.
• Abstract（参考訳）: プルーニングは、通常不完全である特別に設計された重要度スコアによって識別される冗長パラメータを除去することでモデルを加速し、圧縮することを目的としている。 この除去は不可逆であり、しばしば刈り取られたモデルでは性能が劣る。 動的スパーストレーニングは、連続的な再評価と改善のためのトレーニング中にスパース構造を調整しようとする一方で、プルーニングと成長の矛盾、構造的疎性に対する不適合性、短期的な成長戦略などいくつかの制限がある。 本稿は,非構造的・構造的空間性に対して,所定の重要性基準を強化するための,効率的かつ革新的なパラダイムを提案する。 提案手法では,本手法を有効利用のためのアクティブな構造と,潜在的更新のための探索空間に分割する。 エクスプロイトの間、我々はアクティブな構造を最適化する一方、探索では、同じ重要な基準によって一貫して導かれるプルーニングと成長ステップを通じて、探索空間からパラメータを再評価し、再統合する。 探索の準備として、探索空間内の全てのパラメータを短時間で「再活性化」し、アクティブ部分の凍結を維持しながら数回繰り返し訓練し、これらのパラメータの再統合による潜在的なパフォーマンス向上のプレビューを提供しました。 さまざまなデータセットや構成について,既存の重要な基準が,最先端のパフォーマンスとトレーニングコストの削減を達成するために,私たち自身の規模で拡張可能であることを示します。 特に、ImageNet with ResNet50では、従来の技術よりも90%のERK間隔で、トップ1の精度が+1.3向上している。 HALPと比較して,より高速で高精度なプルーニングモデルを実現するとともに,トレーニングコストを70%以上削減した。

関連論文リスト

• ALoRE: Efficient Visual Adaptation via Aggregating Low Rank Experts [71.91042186338163]
  ALoREは、Kroneckerによって構築された超複素パラメータ化空間をAggregate Low Rank Expertsに再利用する新しいPETL法である。 巧妙な設計のおかげで、ALoREは無視できる余分なパラメータを保持し、凍ったバックボーンに強制的にマージできる。
  論文  参考訳（メタデータ） (2024-12-11T12:31:30Z)
• Pushing the Limits of Sparsity: A Bag of Tricks for Extreme Pruning [4.421875265386832]
  ディープニューラルネットワークのプルーニングは、高密度ネットワークの性能の大部分を保ちながら、モデルサイズの削減に有効な手法である。 最近のスパース学習法では、95%や98%といった中等度の疎度レベルまで有望な性能を示している。 極端に間隔があっても精度が崩れることなくネットワークの連続的な学習を可能にする手法の集合を提案する。
  論文  参考訳（メタデータ） (2024-11-20T18:54:53Z)
• SaRA: High-Efficient Diffusion Model Fine-tuning with Progressive Sparse Low-Rank Adaptation [52.6922833948127]
  本研究では,事前学習した拡散モデルにおけるパラメータの重要性について検討する。 本稿では,これらの非効率パラメータをフル活用するための新しいモデル微調整法を提案する。 本手法は,下流アプリケーションにおける事前学習モデルの生成能力を向上する。
  論文  参考訳（メタデータ） (2024-09-10T16:44:47Z)
• Enhanced Sparsification via Stimulative Training [36.0559905521154]
  既存の方法では、減量重みの重要性を抑制するために、時差による罰則を設定するのが一般的である。 本稿では,拡張スパシフィケーションパラダイムに基づく,表現性という構造的プルーニングフレームワークを提案する。 蒸留の容量ギャップを小さくするため, 変異膨張法を提案する。
  論文  参考訳（メタデータ） (2024-03-11T04:05:17Z)
• PERP: Rethinking the Prune-Retrain Paradigm in the Era of LLMs [22.557682089926004]
  パラメータの小さなサブセットを更新すれば、刈り込み後の回復や性能向上に十分であることを示す。 標準のLoRAとは異なり、スパシティを損なうことなくアダプタを再びマージできる2つの新しいLoRA変種を導入する。
  論文  参考訳（メタデータ） (2023-12-23T11:45:22Z)
• FOSTER: Feature Boosting and Compression for Class-Incremental Learning [52.603520403933985]
  ディープニューラルネットワークは、新しいカテゴリーを学ぶ際に破滅的な忘れ方に悩まされる。 本稿では,新たなカテゴリを適応的に学習するためのモデルとして,新しい2段階学習パラダイムFOSTERを提案する。
  論文  参考訳（メタデータ） (2022-04-10T11:38:33Z)
• Online Convolutional Re-parameterization [51.97831675242173]
  2段階のパイプラインであるオンライン畳み込み再パラメータ化(OREPA)は、複雑なトレーニング時間ブロックを単一の畳み込みに絞ることで、巨大なトレーニングオーバーヘッドを低減することを目的としている。 最先端のre-paramモデルと比較して、OREPAはトレーニング時間のメモリコストを約70%削減し、トレーニング速度を約2倍向上させることができる。 また、オブジェクト検出とセマンティックセグメンテーションの実験を行い、下流タスクに一貫した改善を示す。
  論文  参考訳（メタデータ） (2022-04-02T09:50:19Z)
• Powerpropagation: A sparsity inducing weight reparameterisation [65.85142037667065]
  我々は、本質的にスパースモデルにつながるニューラルネットワークの新しい重みパラメータ化であるPowerpropagationを紹介した。 この方法で訓練されたモデルは同様の性能を示すが、0で明らかに高い密度の分布を持ち、より多くのパラメータを安全に刈り取ることができる。 ここでは、Powerpropagationと従来のウェイトプルーニング技術と、最近の最先端スパース・トゥ・スパースアルゴリズムを組み合わせることで、ImageNetベンチマークで優れたパフォーマンスを示す。
  論文  参考訳（メタデータ） (2021-10-01T10:03:57Z)
• Progressive Skeletonization: Trimming more fat from a network at initialization [76.11947969140608]
  本稿では,接続感度が最大となるスケルトン化ネットワークを提案する。 次に、目的を最大化する2つの近似手順を提案する。 提案手法は, 高い刈り込みレベルにおいて, 性能を著しく向上させる。
  論文  参考訳（メタデータ） (2020-06-16T11:32:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。