論文の概要: Pruning Everything, Everywhere, All at Once

• arxiv url: http://arxiv.org/abs/2506.04513v1
• Date: Wed, 04 Jun 2025 23:34:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-06 21:53:49.456816
• Title: Pruning Everything, Everywhere, All at Once
• Title（参考訳）: すべて、あらゆる場所で、そして、一度に
• Authors: Gustavo Henrique do Nascimento, Ian Pons, Anna Helena Reali Costa, Artur Jordao,
• Abstract要約: ディープラーニングモデルにおけるプルーニング構造は、モデルの複雑さを効率的に低減し、計算効率を向上させる。 本稿では,モデル内で異なる構造を抽出できる新しい手法を提案する。 このプロセスを反復的に繰り返すことは、元の予測能力を保った非常にスパースなモデルを提供する。
• 参考スコア（独自算出の注目度）: 1.7811840395202343
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep learning stands as the modern paradigm for solving cognitive tasks. However, as the problem complexity increases, models grow deeper and computationally prohibitive, hindering advancements in real-world and resource-constrained applications. Extensive studies reveal that pruning structures in these models efficiently reduces model complexity and improves computational efficiency. Successful strategies in this sphere include removing neurons (i.e., filters, heads) or layers, but not both together. Therefore, simultaneously pruning different structures remains an open problem. To fill this gap and leverage the benefits of eliminating neurons and layers at once, we propose a new method capable of pruning different structures within a model as follows. Given two candidate subnetworks (pruned models), one from layer pruning and the other from neuron pruning, our method decides which to choose by selecting the one with the highest representation similarity to its parent (the network that generates the subnetworks) using the Centered Kernel Alignment metric. Iteratively repeating this process provides highly sparse models that preserve the original predictive ability. Throughout extensive experiments on standard architectures and benchmarks, we confirm the effectiveness of our approach and show that it outperforms state-of-the-art layer and filter pruning techniques. At high levels of Floating Point Operations reduction, most state-of-the-art methods degrade accuracy, whereas our approach either improves it or experiences only a minimal drop. Notably, on the popular ResNet56 and ResNet110, we achieve a milestone of 86.37% and 95.82% FLOPs reduction. Besides, our pruned models obtain robustness to adversarial and out-of-distribution samples and take an important step towards GreenAI, reducing carbon emissions by up to 83.31%. Overall, we believe our work opens a new chapter in pruning.
• Abstract（参考訳）: ディープラーニングは、認知タスクを解くための現代的なパラダイムである。 しかし、問題の複雑さが増大するにつれて、モデルはより深く、計算的に禁止され、現実のアプリケーションやリソースに制約のあるアプリケーションの進歩を妨げる。 大規模な研究により、これらのモデルにおけるプルーニング構造はモデルの複雑さを効率的に低減し、計算効率を向上させることが判明した。 この領域で成功した戦略には、ニューロン(例えば、フィルター、頭部)や層を除去することが含まれるが、どちらも一緒にはならない。 したがって、異なる構造を同時に刈り取ることは未解決の問題である。 このギャップを埋めて、ニューロンや層を一度に除去する利点を活用するために、モデル内の異なる構造を以下に示すことができる新しい手法を提案する。 2つの候補サブネット(プルーニングモデル)、1つはレイヤープルーニングから、もう1つはニューロンプルーニングから、それぞれが親(サブネットを生成するネットワーク)に最もよく似た表現を持つものをCentered Kernel Alignmentメトリックを用いて選択するかを決定する。 このプロセスを反復的に繰り返すことは、元の予測能力を保った非常にスパースなモデルを提供する。 標準アーキテクチャとベンチマークに関する広範な実験を通じて、我々のアプローチの有効性を確認し、最先端層やフィルタプルーニング技術より優れていることを示す。 浮動小数点演算の低減レベルが高い場合、ほとんどの最先端手法は精度を低下させるが、我々の手法はそれを改善するか、最小限の低下しか経験しない。 特に、人気のあるResNet56とResNet110では、86.37%と95.82%のFLOP削減というマイルストーンを達成した。 さらに, 刈り取られたモデルでは, 敵・外分布サンプルに対する堅牢性が得られ, グリーンAIに向けて重要な一歩を踏み出し, 二酸化炭素排出量を最大83.31%削減する。 全体として、私たちの仕事は刈り込みの新しい章を開くと信じています。

関連論文リスト

• Effective Layer Pruning Through Similarity Metric Perspective [0.0]
  ディープニューラルネットワークは、認知タスクを解決する機械学習において、主要なパラダイムとなっている。 これらのモデルから構造を抽出することは、ネットワークの複雑さを減らすための簡単なアプローチである。 層プルーニングは、しばしば高い圧縮速度でネットワーク予測能力(すなわち精度)を損なう。 この研究は、プルーニング手法によって追求されるすべての基礎特性を満たす効果的なレイヤ・プルーニング戦略を導入する。
  論文  参考訳（メタデータ） (2024-05-27T11:54:51Z)
• Optimizing Dense Feed-Forward Neural Networks [0.0]
  本稿では,プルーニングと移動学習に基づくフィードフォワードニューラルネットワークの構築手法を提案する。 提案手法では,パラメータ数を70%以上圧縮できる。 また、ニューラルネットワークをスクラッチからトレーニングしたモデルと元のモデルを比較し、トランスファー学習レベルを評価した。
  論文  参考訳（メタデータ） (2023-12-16T23:23:16Z)
• Lightweight Diffusion Models with Distillation-Based Block Neural Architecture Search [55.41583104734349]
  拡散蒸留に基づくブロックワイドニューラルネットワークサーチ(NAS)により拡散モデルの構造的冗長性を自動的に除去することを提案する。 事前訓練を受けた教師がより多い場合、DiffNASを利用して、教師よりもパフォーマンスが良い最小限のアーキテクチャを探索する。 従来のブロックワイズNAS法とは異なり、DiffNASはブロックワイズ局所探索戦略と、関節ダイナミックロスを伴う再訓練戦略を含んでいる。
  論文  参考訳（メタデータ） (2023-11-08T12:56:59Z)
• Layer-wise Linear Mode Connectivity [52.6945036534469]
  ニューラルネットワークパラメータの平均化は、2つの独立したモデルの知識の直感的な方法である。 フェデレートラーニングにおいて最も顕著に用いられている。 私たちは、単一グループやグループを平均化するモデルの性能を分析します。
  論文  参考訳（メタデータ） (2023-07-13T09:39:10Z)
• Automatic Block-wise Pruning with Auxiliary Gating Structures for Deep Convolutional Neural Networks [9.293334856614628]
  本稿では,補助ゲーティング構造を有する新しいネットワーク切断法を提案する。 実験により,本手法は分類タスクの最先端圧縮性能を実現することができることを示した。
  論文  参考訳（メタデータ） (2022-05-07T09:03:32Z)
• FOSTER: Feature Boosting and Compression for Class-Incremental Learning [52.603520403933985]
  ディープニューラルネットワークは、新しいカテゴリーを学ぶ際に破滅的な忘れ方に悩まされる。 本稿では,新たなカテゴリを適応的に学習するためのモデルとして,新しい2段階学習パラダイムFOSTERを提案する。
  論文  参考訳（メタデータ） (2022-04-10T11:38:33Z)
• Manifold Regularized Dynamic Network Pruning [102.24146031250034]
  本稿では,全インスタンスの多様体情報をプルーンドネットワークの空間に埋め込むことにより,冗長フィルタを動的に除去する新しいパラダイムを提案する。 提案手法の有効性をいくつかのベンチマークで検証し,精度と計算コストの両面で優れた性能を示す。
  論文  参考訳（メタデータ） (2021-03-10T03:59:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。