論文の概要: C-SWAP: Explainability-Aware Structured Pruning for Efficient Neural Networks Compression

• arxiv url: http://arxiv.org/abs/2510.18636v1
• Date: Tue, 21 Oct 2025 13:40:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-25 03:08:13.632129
• Title: C-SWAP: Explainability-Aware Structured Pruning for Efficient Neural Networks Compression
• Title（参考訳）: C-SWAP:効率的なニューラルネットワーク圧縮のための説明可能性を考慮した構造化プルーニング
• Authors: Baptiste Bauvin, Loïc Baret, Ola Ahmad,
• Abstract要約: プルーニング(英: Pruning)は、モデル構造におけるスパーシティを促進する技術である。 本稿では,説明可能な深層学習に依存する新しい一発プルーニングフレームワークを提案する。 提案手法はモデルサイズを大幅に削減し,性能への影響を最小限に抑え,微調整を不要とした。
• 参考スコア（独自算出の注目度）: 4.10373648742522
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural network compression has gained increasing attention in recent years, particularly in computer vision applications, where the need for model reduction is crucial for overcoming deployment constraints. Pruning is a widely used technique that prompts sparsity in model structures, e.g. weights, neurons, and layers, reducing size and inference costs. Structured pruning is especially important as it allows for the removal of entire structures, which further accelerates inference time and reduces memory overhead. However, it can be computationally expensive, requiring iterative retraining and optimization. To overcome this problem, recent methods considered one-shot setting, which applies pruning directly at post-training. Unfortunately, they often lead to a considerable drop in performance. In this paper, we focus on this issue by proposing a novel one-shot pruning framework that relies on explainable deep learning. First, we introduce a causal-aware pruning approach that leverages cause-effect relations between model predictions and structures in a progressive pruning process. It allows us to efficiently reduce the size of the network, ensuring that the removed structures do not deter the performance of the model. Then, through experiments conducted on convolution neural network and vision transformer baselines, pre-trained on classification tasks, we demonstrate that our method consistently achieves substantial reductions in model size, with minimal impact on performance, and without the need for fine-tuning. Overall, our approach outperforms its counterparts, offering the best trade-off. Our code is available on GitHub.
• Abstract（参考訳）: 近年,特にコンピュータビジョンアプリケーションにおいて,デプロイメント制約を克服するためには,モデル削減の必要性が不可欠であるニューラルネットワーク圧縮が注目されている。 プルーニング(英: Pruning)は、モデル構造、例えば、重み、ニューロン、層におけるスパーシリティを促進させ、サイズと推論コストを低減させる、広く使われているテクニックである。 構造的プルーニングは、構造全体の削除を可能にするため、推論時間を短縮し、メモリオーバーヘッドを低減するため、特に重要である。 しかし、これは計算コストが高く、反復的な再訓練と最適化を必要とする。 この問題を克服するために、最近の手法ではワンショット設定を考慮し、これはポストトレーニングで直接プルーニングを適用している。 残念なことに、しばしばパフォーマンスの大幅な低下につながります。 本稿では、説明可能な深層学習に依存する新しいワンショットプルーニングフレームワークを提案することにより、この問題に焦点をあてる。 まず、進行的刈り込み過程におけるモデル予測と構造の間の因果関係を利用した因果認識型刈り込み手法を提案する。 これにより、ネットワークのサイズを効率的に削減し、除去された構造がモデルの性能を損なわないようにする。 そして,畳み込みニューラルネットワークと視覚変換器のベースラインを事前訓練し,モデルサイズを大幅に削減し,性能への影響を最小限に抑え,微調整を必要とせず,一貫した実験を行った。 全体として、私たちのアプローチは、最高のトレードオフを提供しながら、相手よりも優れています。 私たちのコードはGitHubで入手可能です。

関連論文リスト

• Pruning Everything, Everywhere, All at Once [1.7811840395202343]
  ディープラーニングモデルにおけるプルーニング構造は、モデルの複雑さを効率的に低減し、計算効率を向上させる。 本稿では,モデル内で異なる構造を抽出できる新しい手法を提案する。 このプロセスを反復的に繰り返すことは、元の予測能力を保った非常にスパースなモデルを提供する。
  論文  参考訳（メタデータ） (2025-06-04T23:34:28Z)
• An Efficient Sparse Fine-Tuning with Low Quantization Error via Neural Network Pruning [9.208007322096535]
  ニューラルネットワークプルーニングのアイデアに基づく新しいSpFTフレームワークを開発した。 提案手法は,LoRAの変種のような最先端手法の精度に適合しながら,SpFTのメモリ効率を20～50%向上することを示す。
  論文  参考訳（メタデータ） (2025-02-17T04:54:42Z)
• Iterative Soft Shrinkage Learning for Efficient Image Super-Resolution [91.3781512926942]
  画像超解像(SR)は、CNNからトランスフォーマーアーキテクチャへの広範なニューラルネットワーク設計を目撃している。 本研究は,市販のネットワーク設計を生かし,基礎となる計算オーバーヘッドを低減するため,超高解像度イテレーションにおけるネットワークプルーニングの可能性について検討する。 本研究では, ランダムネットワークのスパース構造を最適化し, 重要でない重みを小さめに微調整することにより, 反復型軟収縮率(ISS-P)法を提案する。
  論文  参考訳（メタデータ） (2023-03-16T21:06:13Z)
• Neural Network Compression by Joint Sparsity Promotion and Redundancy Reduction [4.9613162734482215]
  本稿では,冗長なフィルタを創出し,空間性向上によるネットワーク学習に対する効果を最小化する,複合制約に基づく新しい学習手法を提案する。 いくつかのピクセルワイドセグメンテーションベンチマークによるテストでは、テストフェーズにおけるネットワークのニューロン数とメモリフットプリントが、性能に影響を与えずに大幅に減少することが示された。
  論文  参考訳（メタデータ） (2022-10-14T01:34:49Z)
• Slimmable Networks for Contrastive Self-supervised Learning [69.9454691873866]
  自己教師付き学習は、大規模なモデルを事前訓練する上で大きな進歩を遂げるが、小さなモデルでは苦労する。 追加の教師を必要とせず、訓練済みの小型モデルを得るための1段階のソリューションも導入する。 スリム化可能なネットワークは、完全なネットワークと、様々なネットワークを得るために一度にトレーニングできるいくつかの重み共有サブネットワークから構成される。
  論文  参考訳（メタデータ） (2022-09-30T15:15:05Z)
• Neural Networks Reduction via Lumping [0.0]
  操作数とモデルに関連するパラメータの両方を減らすために、多数のソリューションが公開されている。 これらの還元技術の多くは実際には手法であり、通常、精度を回復するために少なくとも1つの再訓練ステップを必要とする。 データや微調整を使わずにネットワーク内のニューロン数を削減し,正確な動作を完全に保存するプルーニング手法を提案する。
  論文  参考訳（メタデータ） (2022-09-15T17:13:07Z)
• Powerpropagation: A sparsity inducing weight reparameterisation [65.85142037667065]
  我々は、本質的にスパースモデルにつながるニューラルネットワークの新しい重みパラメータ化であるPowerpropagationを紹介した。 この方法で訓練されたモデルは同様の性能を示すが、0で明らかに高い密度の分布を持ち、より多くのパラメータを安全に刈り取ることができる。 ここでは、Powerpropagationと従来のウェイトプルーニング技術と、最近の最先端スパース・トゥ・スパースアルゴリズムを組み合わせることで、ImageNetベンチマークで優れたパフォーマンスを示す。
  論文  参考訳（メタデータ） (2021-10-01T10:03:57Z)
• Efficient Micro-Structured Weight Unification and Pruning for Neural Network Compression [56.83861738731913]
  ディープニューラルネットワーク(DNN)モデルは、特にリソース制限されたデバイスにおいて、実用的なアプリケーションに不可欠である。 既往の非構造的あるいは構造化された重量刈り法は、推論を真に加速することはほとんど不可能である。 ハードウェア互換のマイクロ構造レベルでの一般化された重み統一フレームワークを提案し,高い圧縮と加速度を実現する。
  論文  参考訳（メタデータ） (2021-06-15T17:22:59Z)
• Neural Pruning via Growing Regularization [82.9322109208353]
  プルーニングの2つの中心的な問題:プルーニングのスケジュールと重み付けの重要度だ。 具体的には, ペナルティ要因が増大するL2正規化変種を提案し, 精度が著しく向上することを示した。 提案アルゴリズムは,構造化プルーニングと非構造化プルーニングの両方において,大規模データセットとネットワークの実装が容易かつスケーラブルである。
  論文  参考訳（メタデータ） (2020-12-16T20:16:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。