論文の概要: Flexible Automatic Identification and Removal (FAIR)-Pruner: An Efficient Neural Network Pruning Method

• arxiv url: http://arxiv.org/abs/2508.02291v1
• Date: Mon, 04 Aug 2025 10:59:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-05 18:25:22.301619
• Title: Flexible Automatic Identification and Removal (FAIR)-Pruner: An Efficient Neural Network Pruning Method
• Title（参考訳）: フレキシブルな自動識別・除去(FAIR-Pruner):効率的なニューラルネットワーク・プルーニング法
• Authors: Chenqing Lin, Mostafa Hussien, Chengyao Yu, Mohamed Cheriet, Osama Abdelrahman, Ruixing Ming,
• Abstract要約: 本稿では、ニューラルネットワーク構造化プルーニングの新しい手法であるフレキシブル自動識別除去(FAIR-Pruner)を提案する。 FAIR-Prunerの大きな利点は、レイヤーワイドプルーニング率を自動的に決定する能力にある。 利用スコアと復元誤差により、ユーザーは異なるプルーニング比率でプルーニングされたモデルを柔軟に取得できる。
• 参考スコア（独自算出の注目度）: 11.575879702610914
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural network pruning is a critical compression technique that facilitates the deployment of large-scale neural networks on resource-constrained edge devices, typically by identifying and eliminating redundant or insignificant parameters to reduce computational and memory overhead. This paper proposes the Flexible Automatic Identification and Removal (FAIR)-Pruner, a novel method for neural network structured pruning. Specifically, FAIR-Pruner first evaluates the importance of each unit (e.g., neuron or channel) through the Utilization Score quantified by the Wasserstein distance. To reflect the performance degradation after unit removal, it then introduces the Reconstruction Error, which is computed via the Taylor expansion of the loss function. Finally, FAIR-Pruner identifies superfluous units with negligible impact on model performance by controlling the proposed Tolerance of Difference, which measures differences between unimportant units and those that cause performance degradation. A major advantage of FAIR-Pruner lies in its capacity to automatically determine the layer-wise pruning rates, which yields a more efficient subnetwork structure compared to applying a uniform pruning rate. Another advantage of the FAIR-Pruner is its great one-shot performance without post-pruning fine-tuning. Furthermore, with utilization scores and reconstruction errors, users can flexibly obtain pruned models under different pruning ratios. Comprehensive experimental validation on diverse benchmark datasets (e.g., ImageNet) and various neural network architectures (e.g., VGG) demonstrates that FAIR-Pruner achieves significant model compression while maintaining high accuracy.
• Abstract（参考訳）: ニューラルネットワークプルーニング(Neural Network pruning)は、リソース制約のあるエッジデバイスへの大規模ニューラルネットワークの展開を容易にする重要な圧縮技術である。 本稿では、ニューラルネットワーク構造化プルーニングの新しい手法であるフレキシブル自動識別除去(FAIR-Pruner)を提案する。 具体的には、FAIR-Prunerは、ワッサーシュタイン距離で定量化された利用スコアを通じて、各単位(例えば、ニューロンやチャネル)の重要性を評価する。 ユニット除去後の性能劣化を反映するために、損失関数のテイラー展開によって計算される再構成誤差を導入する。 最後に、FAIR-Prunerは、重要でないユニットと性能劣化の原因となるユニットの差を測定することで、モデル性能に無視できない影響のある超流動ユニットを同定する。 FAIR-Prunerの大きな利点は、レイヤーワイドプルーニング率を自動的に決定する能力にある。 FAIR-Prunerのもう1つの利点は、素晴らしいワンショットパフォーマンスで、微調整をしないことです。 さらに, 利用スコアと復元誤差により, ユーザーは異なるプルーニング比のプルーニングモデルを柔軟に得ることができる。 さまざまなベンチマークデータセット(例えば、ImageNet)とさまざまなニューラルネットワークアーキテクチャ(例えば、VGG)に関する包括的な実験的検証は、FAIR-Prunerが高い精度を維持しながら、重要なモデル圧縮を実現することを実証している。

関連論文リスト

• RL-Pruner: Structured Pruning Using Reinforcement Learning for CNN Compression and Acceleration [0.0]
  RL-Prunerを提案する。このRL-Prunerは、強化学習を用いて最適プルーニング分布を学習する。 RL-Prunerは、モデル固有のプルーニング実装を必要とせずに、入力モデル内のフィルタ間の依存関係を自動的に抽出し、プルーニングを実行する。
  論文  参考訳（メタデータ） (2024-11-10T13:35:10Z)
• MPruner: Optimizing Neural Network Size with CKA-Based Mutual Information Pruning [7.262751938473306]
  プルーニング(Pruning)は、ニューラルネットワークのサイズを減らし、数学的に精度の保存を保証している、よく確立されたテクニックである。 我々は,ベクトル類似性により相互情報を活用する新しいプルーニングアルゴリズムMPrunerを開発した。 MPrunerはCNNとトランスフォーマーベースのモデルで最大50%のパラメータとメモリ使用量の削減を実現した。
  論文  参考訳（メタデータ） (2024-08-24T05:54:47Z)
• Neural Network Pruning for Real-time Polyp Segmentation [8.08470060885395]
  ポリプセグメンテーションにおけるニューラルネットワークプルーニングの適用例を示す。 畳み込みフィルタの重要スコアを計算し、最小スコアを持つフィルタを除去する。
  論文  参考訳（メタデータ） (2023-06-22T21:03:50Z)
• Differentiable Neural Networks with RePU Activation: with Applications to Score Estimation and Isotonic Regression [7.450181695527364]
  整流パワーユニット(RePU)関数によって活性化される微分可能なニューラルネットワークの特性について検討する。 RePUを活性化したディープニューラルネットワークを用いて,スムーズな関数とその導関数を同時に近似するエラー境界を確立する。
  論文  参考訳（メタデータ） (2023-05-01T00:09:48Z)
• Iterative Soft Shrinkage Learning for Efficient Image Super-Resolution [91.3781512926942]
  画像超解像(SR)は、CNNからトランスフォーマーアーキテクチャへの広範なニューラルネットワーク設計を目撃している。 本研究は,市販のネットワーク設計を生かし,基礎となる計算オーバーヘッドを低減するため,超高解像度イテレーションにおけるネットワークプルーニングの可能性について検討する。 本研究では, ランダムネットワークのスパース構造を最適化し, 重要でない重みを小さめに微調整することにより, 反復型軟収縮率(ISS-P)法を提案する。
  論文  参考訳（メタデータ） (2023-03-16T21:06:13Z)
• A Fair Loss Function for Network Pruning [70.35230425589592]
  本稿では, 刈り込み時のバイアスの抑制に使用できる簡易な改良型クロスエントロピー損失関数である, 性能重み付き損失関数を提案する。 CelebA、Fitzpatrick17k、CIFAR-10データセットを用いた実験は、提案手法が単純で効果的なツールであることを実証している。
  論文  参考訳（メタデータ） (2022-11-18T15:17:28Z)
• Self-Compression in Bayesian Neural Networks [0.9176056742068814]
  ベイジアンフレームワークによるネットワーク圧縮に関する新たな知見を提案する。 ベイズニューラルネットワークがモデルパラメータの冗長性を自動的に検出し,自己圧縮を可能にすることを示す。 実験の結果,ネットワーク自体が特定したパラメータを削除することで,ネットワークアーキテクチャの圧縮に成功できることが示唆された。
  論文  参考訳（メタデータ） (2021-11-10T21:19:40Z)
• Dynamic Probabilistic Pruning: A general framework for hardware-constrained pruning at different granularities [80.06422693778141]
  異なる粒度(重み、カーネル、フィルタ/フィーチャーマップ)での刈り取りを容易にするフレキシブルな新しい刈り取り機構を提案する。 このアルゴリズムをDPP(Dynamic Probabilistic Pruning)と呼ぶ。 DPPは、画像分類のための異なるベンチマークデータセットで訓練された一般的なディープラーニングモデルを刈り取る際に、競合圧縮率と分類精度を達成する。
  論文  参考訳（メタデータ） (2021-05-26T17:01:52Z)
• Manifold Regularized Dynamic Network Pruning [102.24146031250034]
  本稿では,全インスタンスの多様体情報をプルーンドネットワークの空間に埋め込むことにより,冗長フィルタを動的に除去する新しいパラダイムを提案する。 提案手法の有効性をいくつかのベンチマークで検証し,精度と計算コストの両面で優れた性能を示す。
  論文  参考訳（メタデータ） (2021-03-10T03:59:03Z)
• DAIS: Automatic Channel Pruning via Differentiable Annealing Indicator Search [55.164053971213576]
  畳み込みニューラルネットワークは,計算オーバーヘッドが大きいにもかかわらず,コンピュータビジョンタスクの実行において大きな成功を収めている。 構造的(チャネル)プルーニングは、通常、ネットワーク構造を保ちながらモデルの冗長性を低減するために適用される。 既存の構造化プルーニング法では、手作りのルールが必要であり、これは大きなプルーニング空間に繋がる可能性がある。
  論文  参考訳（メタデータ） (2020-11-04T07:43:01Z)
• DHP: Differentiable Meta Pruning via HyperNetworks [158.69345612783198]
  本稿では,ネットワークの自動プルーニングのためのハイパーネットによる識別可能なプルーニング手法を提案する。 遅延ベクトルは、バックボーンネットワーク内の畳み込み層の出力チャネルを制御し、レイヤのプルーニングのハンドルとして機能する。 画像分類、単一画像超解像、復調のための様々なネットワークで実験が行われた。
  論文  参考訳（メタデータ） (2020-03-30T17:59:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。