論文の概要: LinDeps: A Fine-tuning Free Post-Pruning Method to Remove Layer-Wise Linear Dependencies with Guaranteed Performance Preservation

• arxiv url: http://arxiv.org/abs/2507.21573v1
• Date: Tue, 29 Jul 2025 08:17:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-30 17:08:55.860882
• Title: LinDeps: A Fine-tuning Free Post-Pruning Method to Remove Layer-Wise Linear Dependencies with Guaranteed Performance Preservation
• Title（参考訳）: LinDeps: 階層幅の線形依存性を保証された性能保存で除去する、微調整フリーな後処理方法
• Authors: Maxim Henry, Adrien Deliège, Anthony Cioppa, Marc Van Droogenbroeck,
• Abstract要約: 畳み込みニューラルネットワーク(CNN)は、多くのコンピュータビジョンタスクで広く使われている。しかしながら、そのサイズと複雑さの増大は、リソース制約のあるプラットフォームへの効率的なデプロイに重大な課題をもたらす。 我々は,どの刈り込み技術にも適用可能な,新しい刈り込み工法であるLinDepsを紹介する。 CIFAR-10とImageNetにおけるVGGとResNetのバックボーンを用いた実験により,LinDepsは性能を保ちながら既存の刈り込み技術による圧縮率を向上させることを示した。
• 参考スコア（独自算出の注目度）: 11.693806647824532
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Convolutional Neural Networks (CNN) are widely used in many computer vision tasks. Yet, their increasing size and complexity pose significant challenges for efficient deployment on resource-constrained platforms. Hence, network pruning has emerged as an effective way of reducing the size and computational requirements of neural networks by removing redundant or unimportant parameters. However, a fundamental challenge with pruning consists in optimally removing redundancies without degrading performance. Most existing pruning techniques overlook structural dependencies across feature maps within a layer, resulting in suboptimal pruning decisions. In this work, we introduce LinDeps, a novel post-pruning method, i.e., a pruning method that can be applied on top of any pruning technique, which systematically identifies and removes redundant filters via linear dependency analysis. Particularly, LinDeps applies pivoted QR decomposition to feature maps to detect and prune linearly dependent filters. Then, a novel signal recovery mechanism adjusts the next layer's kernels to preserve compatibility and performance without requiring any fine-tuning. Our experiments on CIFAR-10 and ImageNet with VGG and ResNet backbones demonstrate that LinDeps improves compression rates of existing pruning techniques while preserving performances, leading to a new state of the art in CNN pruning. We also benchmark LinDeps in low-resource setups where no retraining can be performed, which shows significant pruning improvements and inference speedups over a state-of-the-art method. LinDeps therefore constitutes an essential add-on for any current or future pruning technique.
• Abstract（参考訳）: 畳み込みニューラルネットワーク(CNN)は多くのコンピュータビジョンタスクで広く使われている。 しかし、そのサイズと複雑さの増大は、リソース制約のあるプラットフォームへの効率的なデプロイに重大な課題をもたらす。 したがって、ネットワークプルーニングは、冗長パラメータや重要でないパラメータを取り除き、ニューラルネットワークのサイズと計算要求を減らす効果的な方法として登場した。 しかし、刈り取りの根本的な課題は、性能を劣化させることなく最適に冗長性を取り除くことである。 既存のプルーニング技術のほとんどは、層内の特徴マップにまたがる構造的依存関係を見落とし、最適プルーニング決定をもたらす。 本研究では, 線形依存解析により冗長フィルタを系統的に同定・除去する, 任意のプルーニング技術の上に適用可能な, 新規なプルーニング法であるLinDepsを紹介する。 特にLinDepsは、ピボットQR分解を特徴写像に適用し、線形依存フィルタを検出してプーンする。 そして、新しい信号回復機構が次の層のカーネルを調整し、微調整を必要とせずに互換性と性能を維持する。 CIFAR-10とImageNetとVGGとResNetのバックボーンを用いた実験により,LinDepsは既存の刈り込み技術の圧縮速度を向上し,CNN刈り込みの最先端化を実現している。 我々はまた、リトレーニングを行わない低リソース設定でLinDepsをベンチマークし、最先端の手法よりも大きなプルーニング改善と推論高速化を示す。 したがってLinDepsは、現在のまたは将来のプルーニング技術にとって不可欠なアドオンである。

関連論文リスト

• RL-Pruner: Structured Pruning Using Reinforcement Learning for CNN Compression and Acceleration [0.0]
  RL-Prunerを提案する。このRL-Prunerは、強化学習を用いて最適プルーニング分布を学習する。 RL-Prunerは、モデル固有のプルーニング実装を必要とせずに、入力モデル内のフィルタ間の依存関係を自動的に抽出し、プルーニングを実行する。
  論文  参考訳（メタデータ） (2024-11-10T13:35:10Z)
• Class-Aware Pruning for Efficient Neural Networks [5.918784236241883]
  ディープニューラルネットワーク(DNN)の実行における計算コスト削減のために、プルーニングが導入されている。 本稿では,DNNを圧縮するクラスアウェアプルーニング手法を提案する。 実験結果から, このクラス認識プルーニング技術は, 重量とFLOPを著しく削減できることがわかった。
  論文  参考訳（メタデータ） (2023-12-10T13:07:54Z)
• Iterative Soft Shrinkage Learning for Efficient Image Super-Resolution [91.3781512926942]
  画像超解像(SR)は、CNNからトランスフォーマーアーキテクチャへの広範なニューラルネットワーク設計を目撃している。 本研究は,市販のネットワーク設計を生かし,基礎となる計算オーバーヘッドを低減するため,超高解像度イテレーションにおけるネットワークプルーニングの可能性について検討する。 本研究では, ランダムネットワークのスパース構造を最適化し, 重要でない重みを小さめに微調整することにより, 反復型軟収縮率(ISS-P)法を提案する。
  論文  参考訳（メタデータ） (2023-03-16T21:06:13Z)
• Trainability Preserving Neural Structured Pruning [64.65659982877891]
  本稿では,正規化型構造化プルーニング法であるTPP(Traiability Preserving pruning)を提案する。 TPPは線形ネットワーク上での地中動力学的等尺性回復法と競合する。 多くのトップパフォーマンスのフィルタプルーニング手法と比較して、優れたパフォーマンスを提供する。
  論文  参考訳（メタデータ） (2022-07-25T21:15:47Z)
• Boosting Pruned Networks with Linear Over-parameterization [8.796518772724955]
  構造化プルーニングは、高速な推論のためのチャネル(フィルタ)を減らし、実行時にフットプリントを低くすることで、ニューラルネットワークを圧縮する。 プルーニング後の精度を回復するため、細調整は通常、プルーニングネットワークに適用される。 そこで我々は,まず,細調整パラメータの数を増やすために,刈り込みネットワーク内のコンパクト層を線形に過剰にパラメータ化する手法を提案する。
  論文  参考訳（メタデータ） (2022-04-25T05:30:26Z)
• Interspace Pruning: Using Adaptive Filter Representations to Improve Training of Sparse CNNs [69.3939291118954]
  非構造プルーニングは畳み込みニューラルネットワーク(CNN)のメモリフットプリントを削減するのに適している 標準非構造化プルーニング(SP)はフィルタ要素をゼロにすることでCNNのメモリフットプリントを削減する。 既存のプルーニング法を改善する汎用ツールであるインタースペースプルーニング(IP)を導入する。
  論文  参考訳（メタデータ） (2022-03-15T11:50:45Z)
• Sparse Training via Boosting Pruning Plasticity with Neuroregeneration [79.78184026678659]
  本研究では, プラスティック性の観点から, 訓練を通しての刈り込みの効果について検討した。 ゼロコスト神経再生(GraNet)と動的スパーストレーニング(DST)変異(GraNet-ST)を併用した段階的プラニング(gradual pruning)法を考案した。 おそらく最も印象的なのは、ImageNet上のResNet-50との大きなマージンで、さまざまな密集したスパースメソッドに対するスパース・ツー・スパーストレーニングのパフォーマンスを初めて向上させたことだ。
  論文  参考訳（メタデータ） (2021-06-19T02:09:25Z)
• Dynamic Probabilistic Pruning: A general framework for hardware-constrained pruning at different granularities [80.06422693778141]
  異なる粒度(重み、カーネル、フィルタ/フィーチャーマップ)での刈り取りを容易にするフレキシブルな新しい刈り取り機構を提案する。 このアルゴリズムをDPP(Dynamic Probabilistic Pruning)と呼ぶ。 DPPは、画像分類のための異なるベンチマークデータセットで訓練された一般的なディープラーニングモデルを刈り取る際に、競合圧縮率と分類精度を達成する。
  論文  参考訳（メタデータ） (2021-05-26T17:01:52Z)
• Manifold Regularized Dynamic Network Pruning [102.24146031250034]
  本稿では,全インスタンスの多様体情報をプルーンドネットワークの空間に埋め込むことにより,冗長フィルタを動的に除去する新しいパラダイムを提案する。 提案手法の有効性をいくつかのベンチマークで検証し,精度と計算コストの両面で優れた性能を示す。
  論文  参考訳（メタデータ） (2021-03-10T03:59:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。