論文の概要: Pruning as Regularization: Sensitivity-Aware One-Shot Pruning in ASR

• arxiv url: http://arxiv.org/abs/2511.08092v1
• Date: Wed, 12 Nov 2025 01:39:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-12 20:17:03.640227
• Title: Pruning as Regularization: Sensitivity-Aware One-Shot Pruning in ASR
• Title（参考訳）: 正則化としてのプルーニング:ASRにおける感度を考慮したワンショットプルーニング
• Authors: Julian Irigoyen, Arthur Söhler, Andreas Søeborg Kirkedal,
• Abstract要約: ASRの強力な暗黙正則化器として,一等級プルーニングが有効であることを示す。 一方,デコーダFFNはプルーニングフランジであり,デコーダ自己アテンション層と最終エンコーダ層には冗長性があり,除去すると一般化が向上することを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We challenge the conventional view of neural network pruning as solely a compression technique, demonstrating that one-shot magnitude pruning serves as a powerful implicit regularizer for ASR. Using Whisper-small, we combine gradient- and Fisher-based sensitivity diagnostics with targeted, component-wise pruning. This reveals architectural asymmetries: decoder FFNs are pruning-fragile, whereas decoder self-attention and the last encoder layers contain redundancy that, when removed, improves generalization. Without fine-tuning, pruning 50% of decoder self-attention reduces WER by 2.38% absolute (20.44% relative) on LibriSpeech test-other; pruning the last four encoder layers at 50% instead yields a 1.72% absolute (14.8% relative) improvement. Gains persisted on Common Voice and TED-LIUM datasets. Beyond regularization benefits, our sensitivity-aware approach enables more aggressive one-shot compression. At 40% sparsity, where established global pruning approaches catastrophically fail, our method preserves near-baseline accuracy. This positions pruning as a first-class architectural design tool: knowing where to prune is as important as how much to prune.
• Abstract（参考訳）: 従来のニューラルネットワークのプルーニングは圧縮技術に過ぎず、一発大プルーニングがASRの強力な暗黙的正規化器であることを示す。 Whisper-smallを用いて、勾配とフィッシャーに基づく感度診断と、ターゲットとなるコンポーネントワイドプルーニングを組み合わせる。 デコーダFFNはプルーニングフランジであるのに対して、デコーダ自己アテンションと最後のエンコーダ層は、取り除くと一般化が向上する冗長性を含んでいる。 微調整なしでは、デコーダの50%の自己保持がLibriSpeechテストでWERを2.38%(20.44%)削減し、最後の4つのエンコーダ層を50%に切断すると、その代わりに1.72%(14.8%)の改善をもたらす。 Common VoiceとTED-Liumデータセットでゲインが継続された。 正規化のメリット以外にも、センシティブ・アウェアのアプローチはより積極的なワンショット圧縮を可能にします。 グローバル・プルーニング・アプローチが破滅的に失敗する場合,40%の間隔でほぼベースライン精度を維持できる。 このことは、プルーニングを第一級のアーキテクチャ設計ツールとして位置づけている。

関連論文リスト

• ARMOR: High-Performance Semi-Structured Pruning via Adaptive Matrix Factorization [99.96330641363396]
  ARMOR: (Adaptive Representation with Matrix-factorization) は、新しい1ショットのポストトレーニングプルーニングアルゴリズムである。 ARMORは重量を直接刈る代わりに、各重量行列を2:4のスパースコアに分解する。 ARMORは、幅広いダウンストリームタスクとパープレキシティ評価において、最先端の2:4プルーニング手法よりも一貫して、はるかに優れています。
  論文  参考訳（メタデータ） (2025-10-07T02:39:20Z)
• Patch-Level Contrasting without Patch Correspondence for Accurate and Dense Contrastive Representation Learning [79.43940012723539]
  ADCLRは、正確で高密度な視覚表現を学習するための自己教師型学習フレームワークである。 提案手法は, コントラッシブな手法のための新しい最先端性能を実現する。
  論文  参考訳（メタデータ） (2023-06-23T07:38:09Z)
• DiffRate : Differentiable Compression Rate for Efficient Vision Transformers [98.33906104846386]
  Token圧縮は、プルーニング(ドロップ)やトークンのマージによって、大規模な視覚変換器(ViTなど)を高速化することを目的としている。 DiffRate(ディフレート)は、先行技術にはないいくつかの魅力的な特性を持つ新しいトークン圧縮手法である。
  論文  参考訳（メタデータ） (2023-05-29T10:15:19Z)
• Vision Transformer Compression with Structured Pruning and Low Rank Approximation [1.9685957565449135]
  トランスフォーマーアーキテクチャは、大規模なデータセットでスケールできることから人気を集めている。 画像認識タスクのための視覚変換器を提案する。 この目的のために、低階近似やプルーニングなどの異なる圧縮手法の適用について検討する。
  論文  参考訳（メタデータ） (2022-03-25T04:18:07Z)
• Towards Compact CNNs via Collaborative Compression [166.86915086497433]
  チャネルプルーニングとテンソル分解を結合してCNNモデルを圧縮する協調圧縮方式を提案する。 52.9%のFLOPを削減し、ResNet-50で48.4%のパラメータを削除しました。
  論文  参考訳（メタデータ） (2021-05-24T12:07:38Z)
• Toward Compact Deep Neural Networks via Energy-Aware Pruning [2.578242050187029]
  ネットワークにおける各フィルタの重要性を核ノルム(NN)を用いて定量化する新しいエネルギー対応プルーニング手法を提案する。 FLOPの40.4/49.8%、パラメータ還元の45.9/52.9%、トップ1の精度の94.13/94.61%、CIFAR-10のResNet-56/110で競合する結果を得た。
  論文  参考訳（メタデータ） (2021-03-19T15:33:16Z)
• Hessian-Aware Pruning and Optimal Neural Implant [74.3282611517773]
  プルーニングは、ニューラルネットワークモデルに関連するメモリフットプリントとフラップを減らす効果的な方法である。 構造的プルーニングの指標として2次感度を用いたニューラルインプラントアプローチと組み合わされた新しいヘッセン認識プルーニング法を提案する。
  論文  参考訳（メタデータ） (2021-01-22T04:08:03Z)
• Non-Parametric Adaptive Network Pruning [125.4414216272874]
  アルゴリズム設計を簡略化するノンパラメトリックモデリングを導入。 顔認識コミュニティに触発されて,メッセージパッシングアルゴリズムを用いて,適応的な例示数を求める。 EPrunerは「重要」フィルタを決定する際にトレーニングデータへの依存を壊します。
  論文  参考訳（メタデータ） (2021-01-20T06:18:38Z)
• KCP: Kernel Cluster Pruning for Dense Labeling Neural Networks [5.274653527674298]
  高密度ラベリングネットワークをプルーニングするカーネルクラスタプルーニング(KCP)を提案する。 私たちの方法は、精度低下の1%未満でFLOPの70%以上を減らすことができます。 ILSVRC-2012のResNet-50では、KCPはFLOPの50%以上を削減でき、Top-1の精度は0.13%向上した。
  論文  参考訳（メタデータ） (2021-01-17T14:59:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。