論文の概要: Adaptive Signal Resuscitation: Channel-wise Post-Pruning Repair for Sparse Vision Networks
- arxiv url: http://arxiv.org/abs/2605.21426v1
- Date: Wed, 20 May 2026 17:19:01 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-21 19:19:56.807101
- Title: Adaptive Signal Resuscitation: Channel-wise Post-Pruning Repair for Sparse Vision Networks
- Title(参考訳): 適応信号応答:スパースビジョンネットワークのチャネルワイズ後修復
- Authors: Qishi Zhan, Ziheng Chen, Minxuan Hu,
- Abstract要約: 1発のマグニチュードプルーニングは、高スパーシティ・レシエーションにおいて深刻な精度の崩壊を引き起こす可能性がある。
そこで我々は,ASR (Adaptive Signal Resuscitation) を訓練不要なチャネルワイズ修復法として提案する。
ASRは、各出力チャネルの分散マッチング補正を推定し、データ駆動収縮規則で安定化する。
- 参考スコア(独自算出の注目度): 8.5133415329194
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: One-shot magnitude pruning can cause severe accuracy collapse in the high-sparsity regime, even when the pruning mask preserves the largest weights. We argue that this failure reflects a granularity mismatch in post-pruning repair. Under global magnitude pruning, nearly collapsed channels can coexist with channels that retain informative activation variance within the same layer. Existing layer-wise activation repair methods apply a single correction to the whole layer, and can therefore over-amplify damaged channels while trying to restore the layer-level signal. We propose Adaptive Signal Resuscitation (ASR), a training-free channel-wise repair method that matches the granularity of repair to the granularity of damage. ASR estimates a variance-matching correction for each output channel and stabilizes it with a data-driven shrinkage rule, suppressing unreliable corrections for channels with weak post-pruning signal while preserving corrections for healthier channels. Applied before BatchNorm recalibration, ASR requires only forward passes on a small calibration set and no retraining. Across three datasets, four convolutional architectures, and both unstructured and structured sparsity settings, ASR generally improves over layer-wise repair, with the clearest gains in high-sparsity regimes. On ResNet-50 at 90% sparsity, ASR recovers 55.6% top-1 accuracy on CIFAR-10, compared with 41.0% for layer-wise repair and 28.0% for BatchNorm-only recalibration. Ablations show that naive channel-wise variance matching is insufficient, and that shrinkage stabilizes post-pruning repair.
- Abstract(参考訳): 1発のマグニチュードプルーニングは、プルーニングマスクが最大の重量を保持する場合でも、高いスパーシティ状態において深刻な精度の崩壊を引き起こす可能性がある。
この失敗は、修理後の修復において粒度のミスマッチを反映していると我々は主張する。
大域的なプルーニングの下では、ほぼ崩壊したチャネルは、同じ層内で情報的活性化のばらつきを保持するチャネルと共存することができる。
既存のレイヤワイドアクティベーション修復法では, 層全体に単一補正を適用し, 層レベルの信号の復元を試みながら, 損傷チャネルを過度に増幅することができる。
本稿では,修復の粒度と損傷の粒度とを一致させる訓練不要なチャネルワイズ修復法である適応信号蘇生法を提案する。
ASRは、各出力チャネルの分散マッチング補正を推定し、データを駆動する収縮規則で安定化し、より健康なチャネルの補正を保ちながら、弱い処理後信号のチャネルに対する信頼できない補正を抑える。
BatchNormの再校正前に適用されたASRは、小さな校正セットの前方通過のみを必要とし、再訓練は行わない。
3つのデータセット、4つの畳み込みアーキテクチャ、および非構造的および構造化されたスパーシティ設定の両方において、ASRは一般的に、階層的な修復よりも改善され、高スパーシティレシエーションにおいて最も顕著な利得を持つ。
ResNet-50の90%の間隔で、ASRはCIFAR-10で55.6%の精度を回復し、層レベルでの修復では41.0%、BatchNormのみの再校正では28.0%である。
アブレーションは, チャネルワイドの相違が不十分であり, 収縮が修復後の修復を安定させることを示した。
関連論文リスト
- MARR: Module-Adaptive Residual Reconstruction for Low-Bit Post-Training Quantization [42.904834974723535]
モジュール適応残差再構成(MARR)を提案する。
MARRはモジュール固有のスケーリング係数を割り当て、各モジュールに対して累積エラー補正と残留関連HAバイアスを適応的にバランスさせる。
いくつかの典型的な大規模言語モデル(LLM)と視覚変換器(ViT)の実験は、低ビット量子化下でのMARRの有効性を実証している。
論文 参考訳(メタデータ) (2026-05-18T07:51:49Z) - Restoration-Aligned Generative Flow Models for Blind Motion Deblurring [57.425021485907756]
本稿では,フロー軌跡自体を再構成することで,不整合を解消するフレームワークであるDeFlowを紹介する。
この定式化の下では、標準フローマッチング損失は自然に残留損失の形を取る。
GoPro、HIDE、RealBlur、RWBIの実験では、DeFlowは強力な復元忠実性と知覚リアリズムを実現している。
論文 参考訳(メタデータ) (2026-05-09T10:05:51Z) - Exactness Matters for Physical Rule Enforcement [4.230349220081444]
より強い物理ルールの執行がいつ信頼できるか、いつそれが流通シフトの源となるかは、まだ不明である。
この問題は作用素の正確性(すなわち、補修写像が対象多様体上の恒等写像であるかどうか)を通して研究する。
制御ミスマッチ、スクリーニングされたクリーンアップ、アダプティブゲーティング、および外部バックボーンチェックは、最適な近似登録操作ポイントが生またはほぼ同一であることを示す。
論文 参考訳(メタデータ) (2026-05-08T07:59:59Z) - Stream-R1: Reliability-Perplexity Aware Reward Distillation for Streaming Video Generation [52.10062792673558]
自動ストリーミングビデオ拡散モデルを実用化するために、蒸留ベースの加速が基礎となっている。
既存の方法は、すべてのロールアウト、フレーム、ピクセルを同様に信頼できる監視として扱う。
本稿では,信頼性に配慮したリワード蒸留フレームワークStream-R1を提案する。
論文 参考訳(メタデータ) (2026-05-05T15:15:30Z) - Diffusion Controller: Framework, Algorithms and Parameterization [54.82539154511621]
本稿では,逆拡散サンプリングを(一般化された)線形解法マルコフ決定過程における状態のみの制御として活用する統一的な制御理論的視点を提案する。
このフレームワークでは、制御はトレーニング済みのリバースタイムのトランジションカーネルを再重み付けし、端末の目的と$f$分割コストのバランスをとる。
安定拡散v1.4の実験では、選好調整の勝利率が一貫した上昇を示し、品質効率のトレードオフを改善した。
論文 参考訳(メタデータ) (2026-03-07T01:49:59Z) - Spectral Complex Autoencoder Pruning: A Fidelity-Guided Criterion for Extreme Structured Channel Compression [7.913101398893967]
本稿では,個々の出力チャネルのレベルにおける機能的冗長度を測定するリコンストラクションベースの基準を提案する。
複素相互作用場を周波数領域に変換し、低容量オートエンコーダを訓練して正規化スペクトルを再構成する。
複素相互作用場のスペクトル再構成忠実度は、アグレッシブ圧縮下でのチャネルレベルの冗長性の効果的なプロキシであることがわかった。
論文 参考訳(メタデータ) (2026-01-14T10:34:18Z) - CARE What Fails: Contrastive Anchored-REflection for Verifiable Multimodal [84.71254539482369]
検証可能な報酬を伴うグループ相対的強化学習(RLVR)は、しばしば、すでに失敗している最も情報に富むデータを浪費する。
エラーを監督するマルチモーダル推論のための,障害中心のポストトレーニングフレームワークであるCAREを提案する。
CAREは正確さを改善し、スムーズさをトレーニングすると同時に、障害からの学習信号のシェアを明示的に増やします。
論文 参考訳(メタデータ) (2025-12-22T16:34:21Z) - HSCP: A Two-Stage Spectral Clustering Framework for Resource-Constrained UAV Identification [16.880773405024126]
本稿では,階層型スペクトルクラスタリング・プルーニングフレームワークHSCPを紹介する。
層プルーニングとチャネルプルーニングを組み合わせることで、極端な圧縮、高性能、効率的な推論を実現する。
UAV-M100ベンチマークの実験は、HSCPが既存のチャネルおよび層プルーニング法より優れていることを示した。
論文 参考訳(メタデータ) (2025-12-05T16:03:53Z) - SecDiff: Diffusion-Aided Secure Deep Joint Source-Channel Coding Against Adversarial Attacks [73.41290017870097]
SecDiffは、プラグイン・アンド・プレイの拡散支援デコーディングフレームワークである。
対向無線環境下での深部JSCCの安全性と堅牢性を大幅に向上させる。
論文 参考訳(メタデータ) (2025-11-03T11:24:06Z) - WACA-UNet: Weakness-Aware Channel Attention for Static IR Drop Prediction in Integrated Circuit Design [22.68767218144094]
従来のシミュレーションベースの解法は計算コストが高く、スケールが難しい。
我々は、不均一な多チャンネル物理地図上での画素単位の回帰タスクとしてIRドロップ推定を再構成することで、この問題に対処する。
論文 参考訳(メタデータ) (2025-07-25T12:07:16Z) - CATRO: Channel Pruning via Class-Aware Trace Ratio Optimization [61.71504948770445]
本稿では,CATRO (Class-Aware Trace Ratio Optimization) を用いた新しいチャネルプルーニング手法を提案する。
CATROは、他の最先端チャネルプルーニングアルゴリズムと同等の精度で、同様のコストまたは低コストで高い精度を達成できることを示す。
CATROは、クラス認識の特性のため、様々な分類サブタスクに適応的に効率の良いネットワークを創り出すのに適している。
論文 参考訳(メタデータ) (2021-10-21T06:26:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。