論文の概要: Relative Repairability: A Calibration-Based Diagnostic for High-Sparsity Post-Pruning Allocation
- arxiv url: http://arxiv.org/abs/2605.25508v1
- Date: Mon, 25 May 2026 07:12:38 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-26 19:50:19.431284
- Title: Relative Repairability: A Calibration-Based Diagnostic for High-Sparsity Post-Pruning Allocation
- Title(参考訳): 相対的修復性: キャリブレーションに基づく高分解能後割当の診断
- Authors: Qishi Zhan, Liang He, Minxuan Hu, Ziheng Chen,
- Abstract要約: 相対修復性 (RR) はキャリブレーションに基づく診断であり、層状プルーニングによる生の活性化歪みとチャネル状分散整合修復後の残留歪みを比較する。
RRはアーキテクチャ依存の回復可能性遷移(Recoverability transition)の近くで最も有用であり、標準的な構造や大きさに基づくアロケーションが信頼性を失い始めるが、修復後のリカバリはまだ完全には崩壊していない。
これらの結果から, 高い疎水性プルーニングは, 保持重量だけでなく, 修復性にも寄与することが示唆された。
- 参考スコア(独自算出の注目度): 12.288779306467768
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: At very high sparsity, neural network pruning does more than decide which weights remain. It also determines where pruning induced damage is placed across the network, and whether that damage can be recovered by a fixed lightweight repair procedure. We study this problem through the lens of repair conditioned sparsity allocation. We introduce Relative Repairability (RR), a calibration based diagnostic that compares the raw activation distortion caused by layerwise pruning with the residual distortion left after channelwise variance matching repair. RR estimates the fraction of local damage that remains after repair, using only unlabeled calibration data. Across ResNet18, ResNet34, and VGG16 BN on CIFAR10 and CIFAR100, we find that RR is not a universally dominant allocation rule. Instead, it is most useful near an architecture dependent recoverability transition, where standard structural or magnitude based allocation priors begin to lose reliability but post repair recovery has not yet fully collapsed. On CIFAR100 ResNet18, a fine grained sweep shows that RR improves over ERK across the central transition band and surpasses LAMP near the upper part of this band. A projection forced ablation further shows that capped ERK can over protect projection layers, shifting excessive sparsity onto regular convolutions and reducing post repair recovery. These results suggest that high sparsity pruning should allocate not only retained weights, but also repairable damage.
- Abstract(参考訳): 非常に広い範囲で、ニューラルネットワークのプルーニングは、どの重みが残っているかを決定する以上のことができる。
また、プルーニングによる損傷がネットワーク全体でどこに置かれているか、また、固定された軽量の修復手順で損傷を回復できるかどうかも判断する。
補修条件付き空間配置のレンズを用いてこの問題について検討する。
キャリブレーションに基づく診断法であるRelative repairability (RR) を導入する。
RRは、未ラベルのキャリブレーションデータのみを使用して、修理後に残る局所的な損傷のごく一部を推定する。
CIFAR10 および CIFAR100 上の ResNet18, ResNet34, VGG16 BN 全体で、RR は普遍的に支配的なアロケーションルールではない。
その代わり、アーキテクチャ依存の回復可能性移行(Recoverability transition)の近くでは最も有用であり、標準的な構造的あるいはマグニチュードベースのアロケーションが信頼性を失い始めるが、修復後のリカバリはまだ完全には崩壊していない。
CIFAR100 ResNet18では、RRが中央遷移帯を横断するERKよりも改善し、この帯域の上部付近でLAMPを上回っている。
さらに、プロジェクション強制アブレーションは、キャップされたERKがプロジェクション層を保護し、過剰な間隔を通常の畳み込みにシフトし、修復後の回復を減少させることができることを示している。
これらの結果から, 高い疎水性プルーニングは, 保持重量だけでなく, 修復性にも寄与することが示唆された。
関連論文リスト
- Guarded Repair for Harm-Aware Post-hoc Replacement of LLM Mathematical Reasoning [0.0]
GuardedRepairは、キャッシュされた推論トレースを診断し、修正を選択的にトリガーし、答えを変える候補を受け入れる、最高のN修復フレームワークである。
GuardedRepairは、固定/壊れたトレードオフを大幅に改善すると同時に、削除されるよりも、置き換えのリスクが低減されることを示す。
論文 参考訳(メタデータ) (2026-05-23T14:51:13Z) - Clipping Bottleneck: Stabilizing RLVR via Stochastic Recovery of Near-Boundary Signals [83.0127582612634]
Near-boundary Rescue (NSR) は最小限のプラグ・アンド・プレイの修正であり、失った信号を回復するために、アウト・オブ・バウンドトークンを保持する。
NSRはトレーニングの安定性を大幅に改善し、DAPOやGSPOといった強力なベースライン上で一貫したゲインを提供する。
論文 参考訳(メタデータ) (2026-05-21T16:45:31Z) - How Sparsity Allocation Shapes Label-Free Post-Pruning Recoverability [4.9112670395105305]
プレニング後の修復法は部分的に崩壊したスパースモデルを復元できるが、その有効性は上流のプルースアロケーションが残したスパースモデルに依存する。
本稿では, 固定されたアクティベーション統計補修バックエンドにおいて, 空間配置が修復後の回復性にどう影響するかを考察する。
論文 参考訳(メタデータ) (2026-05-21T04:03:24Z) - Adaptive Signal Resuscitation: Channel-wise Post-Pruning Repair for Sparse Vision Networks [8.5133415329194]
1発のマグニチュードプルーニングは、高スパーシティ・レシエーションにおいて深刻な精度の崩壊を引き起こす可能性がある。
そこで我々は,ASR (Adaptive Signal Resuscitation) を訓練不要なチャネルワイズ修復法として提案する。
ASRは、各出力チャネルの分散マッチング補正を推定し、データ駆動収縮規則で安定化する。
論文 参考訳(メタデータ) (2026-05-20T17:19:01Z) - DegBins: Degradation-Driven Binning for Depth Super-Resolution [57.61783461543096]
DegBinsは、劣化駆動のビンニングを利用して残留モデリングを適応的に強化する新しいDSRフレームワークである。
DegBinsは、精度、堅牢性、一般化の観点から、既存の最先端メソッドを一貫して上回っている。
論文 参考訳(メタデータ) (2026-05-10T16:17:11Z) - Restoration-Aligned Generative Flow Models for Blind Motion Deblurring [57.425021485907756]
本稿では,フロー軌跡自体を再構成することで,不整合を解消するフレームワークであるDeFlowを紹介する。
この定式化の下では、標準フローマッチング損失は自然に残留損失の形を取る。
GoPro、HIDE、RealBlur、RWBIの実験では、DeFlowは強力な復元忠実性と知覚リアリズムを実現している。
論文 参考訳(メタデータ) (2026-05-09T10:05:51Z) - Exactness Matters for Physical Rule Enforcement [4.230349220081444]
より強い物理ルールの執行がいつ信頼できるか、いつそれが流通シフトの源となるかは、まだ不明である。
この問題は作用素の正確性(すなわち、補修写像が対象多様体上の恒等写像であるかどうか)を通して研究する。
制御ミスマッチ、スクリーニングされたクリーンアップ、アダプティブゲーティング、および外部バックボーンチェックは、最適な近似登録操作ポイントが生またはほぼ同一であることを示す。
論文 参考訳(メタデータ) (2026-05-08T07:59:59Z) - ANNEAL: Adapting LLM Agents via Governed Symbolic Patch Learning [12.44509691077682]
本稿では,繰り返し発生する障害をプロセス知識グラフのシンボル編集に変換する神経シンボルエージェントであるANNEALを紹介する。
その中核となるメカニズムであるFDKA(Failure-Driven Knowledge Acquisition)は、責任のあるオペレータをローカライズし、制約付きLLM生成を通じて型付きパッチを合成し、提案を検証する。
4つのドメインと27のマルチシードランをまたいだANNEALは、永続的な構造修復を行う唯一の評価システムである。
論文 参考訳(メタデータ) (2026-05-04T05:24:03Z) - Beyond calibration: estimating the grouping loss of modern neural
networks [68.8204255655161]
適切なスコアリングルール理論は、キャリブレーション損失が与えられた場合、個々のエラーを特徴づける欠片がグループ化損失であることを示している。
視覚およびNLPにおける現代のニューラルネットワークアーキテクチャは、特に分散シフト設定においてグループ化損失を示す。
論文 参考訳(メタデータ) (2022-10-28T07:04:20Z) - Localized Calibration: Metrics and Recalibration [133.07044916594361]
完全大域キャリブレーションと完全個別化キャリブレーションのギャップにまたがる細粒度キャリブレーション指標を提案する。
次に,局所再校正法であるLoReを導入し,既存の校正法よりもLCEを改善する。
論文 参考訳(メタデータ) (2021-02-22T07:22:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。