論文の概要: Denoised Variance-Based Pruning with Optimal Brain Bias Compensation

• arxiv url: http://arxiv.org/abs/2608.17657v1
• Date: Tue, 18 Aug 2026 11:23:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-19 21:40:53.317084
• Title: Denoised Variance-Based Pruning with Optimal Brain Bias Compensation
• Title（参考訳）: 最適脳バイアス補償を用いた微分可変型プルーニング
• Abstract要約: VBP(Variance-Based Pruning)は、ニューロンを活性化分散に基づいて選択することで有望なパラダイムを導入した。 Denoized Variance-based Pruning with Optimal Brain Bias Compensation (DVBP + OB$2$C)を紹介する。 最先端のトレーニングフリーのパフォーマンスを実現し、50%のプルーニングで、オリジナルのTop-1の精度の90%以上を維持できる。
• 参考スコア（独自算出の注目度）: 45.88028371034407
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Vision Transformers (ViTs) achieve state-of-the-art performance but carry massive computational overhead that restricts edge deployment. Although structural pruning has emerged as a key strategy to reduce these costs, existing methods often suffer from severe accuracy degradation or require expensive retraining. Recently, Variance-Based Pruning (VBP) introduced a promising paradigm by selecting neurons based on activation variance; however, it remains limited by statistical noise in finite-sample activation covariance and reliance on bias-only updates that cannot fully account for structural reconstruction error. To address these limitations, we introduce Denoised Variance-Based Pruning with Optimal Brain Bias Compensation (DVBP + OB$^2$C). We leverage random matrix theory to filter noise from the activation covariance spectrum for robust neuron selection and mathematically prove that integrating mean-shift compensation into the Optimal Brain Compression objective reduces the layer-wise Hessian exactly to the activation covariance matrix. This enables an optimal, closed-form update of the remaining weights using the same statistics gathered for selection. Extensive experiments on DeiT, Swin, and ConvNeXt architectures demonstrate that DVBP + OB$^2$C achieves state-of-the-art training-free performance; at 50% MLP pruning, it retains over 90% of the original Top-1 accuracy on Small and Base variants, outperforming VBP by up to 29.46% (ConvNeXt-T) and 7.33% (Swin-S). The code is available at: https://github.com/geontackee/DVBP_OB2C.
• Abstract（参考訳）: ビジョントランスフォーマー(ViT)は最先端のパフォーマンスを実現するが、エッジデプロイメントを制限する計算オーバーヘッドが大きい。 構造的な刈り取りはこれらのコストを削減するための重要な戦略として現れてきたが、既存の方法はしばしば深刻な精度の劣化や高価な再訓練を必要とする。 近年、VBP (Variance-Based Pruning) は、活性化分散に基づくニューロンの選択により、有望なパラダイムを導入したが、有限サンプル活性化共分散における統計的ノイズと、構造的再構成エラーを完全に考慮できないバイアスのみの更新への依存により、依然として制限されている。 これらの制約に対処するために、最適脳バイアス補償(DVBP + OB$^2$C)を用いたDenoized Variance-Based Pruningを導入する。 ランダムマトリクス理論を利用して、活性化共分散スペクトルからノイズをフィルタリングし、強靭なニューロン選択を行い、平均シフト補償を最適脳圧縮の目的に組み込むことで、活性化共分散マトリクスの層ワイド・ヘシアンを正確に減少させることを数学的に証明する。 これにより、選択のために収集された同じ統計を用いて、残りの重みの最適でクローズドな更新が可能になる。 DeiT、Swin、ConvNeXtアーキテクチャに関する大規模な実験では、DVBP + OB$^2$Cが最先端のトレーニングフリーのパフォーマンスを実現しており、50%のMLPプルーニングでは、Small とBase のオリジナルのTop-1の精度の90%以上を保持し、VBPを29.46%(ConvNeXt-T)、7.33%(Swin-S)で上回っている。 コードは、https://github.com/geontackee/DVBP_OB2Cで入手できる。

関連論文リスト

• Error-Conditioned Neural Solvers [36.51479208528461]
  ニューラルサロゲートモデルは、PDEパラメータから解への高速な近似マッピングを提供するが、それらは一般に純粋に統計的タスクとして解決を扱う。 最近のハイブリッド手法は、勾配降下またはガウス・ニュートンステップを介してPDE残差を目標とすることで物理的正当性を促進するが、基礎となる古典勾配の計算コストと不安定性を継承する。 理論的・実験的にPDE残差の数値最小化は、不調なシステムにおける再構成精度の信頼性の低いプロキシであることを示す。
  論文  参考訳（メタデータ） (2026-06-25T17:56:27Z)
• Selecting Samples on Graphs: A Unified Dataset Pruning Framework for Lossless Training Acceleration [71.77541419885925]
  グラフベースの統合DPフレームワークを提案する。 データセットを重み付きグラフとしてモデル化することにより、DPは最大重み付き傾き問題(MWCP)としてキャストできる。 ResNet-50でImageNet-1kの精度を犠牲にすることなく、トレーニング時間を40%以上短縮する。
  論文  参考訳（メタデータ） (2026-06-11T05:13:32Z)
• Residual-Controlled Multiplier Learning for Stochastic Constrained Decision-Making [12.04727482907937]
  CMLは、ミニバッチ条件下での一次フィードバック乗算器のノイズを追跡する問題に対処する。 乗算器を有限ゲイン乗算器と原始降下のための有効圧力信号に分解する。
  論文  参考訳（メタデータ） (2026-06-05T09:35:22Z)
• Direct Bethe Free Energy Minimization for Bayesian Neural Network [0.0]
  我々は,変分下界を最大化するのではなく,Bethe自由エネルギーを直接最小化してベイズニューラルネットワークを訓練することを提案する。 木構造因子グラフ上では、Bethe自由エネルギーは正確であり、決定論的層は目的から外れ、標準のバックプロパゲーションによって訓練される。 すべての変種は、アンサンブルやサンプリングベースの手法とは対照的に、MAP等価な推論コストで閉形式予測を許容する。
  論文  参考訳（メタデータ） (2026-05-08T20:12:48Z)
• DARTS: Targeting Prognostic Covariates in Budget-Constrained Sequential Experiments [47.61857875238484]
  我々はトンプソンサンプリング(DARTS)による動的適応的ランダム化を導入する。 DARTSは、共変量取得を設計に基づく因果推論タスクに埋め込まれた逐次最適化問題として扱う。 我々は,最小限の値と対数的因子とを一致させる獲得層に対してベイズリスクを導出する。
  論文  参考訳（メタデータ） (2026-05-07T17:27:51Z)
• ORTHOBO: Orthogonal Bayesian Hyperparameter Optimization [31.941089890706348]
  騒々しい買収予測は 不安定な決定につながる 我々は,アンサンブルサロゲートと外部ログ変換を備えたベイズ最適化フレームワークOrthoBOを紹介する。 理論的には, 推定器が目標を保ち, ばらつきを低減し, ペアのランク安定性を向上することを示す。
  論文  参考訳（メタデータ） (2026-05-07T15:49:03Z)
• Unbiased Dynamic Pruning for Efficient Group-Based Policy Optimization [60.87651283510059]
  Group Relative Policy Optimization (GRPO) はLLM推論を効果的にスケールするが、計算コストは禁じている。 本研究では,非バイアス勾配推定を保ちながら動的プルーニングを可能にする動的プルーニングポリシー最適化(DPPO)を提案する。 刈り込みによって引き起こされるデータの空間性を軽減するため,ウィンドウベースの欲求戦略であるDense Prompt Packingを導入する。
  論文  参考訳（メタデータ） (2026-03-04T14:48:53Z)
• From Noisy Traces to Stable Gradients: Bias-Variance Optimized Preference Optimization for Aligning Large Reasoning Models [90.45197506653341]
  大規模推論モデルは最終回答を生成する前に中間的推論トレースを生成する。 LRMと人間の好みの整合性は、モデルデプロイメントにとって重要な前提条件であり、まだ過小評価されていない。 共通の回避策は1つのサンプル軌道を最適化し、トレースサンプリングからかなり勾配のばらつきをもたらす。
  論文  参考訳（メタデータ） (2025-10-06T17:58:01Z)
• NIRVANA: Structured pruning reimagined for large language models compression [50.651730342011014]
  直近のゼロショット保存精度と頑健な微調整のバランスをとるために, NIRVANAを導入した。 構造化プルーニングによって引き起こされる固有の課題にさらに対処するため、NIRVANAは層やモジュール間の適応的な空間割当機構を取り入れている。 Llama3, Qwen, T5モデルで行った実験では、NIRVANAは等価な空間制約の下で既存の構造化プルーニング法よりも優れていた。
  論文  参考訳（メタデータ） (2025-09-17T17:59:00Z)
• Test-time Batch Statistics Calibration for Covariate Shift [66.7044675981449]
  我々は,推論中に深層モデルを新しい環境に適応させることを提案する。 バッチ統計の校正に$alpha$-BNの一般的な定式化を提案する。 また、統合テスト時間適応フレームワークCoreを形成するための新しい損失関数も提示する。
  論文  参考訳（メタデータ） (2021-10-06T08:45:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。