論文の概要: Spectral Surgery: Class-Targeted Post-Hoc Rebalancing via Hessian Spike Perturbation

• arxiv url: http://arxiv.org/abs/2605.07790v1
• Date: Fri, 08 May 2026 14:27:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-11 19:43:39.112185
• Title: Spectral Surgery: Class-Targeted Post-Hoc Rebalancing via Hessian Spike Perturbation
• Title（参考訳）: 腹腔鏡下手術 : Hessian Spike perturbation によるHOC後再バランス
• Abstract要約: 訓練された深層ネットワークのヘッセンスペクトルは特徴的構造を示す: ほぼゼロに近い固有値の連続バルクと少数の大きなアウトリーな固有値(スパイク) 本稿では,スパイク固有ベクトルに沿ったモデル重みを直接摂動させて,クラスごとの精度を再調整する,ポストホック最適化手法であるスペクトル手術を提案する。 我々は,CIFAR-10とISIC 2019において,バランスの取れた精度と標準偏差の両面での奨励的な結果を得た。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The Hessian spectrum of trained deep networks exhibits a characteristic structure: a continuous bulk of near-zero eigenvalues and a small number of large outlier eigenvalues (spikes), confirming the relevance of Random Matrix Theory in deep learning. The spike count matches the number of classes minus one. While prior work has described this structure, no method has exploited it operationally to improve classification performance. We propose Spectral Surgery, a post-hoc optimization method that directly perturbs model weights along spike eigenvectors to rebalance per-class accuracy without retraining. We introduce (i) a spike-class sensitivity matrix that quantifies the directional derivative of each class's accuracy along each spike eigenvector, (ii) a constrained optimization of perturbation coefficients that targets weak classes while preserving strong ones, and (iii) an adaptive amplitude control that raises or lowers the perturbation budget based on iteration-level improvement signals. We obtain encouraging results on CIFAR-10 and ISIC-2019 on both balanced accuracy and standard deviation.
• Abstract（参考訳）: 訓練された深層ネットワークのヘッセンスペクトルは特徴的構造を示す: ほぼゼロに近い固有値の連続バルクと少数の大きなアウトリーな固有値(スパイク)は、ディープラーニングにおけるランダム行列理論の関連性を確認する。 スパイク数はクラス数に比例する。 以前の研究では、この構造を記述していたが、分類性能を改善するために運用的に利用した手法は存在しなかった。 本稿では,スパイク固有ベクトルに沿ったモデル重みを直接摂動させて,クラスごとの精度を再調整する,ポストホック最適化手法であるスペクトル手術を提案する。 紹介 (i)各スパイク固有ベクトルに沿って各クラスの精度の方向微分を定量化するスパイククラスの感度行列。 (二)強いものを保持しながら弱いクラスをターゲットにした摂動係数の制約付き最適化 三 反復レベル改善信号に基づいて摂動予算を上昇又は低下させる適応振幅制御 CIFAR-10 と ISIC-2019 の精度と標準偏差の両面での促進効果を得た。

関連論文リスト

• When Does Scale-Invariant Optimization Become Unstable? An Exact Schedule Law with Weight Decay [6.625270757109195]
  標準成長は、反対の幾何学的自己整合効果を誘導する一方、1つの量で全てのスケジュールと崩壊の強制を捉えていることを示す。 これは、収縮と拡張が支配する効果的な学習率体制をきれいに分離する鋭い境界をもたらす。
  論文  参考訳（メタデータ） (2026-09-08T17:46:17Z)
• Spectral-Aware Analytic Class-Incremental Learning for Long-Tailed Distributions [17.58096703161218]
  解析的連続学習は、勾配に基づくアプローチに対する計算的に効率的な代替手段を提供する。 近年のACL法は, 長期分布を特徴とする授業増進学習のシナリオにおいて, 大きく変化している。 本稿では,長期学習をスペクトル正則化問題として扱う理論的基盤の枠組みである幾何スペクトル整流法(GSR)を提案する。
  論文  参考訳（メタデータ） (2026-07-24T22:12:15Z)
• Gradient Clipping Beyond Vector Norms: A Spectral Approach for Matrix-Valued Parameters [48.3175117923623]
  ほとんどの勾配クリッピング規則は、全てのパラメータを重ベクトルとして扱い、現代のベクトルの行列構造を無視する。 実験により、データのアウトリーチは、少数のリード特異値のみを増幅することを示した。 この現象を動機として,特異値で安定化するクリッピングを提案する。
  論文  参考訳（メタデータ） (2026-05-12T09:24:59Z)
• ORTHOBO: Orthogonal Bayesian Hyperparameter Optimization [31.941089890706348]
  騒々しい買収予測は 不安定な決定につながる 我々は,アンサンブルサロゲートと外部ログ変換を備えたベイズ最適化フレームワークOrthoBOを紹介する。 理論的には, 推定器が目標を保ち, ばらつきを低減し, ペアのランク安定性を向上することを示す。
  論文  参考訳（メタデータ） (2026-05-07T15:49:03Z)
• Variational Rectification Inference for Learning with Noisy Labels [74.85528327499662]
  損失関数の適応的補正を定式化するために, 変分補正推論(VRI)を提案する。 VRIは、補正ベクトルを潜在変数として扱うことによって階層ベイズとして構成される。 VRIで変分項を導入することにより、条件付き後部を正確に推定し、ディラックデルタ関数への崩壊を避ける。
  論文  参考訳（メタデータ） (2026-03-18T01:25:08Z)
• Purifying Shampoo: Investigating Shampoo's Heuristics by Decomposing its Preconditioner [25.56447816096372]
  計算コンテストにおけるShampooの最近の成功Perfは、ニューラルネットワークのトレーニングのためのKroneckerfactorizationベースのアルゴリズムに新たな関心を喚起した。 我々は、Adamからのグラフトは、プレコンディショナーの固有値の安定化と誤スケーリングを直接緩和することを示す。 本稿では,暖かくスタートしたQRアルゴリズムを終了させることにより,固有ベイジ周波数を決定するための適応的基準を提案する。
  論文  参考訳（メタデータ） (2025-06-04T05:55:41Z)
• Benign Overfitting and the Geometry of the Ridge Regression Solution in Binary Classification [75.01389991485098]
  リッジ回帰はクラスタ平均ベクトルのスケールによって定性的に異なる挙動を示す。 スケールが非常に大きいレジームでは、良心過剰を許容する条件は回帰タスクと同一であることが判明した。
  論文  参考訳（メタデータ） (2025-03-11T01:45:42Z)
• Deep Imbalanced Regression via Hierarchical Classification Adjustment [50.19438850112964]
  コンピュータビジョンにおける回帰タスクは、しばしば、対象空間をクラスに定量化することで分類される。 トレーニングサンプルの大多数は目標値の先頭にあるが、少数のサンプルは通常より広い尾幅に分布する。 不均衡回帰タスクを解くために階層型分類器を構築することを提案する。 不均衡回帰のための新しい階層型分類調整(HCA)は,3つのタスクにおいて優れた結果を示す。
  論文  参考訳（メタデータ） (2023-10-26T04:54:39Z)
• The Lipschitz-Variance-Margin Tradeoff for Enhanced Randomized Smoothing [85.85160896547698]
  ディープニューラルネットワークの現実的な応用は、ノイズの多い入力や敵攻撃に直面した場合、その不安定な予測によって妨げられる。 入力にノイズ注入を頼りに、認証された半径を持つ効率的な分類器を設計する方法を示す。 新たな認証手法により、ランダムな平滑化による事前学習モデルの使用が可能となり、ゼロショット方式で現在の認証半径を効果的に改善できる。
  論文  参考訳（メタデータ） (2023-09-28T22:41:47Z)
• Consensus-Adaptive RANSAC [104.87576373187426]
  本稿では,パラメータ空間の探索を学習する新しいRANSACフレームワークを提案する。 注意機構は、ポイント・ツー・モデル残差のバッチで動作し、軽量のワンステップ・トランスフォーマーで見いだされたコンセンサスを考慮するために、ポイント・ツー・モデル推定状態を更新する。
  論文  参考訳（メタデータ） (2023-07-26T08:25:46Z)
• Noise Stability Optimization for Finding Flat Minima: A Hessian-based Regularization Approach [18.009376840944284]
  本稿では,ヘッセン損失行列を効果的に正規化できるアルゴリズムを提案する。 提案手法は,CLIPとチェーン・オブ・ファインチューニングデータセットの事前学習における一般化の改善に有効である。
  論文  参考訳（メタデータ） (2023-06-14T14:58:36Z)
• Consistency Regularization for Certified Robustness of Smoothed Classifiers [89.72878906950208]
  最近のランダムな平滑化技術は、最悪の$ell$-robustnessを平均ケースのロバストネスに変換することができることを示している。 その結果,スムーズな分類器の精度と信頼性の高いロバスト性とのトレードオフは,ノイズに対する予測一貫性の規則化によって大きく制御できることが判明した。
  論文  参考訳（メタデータ） (2020-06-07T06:57:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。