論文の概要: Spectral Surgery: Class-Targeted Post-Hoc Rebalancing via Hessian Spike Perturbation

• arxiv url: http://arxiv.org/abs/2605.07790v1
• Date: Fri, 08 May 2026 14:27:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-11 19:43:39.112185
• Title: Spectral Surgery: Class-Targeted Post-Hoc Rebalancing via Hessian Spike Perturbation
• Title（参考訳）: 腹腔鏡下手術 : Hessian Spike perturbation によるHOC後再バランス
• Authors: Hugo Vigna, Samuel Bontemps,
• Abstract要約: 訓練された深層ネットワークのヘッセンスペクトルは特徴的構造を示す: ほぼゼロに近い固有値の連続バルクと少数の大きなアウトリーな固有値(スパイク) 本稿では,スパイク固有ベクトルに沿ったモデル重みを直接摂動させて,クラスごとの精度を再調整する,ポストホック最適化手法であるスペクトル手術を提案する。 我々は,CIFAR-10とISIC 2019において,バランスの取れた精度と標準偏差の両面での奨励的な結果を得た。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The Hessian spectrum of trained deep networks exhibits a characteristic structure: a continuous bulk of near-zero eigenvalues and a small number of large outlier eigenvalues (spikes), confirming the relevance of Random Matrix Theory in deep learning. The spike count matches the number of classes minus one. While prior work has described this structure, no method has exploited it operationally to improve classification performance. We propose Spectral Surgery, a post-hoc optimization method that directly perturbs model weights along spike eigenvectors to rebalance per-class accuracy without retraining. We introduce (i) a spike-class sensitivity matrix that quantifies the directional derivative of each class's accuracy along each spike eigenvector, (ii) a constrained optimization of perturbation coefficients that targets weak classes while preserving strong ones, and (iii) an adaptive amplitude control that raises or lowers the perturbation budget based on iteration-level improvement signals. We obtain encouraging results on CIFAR-10 and ISIC-2019 on both balanced accuracy and standard deviation.
• Abstract（参考訳）: 訓練された深層ネットワークのヘッセンスペクトルは特徴的構造を示す: ほぼゼロに近い固有値の連続バルクと少数の大きなアウトリーな固有値(スパイク)は、ディープラーニングにおけるランダム行列理論の関連性を確認する。 スパイク数はクラス数に比例する。 以前の研究では、この構造を記述していたが、分類性能を改善するために運用的に利用した手法は存在しなかった。 本稿では,スパイク固有ベクトルに沿ったモデル重みを直接摂動させて,クラスごとの精度を再調整する,ポストホック最適化手法であるスペクトル手術を提案する。 紹介 (i)各スパイク固有ベクトルに沿って各クラスの精度の方向微分を定量化するスパイククラスの感度行列。 (二)強いものを保持しながら弱いクラスをターゲットにした摂動係数の制約付き最適化 三 反復レベル改善信号に基づいて摂動予算を上昇又は低下させる適応振幅制御 CIFAR-10 と ISIC-2019 の精度と標準偏差の両面での促進効果を得た。

関連論文リスト

• ORTHOBO: Orthogonal Bayesian Hyperparameter Optimization [31.941089890706348]
  騒々しい買収予測は 不安定な決定につながる 我々は,アンサンブルサロゲートと外部ログ変換を備えたベイズ最適化フレームワークOrthoBOを紹介する。 理論的には, 推定器が目標を保ち, ばらつきを低減し, ペアのランク安定性を向上することを示す。
  論文  参考訳（メタデータ） (2026-05-07T15:49:03Z)
• Variational Rectification Inference for Learning with Noisy Labels [74.85528327499662]
  損失関数の適応的補正を定式化するために, 変分補正推論(VRI)を提案する。 VRIは、補正ベクトルを潜在変数として扱うことによって階層ベイズとして構成される。 VRIで変分項を導入することにより、条件付き後部を正確に推定し、ディラックデルタ関数への崩壊を避ける。
  論文  参考訳（メタデータ） (2026-03-18T01:25:08Z)
• Purifying Shampoo: Investigating Shampoo's Heuristics by Decomposing its Preconditioner [25.56447816096372]
  計算コンテストにおけるShampooの最近の成功Perfは、ニューラルネットワークのトレーニングのためのKroneckerfactorizationベースのアルゴリズムに新たな関心を喚起した。 我々は、Adamからのグラフトは、プレコンディショナーの固有値の安定化と誤スケーリングを直接緩和することを示す。 本稿では,暖かくスタートしたQRアルゴリズムを終了させることにより,固有ベイジ周波数を決定するための適応的基準を提案する。
  論文  参考訳（メタデータ） (2025-06-04T05:55:41Z)
• Benign Overfitting and the Geometry of the Ridge Regression Solution in Binary Classification [75.01389991485098]
  リッジ回帰はクラスタ平均ベクトルのスケールによって定性的に異なる挙動を示す。 スケールが非常に大きいレジームでは、良心過剰を許容する条件は回帰タスクと同一であることが判明した。
  論文  参考訳（メタデータ） (2025-03-11T01:45:42Z)
• Deep Imbalanced Regression via Hierarchical Classification Adjustment [50.19438850112964]
  コンピュータビジョンにおける回帰タスクは、しばしば、対象空間をクラスに定量化することで分類される。 トレーニングサンプルの大多数は目標値の先頭にあるが、少数のサンプルは通常より広い尾幅に分布する。 不均衡回帰タスクを解くために階層型分類器を構築することを提案する。 不均衡回帰のための新しい階層型分類調整(HCA)は,3つのタスクにおいて優れた結果を示す。
  論文  参考訳（メタデータ） (2023-10-26T04:54:39Z)
• The Lipschitz-Variance-Margin Tradeoff for Enhanced Randomized Smoothing [85.85160896547698]
  ディープニューラルネットワークの現実的な応用は、ノイズの多い入力や敵攻撃に直面した場合、その不安定な予測によって妨げられる。 入力にノイズ注入を頼りに、認証された半径を持つ効率的な分類器を設計する方法を示す。 新たな認証手法により、ランダムな平滑化による事前学習モデルの使用が可能となり、ゼロショット方式で現在の認証半径を効果的に改善できる。
  論文  参考訳（メタデータ） (2023-09-28T22:41:47Z)
• Consensus-Adaptive RANSAC [104.87576373187426]
  本稿では,パラメータ空間の探索を学習する新しいRANSACフレームワークを提案する。 注意機構は、ポイント・ツー・モデル残差のバッチで動作し、軽量のワンステップ・トランスフォーマーで見いだされたコンセンサスを考慮するために、ポイント・ツー・モデル推定状態を更新する。
  論文  参考訳（メタデータ） (2023-07-26T08:25:46Z)
• Noise Stability Optimization for Finding Flat Minima: A Hessian-based Regularization Approach [18.009376840944284]
  本稿では,ヘッセン損失行列を効果的に正規化できるアルゴリズムを提案する。 提案手法は,CLIPとチェーン・オブ・ファインチューニングデータセットの事前学習における一般化の改善に有効である。
  論文  参考訳（メタデータ） (2023-06-14T14:58:36Z)
• Consistency Regularization for Certified Robustness of Smoothed Classifiers [89.72878906950208]
  最近のランダムな平滑化技術は、最悪の$ell$-robustnessを平均ケースのロバストネスに変換することができることを示している。 その結果,スムーズな分類器の精度と信頼性の高いロバスト性とのトレードオフは,ノイズに対する予測一貫性の規則化によって大きく制御できることが判明した。
  論文  参考訳（メタデータ） (2020-06-07T06:57:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。