論文の概要: Spectral-Aware Analytic Class-Incremental Learning for Long-Tailed Distributions
- arxiv url: http://arxiv.org/abs/2607.22931v1
- Date: Fri, 24 Jul 2026 22:12:15 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-28 22:34:14.932357
- Title: Spectral-Aware Analytic Class-Incremental Learning for Long-Tailed Distributions
- Title（参考訳）: 長周期分布に対するスペクトル認識型クラスインクリメンタル学習
- Abstract要約: 解析的連続学習は、勾配に基づくアプローチに対する計算的に効率的な代替手段を提供する。
近年のACL法は, 長期分布を特徴とする授業増進学習のシナリオにおいて, 大きく変化している。
本稿では,長期学習をスペクトル正則化問題として扱う理論的基盤の枠組みである幾何スペクトル整流法(GSR)を提案する。
- 参考スコア（独自算出の注目度）: 17.58096703161218
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Analytic Continual Learning (ACL) offers a computationally efficient alternative to gradient-based approaches. Recent ACL methods are based on Recursive Least Squares (RLS) and have achieved the state-of-the-art results compared to other alternatives. However, they falter significantly in Class-Incremental Learning scenarios characterized by Long-Tailed distributions. While the ill-conditioning of the autocorrelation (Gram) matrix is a known limitation of RLS, we demonstrate that class imbalance exacerbates this issue into a distinct spectral pathology: "tail" classes suffer from severe spectral collapse, rendering their subspaces numerically indistinguishable from noise. Standard Ridge Regression ($L_2$) fails to address this effectively as it applies isotropic regularization - a uniform penalty that is insufficient to stabilize the tail without over-shrinking the head. To address this, we propose Geometry-Spectral Rectification (GSR), a theoretically grounded framework that treats long-tailed learning as a spectral regularization problem. Unlike standard isotropic regularization (Ridge) which uniformly penalizes all eigenvalues, GSR acts as an anisotropic spectral filter, selectively inflating the collapsed eigenvalues of tail classes. We construct a structured, data-dependent spectral perturbation matrix $Δ$ that selectively inflates collapsed tail eigen-directions of the Gram matrix. Theoretical analysis proves that GSR guarantees an improved stable rank for the Gram matrix, ensuring numerical stability. Extensive experiments show that GSR establishes a new state-of-the-art for analytic CIL, offering a superior trade-off between computational efficiency and robust generalization in long-tailed settings.
- Abstract（参考訳）: 解析連続学習(ACL)は、勾配に基づくアプローチに代わる計算効率の良い代替手段を提供する。
最近のACL法はRecursive Least Squares (RLS)に基づいており、他の方法と比較して最先端の結果が得られている。
しかし,Long-Incremental Learningのシナリオでは,Long-Tailed分布が特徴的であった。
自己相関行列(Gram)の条件付けはRSSの既知の制限であるが、クラス不均衡がこの問題を別のスペクトル病理へと悪化させることを実証する:「テール」クラスは激しいスペクトル崩壊に悩まされ、それらの部分空間はノイズと数値的に区別できない。
標準リッジ回帰(英: Standard Ridge Regression、L_2$)は、等方正則化(等方正則化)を適用するため、頭部を過度に収縮させることなく尾を安定させるのに不十分な均一なペナルティである。
そこで本研究では,長期学習をスペクトル正規化問題として扱う理論的基盤を持つフレームワークであるGeometry-Spectral Rectification (GSR)を提案する。
すべての固有値を均一にペナル化する標準等方正則化(Ridge)とは異なり、GSRは異方性スペクトルフィルタとして機能し、テールクラスの崩壊固有値を選択的に膨らませる。
我々は、グラマー行列の崩壊したテール固有方向を選択的に膨らませる構造化されたデータ依存スペクトル摂動行列$Δ$を構築した。
理論的解析により、GSRはグラマー行列の安定した階数を保証することが証明され、数値的な安定性が保証される。
大規模な実験により、GSRは解析的CILのための新しい最先端技術を確立し、長い尾の環境での計算効率とロバストな一般化のトレードオフが優れていることが示されている。
関連論文リスト
- ALCL: An Adaptive Log-Correntropy Loss for Robust Learning under Non-Gaussian Noise [0.4078247440919472]
本稿では,適応型対数コレントロピー損失(ALCL)を提案し,最適化中のロバストネスの幾何を適応的に学習する。
ALCLはMSEを一貫して上回り、再構成忠実度と下流分類精度の両方において最適にコレントロピー損失を一般化する。
これらの結果は,非ガウス環境下での学習における静的コレントロピーに基づく損失に対して,損失パラメータの連成学習による適応的ロバスト性は,計算的に効率的であることを示す。
論文 参考訳（メタデータ） (2026-06-14T22:49:57Z) - Spectral Surgery: Class-Targeted Post-Hoc Rebalancing via Hessian Spike Perturbation [0.0]
訓練された深層ネットワークのヘッセンスペクトルは特徴的構造を示す: ほぼゼロに近い固有値の連続バルクと少数の大きなアウトリーな固有値(スパイク)
本稿では,スパイク固有ベクトルに沿ったモデル重みを直接摂動させて,クラスごとの精度を再調整する,ポストホック最適化手法であるスペクトル手術を提案する。
我々は,CIFAR-10とISIC 2019において,バランスの取れた精度と標準偏差の両面での奨励的な結果を得た。
論文 参考訳（メタデータ） (2026-05-08T14:27:41Z) - Majorization-Minimization Networks for Inverse Problems: An Application to EEG Imaging [4.063392865490957]
逆問題はしばしば誤りを犯し、強い安定性と収束を保証する最適化スキームを必要とする。
本稿では,二段階最適化設定における逆問題に対する学習されたMajorization-Minimization(MM)フレームワークを提案する。
我々は,古典的MM降下保証を保ちながら,各MMステップを管理する構造化曲率行列を学習する。
論文 参考訳（メタデータ） (2026-01-23T10:33:45Z) - SIGMA: Scalable Spectral Insights for LLM Collapse [51.863164847253366]
SIGMA(Spectral Inequalities for Gram Matrix Analysis)は,モデル崩壊のための統一的なフレームワークである。
行列のスペクトル上の決定論的境界を導出するベンチマークを利用することで、SIGMAは表現空間の収縮を追跡するために数学的に基底化された計量を提供する。
我々は、SIGMAが状態への遷移を効果的に捉え、崩壊のメカニズムに関する理論的知見の両方を提供することを示した。
論文 参考訳（メタデータ） (2026-01-06T19:47:11Z) - Graph-based Clustering Revisited: A Relaxation of Kernel $k$-Means Perspective [73.18641268511318]
本稿では,クラスタリング結果を導出するための正規制約のみを緩和するグラフベースのクラスタリングアルゴリズムを提案する。
二重制約を勾配に変換するために、非負の制約をクラス確率パラメータに変換する。
論文 参考訳（メタデータ） (2025-09-23T09:14:39Z) - Structural Effect and Spectral Enhancement of High-Dimensional Regularized Linear Discriminant Analysis [3.0517619877113358]
正規化線形判別分析(RLDA)は、分類と次元減少のための広く使われているツールである。
既存のRLDAの理論分析では、データ構造が分類性能に与える影響についての明確な洞察が欠けていることが多い。
本稿では,より高度な分類精度と次元減少を実現するためのスペクトル拡張判別分析(SEDA)アルゴリズムを提案する。
論文 参考訳（メタデータ） (2025-07-22T15:16:48Z) - Last-Iterate Convergence of Adaptive Riemannian Gradient Descent for Equilibrium Computation [52.73824786627612]
本稿では,テクスト幾何学的強単調ゲームに対する新たな収束結果を確立する。
我々のキーとなる結果は、RGDがテクスト幾何学的手法で最終定位線形収束を実現することを示しています。
全体として、ユークリッド設定を超えるゲームに対して、幾何学的に非依存な最終点収束解析を初めて提示する。
論文 参考訳（メタデータ） (2023-06-29T01:20:44Z) - Boosting Differentiable Causal Discovery via Adaptive Sample Reweighting [62.23057729112182]
異なるスコアに基づく因果探索法は観測データから有向非巡回グラフを学習する。
本稿では,Reweighted Score関数ReScoreの適応重みを動的に学習することにより因果発見性能を向上させるためのモデルに依存しないフレームワークを提案する。
論文 参考訳（メタデータ） (2023-03-06T14:49:59Z) - Optimal policy evaluation using kernel-based temporal difference methods [78.83926562536791]
カーネルヒルベルト空間を用いて、無限水平割引マルコフ報酬過程の値関数を推定する。
我々は、関連するカーネル演算子の固有値に明示的に依存した誤差の非漸近上界を導出する。
MRP のサブクラスに対する minimax の下位境界を証明する。
論文 参考訳（メタデータ） (2021-09-24T14:48:20Z) - Benign Overfitting of Constant-Stepsize SGD for Linear Regression [122.70478935214128]
帰納バイアスは 経験的に過剰フィットを防げる中心的存在です
この研究は、この問題を最も基本的な設定として考慮している: 線形回帰に対する定数ステップサイズ SGD。
我々は、(正規化されていない)SGDで得られるアルゴリズム正則化と、通常の最小二乗よりも多くの顕著な違いを反映する。
論文 参考訳（メタデータ） (2021-03-23T17:15:53Z) - Early stopping and polynomial smoothing in regression with reproducing kernels [2.0411082897313984]
再生カーネルヒルベルト空間(RKHS)における反復学習アルゴリズムの早期停止問題について検討する。
本稿では,いわゆる最小不一致原理に基づく検証セットを使わずに早期停止を行うデータ駆動型ルールを提案する。
提案したルールは、異なるタイプのカーネル空間に対して、ミニマックス最適であることが証明されている。
論文 参考訳（メタデータ） (2020-07-14T05:27:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。