論文の概要: Continual Classification Beyond the Kernel Regime: Harnessing the Sparsity Bias of L2 Regularization in Diagonal Linear Networks
- arxiv url: http://arxiv.org/abs/2611.06759v1
- Date: Wed, 04 Nov 2026 16:38:46 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-06 03:25:58.204694
- Title: Continual Classification Beyond the Kernel Regime: Harnessing the Sparsity Bias of L2 Regularization in Diagonal Linear Networks
- Title（参考訳）: カーネルレジームを超えての連続的分類:対角線ネットワークにおけるL2正規化のスパーシティバイアスのハーネス化
- Abstract要約: 本稿では,L2正規化の重み付き変種を提案する。
我々は,従来の連続 L2 あるいは L1 正規化を用いた線形予測器を直接学習するよりも,我々の変種がかなり早く収束することを示す。
- 参考スコア（独自算出の注目度）: 25.611634887980518
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We study logistic regression for continual learning with linear predictors in a high-dimensional statistical setting. Existing theoretical work has largely focused on continual linear regression with variants of L2 regularization, motivated by their analytical simplicity and connection to the kernel regime of neural networks. We first derive the optimal L2 regularization strength for continual linear classification and characterize its generalization performance, recovering behavior analogous to prior results for continual linear regression. Next, we examine the effect of L2 regularization in deeper models using a minimal two-layer diagonal linear network. In the single-task setting, L2 regularization on the weights of such models is known to promote sparsity in the resulting predictor, yielding a rich, sparse feature-learning regime beyond the kernel regime (a similar effect arises in two-layer ReLU networks). However, in continual learning, where L2 regularization is typically centered on previous-task weights, this sparsity bias is no longer preserved. We therefore propose a weighted variant of L2 regularization that extends this beneficial sparsity bias to continual learning. We show theoretically and empirically that, for a sufficiently sparse teacher, our variant converges substantially faster than directly learning a linear predictor with conventional continual L2 or L1 regularization, trading some long-horizon bias for markedly improved performance over moderate task horizons.
- Abstract（参考訳）: 線形予測器を用いた連続学習のための高次元統計的条件下でのロジスティック回帰について検討する。
既存の理論的研究は、L2正則化の変種による連続線形回帰に主に焦点を当てており、その解析的単純さとニューラルネットワークのカーネル構造との結びつきが動機となっている。
まず、連続線形分類のための最適L2正規化強度を導出し、その一般化性能を特徴づけ、連続線形回帰のための先行結果に類似した挙動を回復する。
次に、最小二層対角線ネットワークを用いたより深いモデルにおけるL2正則化の効果について検討する。
シングルタスク設定では、そのようなモデルの重みに関するL2正規化は、結果として生じる予測器の空間性を促進することが知られ、カーネルレギュレーションを超えて、豊かでスパースな特徴学習レギュレーションをもたらす(同様の効果は2層ReLUネットワークで起こる)。
しかし、L2正規化が通常以前のタスク重みに集中している連続学習では、この空間バイアスはもはや保存されない。
そこで本研究では,L2正規化の重み付き変種を提案する。
十分スパースな教師にとって、我々の変異は従来の連続L2あるいはL1正規化による線形予測器を直接学習するよりもはるかに早く収束し、中等度なタスク水平線よりも顕著に性能を向上させるために、長い水平偏差を交換することを示した。
関連論文リスト
- Optimal Explicit and Implicit Regularization Strengths in High-Dimensional Continual Linear Regression [19.953035688635918]
学習者がタスクの連続を観察し、そのパラメータを逐次更新する高次元状態における連続線形回帰について検討する。
最適の固定ステップサイズがタスク数とほぼ逆転することを示す。
このスケーリングの下では、結果の一般化損失は最適に調整されたL2(等方性)正規化によって達成されるものと同値であることを示す。
論文 参考訳（メタデータ） (2026-10-14T18:51:18Z) - SGD in Multiclass Logistic Regression: Sequential Learning and Scaling Laws [55.81298869922287]
多数のクラスを持つ高次元ガウス混合モデルにおける多クラスロジスティック回帰のトレーニングダイナミクスについて検討する。
我々は,勾配に基づく最適化の下で,クロスエントロピーリスクを規定する厳密なスケーリング法則を確立する。
論文 参考訳（メタデータ） (2026-09-07T18:30:09Z) - Implicit Bias in Deep Linear Discriminant Analysis [2.3304389517825808]
本稿では,Deep LDAによって誘導される暗黙の正則化に関する最初の理論的解析について述べる。
L層対角線ネットワーク上での損失の勾配流を解析することにより、バランスの取れた初期化の下で、ネットワークアーキテクチャは標準加算勾配更新を乗法重み更新に変換することを証明した。
論文 参考訳（メタデータ） (2026-03-03T05:49:24Z) - ODELoRA: Training Low-Rank Adaptation by Solving Ordinary Differential Equations [54.886931928255564]
低ランク適応(LoRA)は、深層移動学習においてパラメータ効率の高い微調整法として広く採用されている。
常微分方程式(ODE)の形でLoRA因子行列に対する新しい連続時間最適化ダイナミクスを提案する。
ODELoRAは,問題次元の異なるスケールのディープニューラルネットワークのトレーニングに不可欠な特性である,安定した特徴学習を実現する。
論文 参考訳（メタデータ） (2026-02-07T10:19:36Z) - Optimal L2 Regularization in High-dimensional Continual Linear Regression [23.755622734693134]
等方性正規化は,教師設定と教師設定の両方でラベルノイズを緩和することを示す。
最適な固定正則化強度は、タスク数$T$、具体的には$T/ln T$とほぼ線形にスケールすることを示す。
論文 参考訳（メタデータ） (2026-01-20T10:58:14Z) - Towards understanding epoch-wise double descent in two-layer linear neural networks [11.210628847081097]
2層線形ニューラルネットワークにおけるエポックワイズ二重降下について検討した。
余剰モデル層で出現するエポックな2重降下の要因を同定した。
これは真に深いモデルに対するエポックワイズ二重降下の未同定因子に関するさらなる疑問を提起する。
論文 参考訳（メタデータ） (2024-07-13T10:45:21Z) - Learning Continually by Spectral Regularization [45.55508032009977]
連続学習アルゴリズムは、ネットワークのトレーニング性を維持しながら、良好な性能を維持することにより、可塑性の損失を軽減する。
我々は,初期化時のニューラルネットワークパラメータの特異値が学習の初期段階におけるトレーニング容易性の重要な要因であることから着想を得た,継続学習を改善するための新しい手法を開発した。
提案するスペクトル正規化器は,連続的な教師付きおよび強化学習環境において,様々なモデルアーキテクチャの訓練性と性能を維持可能であることを示す実験的検討を行った。
論文 参考訳（メタデータ） (2024-06-10T21:34:43Z) - Theoretical Characterization of the Generalization Performance of
Overfitted Meta-Learning [70.52689048213398]
本稿では,ガウス的特徴を持つ線形回帰モデルの下で,過剰適合型メタラーニングの性能について検討する。
シングルタスク線形回帰には存在しない新しい興味深い性質が見つかる。
本分析は,各訓練課題における基礎的真理のノイズや多様性・変動が大きい場合には,良心過剰がより重要かつ容易に観察できることを示唆する。
論文 参考訳（メタデータ） (2023-04-09T20:36:13Z) - Beyond the Edge of Stability via Two-step Gradient Updates [49.03389279816152]
Gradient Descent(GD)は、現代の機械学習の強力な仕事場である。
GDが局所最小値を見つける能力は、リプシッツ勾配の損失に対してのみ保証される。
この研究は、2段階の勾配更新の分析を通じて、単純だが代表的でありながら、学習上の問題に焦点をあてる。
論文 参考訳（メタデータ） (2022-06-08T21:32:50Z) - Kernel and Rich Regimes in Overparametrized Models [69.40899443842443]
過度にパラメータ化された多層ネットワーク上の勾配勾配は、RKHSノルムではないリッチな暗黙バイアスを誘発できることを示す。
また、より複雑な行列分解モデルと多層非線形ネットワークに対して、この遷移を実証的に示す。
論文 参考訳（メタデータ） (2020-02-20T15:43:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。