論文の概要: Optimal Explicit and Implicit Regularization Strengths in High-Dimensional Continual Linear Regression
- arxiv url: http://arxiv.org/abs/2610.20804v1
- Date: Wed, 14 Oct 2026 18:51:18 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-16 19:13:16.024409
- Title: Optimal Explicit and Implicit Regularization Strengths in High-Dimensional Continual Linear Regression
- Title（参考訳）: 高次元連続線形回帰における最適明示的および必然的正則化強度
- Abstract要約: 学習者がタスクの連続を観察し、そのパラメータを逐次更新する高次元状態における連続線形回帰について検討する。
最適の固定ステップサイズがタスク数とほぼ逆転することを示す。
このスケーリングの下では、結果の一般化損失は最適に調整されたL2(等方性)正規化によって達成されるものと同値であることを示す。
- 参考スコア（独自算出の注目度）: 19.953035688635918
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We study continual linear regression in a high-dimensional regime, where a learner observes a sequence of tasks and updates its parameters sequentially. In this setting, we derive an explicit closed-form expression for the generalization loss of a model trained with gradient descent for a fixed number of steps per task, which holds for arbitrary teachers. We prove that the optimal fixed step size decays nearly inversely with the number of tasks, specifically as $\ln T / T$, for a single teacher and, more generally, i.i.d. teachers. Under this scaling, we show that the resulting generalization loss is asymptotically equivalent to that achieved by optimally tuned L2 (isotropic) regularization. Furthermore, we extend our analysis to generalized ridge regression with diagonal regularization matrices, obtaining a closed-form characterization of the generalization loss and identifying necessary and sufficient conditions under which the optimal regularizer is isotropic. Finally, we identify a regime where the optimal step size remains finite even as the number of tasks tends to infinity, thus revealing a non-trivial tradeoff between task variability and implicit regularization, in contrast to the i.i.d. teacher scaling. Our theoretical predictions are corroborated by experiments on both linear models and neural networks, providing practical guidance for the design of continual learning systems.
- Abstract（参考訳）: 学習者がタスクの連続を観察し、そのパラメータを逐次更新する高次元状態における連続線形回帰について検討する。
この設定では、任意の教師が持つタスク毎の一定のステップ数に対して、勾配降下で訓練されたモデルの一般化損失に対する明示的なクローズドフォーム式を導出する。
最適の固定ステップサイズは、特に1人の教師とより一般的にはi.d.教師のタスク数、例えば$\ln T / T$とほぼ逆向きに崩壊することを示す。
このスケーリングの下では、結果として生じる一般化損失は、最適に調整されたL2(等方性)正規化によって達成される一般化損失と漸近的に等価であることを示す。
さらに,本解析を対角正則化行列による一般化リッジ回帰に拡張し,一般化損失の閉形式的特徴付けと最適正則化器が等方性を持つ必要十分条件の同定を行う。
最後に,タスクの数が無限大になる傾向にあるにもかかわらず,最適なステップサイズが有限である体制を同定し,教師のスケーリングとは対照的に,タスクの変動性と暗黙の正規化との間の非自明なトレードオフを明らかにする。
我々の理論的予測は線形モデルとニューラルネットワークの両方の実験によって裏付けられ、連続的な学習システムの設計のための実践的なガイダンスを提供する。
関連論文リスト
- Expectation Error Bounds for Transfer Learning in Linear Regression and Linear Neural Networks [11.687087085203686]
我々は,主課題の一般化において,補助データがいつ,どのように役立つか,という新たな知見を提供する。
線形回帰については、期待される一般化誤差に対する正確な閉形式式を導出する。
幅$q leq K$の共有表現を持つ線形ニューラルネットワークの場合、K$は補助的なタスクの数である。
論文 参考訳（メタデータ） (2026-03-30T17:50:52Z) - Optimal L2 Regularization in High-dimensional Continual Linear Regression [23.755622734693134]
等方性正規化は,教師設定と教師設定の両方でラベルノイズを緩和することを示す。
最適な固定正則化強度は、タスク数$T$、具体的には$T/ln T$とほぼ線形にスケールすることを示す。
論文 参考訳（メタデータ） (2026-01-20T10:58:14Z) - Revisiting Zeroth-Order Optimization: Minimum-Variance Two-Point Estimators and Directionally Aligned Perturbations [57.179679246370114]
乱摂動の分布は, 摂動段差がゼロになる傾向にあるため, 推定子の分散を最小限に抑える。
以上の結果から, 一定の長さを維持するのではなく, 真の勾配に方向を合わせることが可能であることが示唆された。
論文 参考訳（メタデータ） (2025-10-22T19:06:39Z) - Distribution-dependent Generalization Bounds for Tuning Linear Regression Across Tasks [24.2043855572415]
L1係数とL2係数をチューニングする際の検証損失に対する一般化誤差の分布依存境界を求める。
我々はその結果をリッジ回帰の一般化にまで拡張し、そこでは基底真理分布の平均を考慮に入れたより厳密な境界を達成する。
論文 参考訳（メタデータ） (2025-07-07T15:08:45Z) - A Statistical Theory of Regularization-Based Continual Learning [10.899175512941053]
線形回帰タスクの順序に基づく正規化に基づく連続学習の統計的解析を行う。
まず、全てのデータが同時に利用可能であるかのように得られたオラクル推定器の収束率を導出する。
理論解析の副産物は、早期停止と一般化された$ell$-regularizationの等価性である。
論文 参考訳（メタデータ） (2024-06-10T12:25:13Z) - Theoretical Characterization of the Generalization Performance of
Overfitted Meta-Learning [70.52689048213398]
本稿では,ガウス的特徴を持つ線形回帰モデルの下で,過剰適合型メタラーニングの性能について検討する。
シングルタスク線形回帰には存在しない新しい興味深い性質が見つかる。
本分析は,各訓練課題における基礎的真理のノイズや多様性・変動が大きい場合には,良心過剰がより重要かつ容易に観察できることを示唆する。
論文 参考訳（メタデータ） (2023-04-09T20:36:13Z) - Understanding Incremental Learning of Gradient Descent: A Fine-grained
Analysis of Matrix Sensing [74.2952487120137]
GD(Gradient Descent)は、機械学習モデルにおいて、良い一般化に対する暗黙のバイアスをもたらすと考えられている。
本稿では,行列センシング問題に対するGDのダイナミクスを詳細に解析する。
論文 参考訳（メタデータ） (2023-01-27T02:30:51Z) - Analysis of Catastrophic Forgetting for Random Orthogonal Transformation
Tasks in the Overparameterized Regime [9.184987303791292]
可変MNIST画像分類タスクでは,バニラ勾配降下により訓練された多層パーセプトロンの性能を向上させることができることを示す。
定性的に類似した2タスク線形回帰問題を研究することによって、この効果を理論的に説明する。
モデルが追加の正規化なしで連続的に2つのタスクで訓練された場合、最初のタスクのリスクゲインは小さくなることを示す。
論文 参考訳（メタデータ） (2022-06-01T18:04:33Z) - On the Double Descent of Random Features Models Trained with SGD [78.0918823643911]
勾配降下(SGD)により最適化された高次元におけるランダム特徴(RF)回帰特性について検討する。
本研究では, RF回帰の高精度な非漸近誤差境界を, 定常および適応的なステップサイズSGD設定の下で導出する。
理論的にも経験的にも二重降下現象を観察する。
論文 参考訳（メタデータ） (2021-10-13T17:47:39Z) - Benign Overfitting of Constant-Stepsize SGD for Linear Regression [122.70478935214128]
帰納バイアスは 経験的に過剰フィットを防げる中心的存在です
この研究は、この問題を最も基本的な設定として考慮している: 線形回帰に対する定数ステップサイズ SGD。
我々は、(正規化されていない)SGDで得られるアルゴリズム正則化と、通常の最小二乗よりも多くの顕著な違いを反映する。
論文 参考訳（メタデータ） (2021-03-23T17:15:53Z) - On the Generalization of Stochastic Gradient Descent with Momentum [58.900860437254885]
まず,アルゴリズムの安定性が一般化保証の確立に失敗する凸損失関数が存在することを示す。
滑らかなリプシッツ損失関数に対して、修正モーメントに基づく更新規則を解析し、一般化誤差の上界を認めることを示す。
強凸損失関数の特別な場合において、標準 SGDM の複数のエポックが SGDEM の特別な形式として一般化されるような運動量の範囲を見出す。
論文 参考訳（メタデータ） (2021-02-26T18:58:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。