論文の概要: High-dimensional Asymptotics of Generalization Performance in Continual Ridge Regression

• arxiv url: http://arxiv.org/abs/2508.15494v1
• Date: Thu, 21 Aug 2025 12:21:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-22 16:26:46.313312
• Title: High-dimensional Asymptotics of Generalization Performance in Continual Ridge Regression
• Title（参考訳）: 連続尾根回帰における一般化性能の高次元漸近
• Authors: Yihan Zhao, Wenqing Su, Ying Yang,
• Abstract要約: 継続的な学習は、タスクやデータ分散における実世界のダイナミクスに適応する必要があることによる。 本稿では,高次元線形モデルにおける連続尾根回帰の理論的性質について検討する。
• 参考スコア（独自算出の注目度）: 1.843583562282263
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Continual learning is motivated by the need to adapt to real-world dynamics in tasks and data distribution while mitigating catastrophic forgetting. Despite significant advances in continual learning techniques, the theoretical understanding of their generalization performance lags behind. This paper examines the theoretical properties of continual ridge regression in high-dimensional linear models, where the dimension is proportional to the sample size in each task. Using random matrix theory, we derive exact expressions of the asymptotic prediction risk, thereby enabling the characterization of three evaluation metrics of generalization performance in continual learning: average risk, backward transfer, and forward transfer. Furthermore, we present the theoretical risk curves to illustrate the trends in these evaluation metrics throughout the continual learning process. Our analysis reveals several intriguing phenomena in the risk curves, demonstrating how model specifications influence the generalization performance. Simulation studies are conducted to validate our theoretical findings.
• Abstract（参考訳）: 継続的な学習は、破滅的な忘れを省きながら、タスクやデータ配布における現実世界のダイナミクスに適応する必要があることによる。 連続学習技術の進歩にもかかわらず、それらの一般化性能の理論的理解は遅れを取っている。 本稿では,高次元線形モデルにおける連続尾根回帰の理論的性質について検討する。 確率行列理論を用いて、漸近予測リスクの正確な表現を導出し、連続学習における一般化性能の3つの評価指標(平均リスク、後方移動、前方移動)の評価を可能にする。 さらに、これらの評価指標の傾向を連続学習プロセスを通して示すために、理論的リスク曲線を示す。 本分析では,モデル仕様が一般化性能にどのように影響するかを示すとともに,リスク曲線におけるいくつかの興味深い現象を明らかにした。 我々の理論的知見を検証するためにシミュレーション研究を行った。

関連論文リスト

• Global Convergence of Continual Learning on Non-IID Data [51.99584235667152]
  回帰モデルの連続学習のための総合的・包括的理論的解析を行う。 一般データ条件下で連続学習のほぼ確実に収束する結果を初めて確立する。
  論文  参考訳（メタデータ） (2025-03-24T10:06:07Z)
• In-Context Linear Regression Demystified: Training Dynamics and Mechanistic Interpretability of Multi-Head Softmax Attention [52.159541540613915]
  本研究では,マルチヘッド型ソフトマックスアテンションモデルを用いて,線形データを用いたコンテキスト内学習を行う方法について検討する。 この結果から,学習内容の学習能力は,そのアーキテクチャと基礎となるデータ分布の集約的効果として,訓練されたトランスフォーマーから出現することが明らかとなった。
  論文  参考訳（メタデータ） (2025-03-17T02:00:49Z)
• Understanding Forgetting in Continual Learning with Linear Regression [21.8755265936716]
  連続的な学習は、複数のタスクを逐次学習することに焦点を当てており、近年大きな注目を集めている。 線形回帰モデルにおいて, 線形回帰モデルをグラディエント・ディッセンス(Gradient Descent)を用いて, 忘れることの一般的な理論的解析を行う。 十分なデータサイズを考慮に入れれば、集団データ共分散行列の固有値が大きいタスクが後で訓練されるようなシーケンス内のタスクの配置は、忘れが増す傾向にあることを実証する。
  論文  参考訳（メタデータ） (2024-05-27T18:33:37Z)
• On the Dynamics Under the Unhinged Loss and Beyond [104.49565602940699]
  我々は、閉形式力学を解析するための数学的機会を提供する、簡潔な損失関数であるアンヒンジド・ロスを導入する。 アンヒンジされた損失は、時間変化学習率や特徴正規化など、より実践的なテクニックを検討することができる。
  論文  参考訳（メタデータ） (2023-12-13T02:11:07Z)
• Provable Generalization of Overparameterized Meta-learning Trained with SGD [62.892930625034374]
  我々は、広く使われているメタラーニング手法、モデル非依存メタラーニング(MAML)の一般化について研究する。 我々は、MAMLの過大なリスクに対して、上界と下界の両方を提供し、SGDダイナミクスがこれらの一般化境界にどのように影響するかをキャプチャする。 理論的知見は実験によってさらに検証される。
  論文  参考訳（メタデータ） (2022-06-18T07:22:57Z)
• Generalisation and the Risk--Entropy Curve [0.49723239539321284]
  学習機械の予測一般化性能は、リスクの分布やそれに相当するエントロピーによって決定されることを示す。 結果はMarkov Chain Monte Carlo技術を用いて、さまざまなディープニューラルネットワークモデルに対して提示される。
  論文  参考訳（メタデータ） (2022-02-15T12:19:10Z)
• Fluctuations, Bias, Variance & Ensemble of Learners: Exact Asymptotics for Convex Losses in High-Dimension [25.711297863946193]
  我々は、異なる、しかし相関のある特徴に基づいて訓練された一般化線形モデルの集合における揺らぎの研究の理論を開発する。 一般凸損失と高次元限界における正則化のための経験的リスク最小化器の結合分布の完全な記述を提供する。
  論文  参考訳（メタデータ） (2022-01-31T17:44:58Z)
• The curse of overparametrization in adversarial training: Precise analysis of robust generalization for random features regression [34.35440701530876]
  逆向きに訓練されたランダムな特徴モデルでは、高い過度なパラメータ化が堅牢な一般化を損なう可能性があることを示す。 提案理論は, 強靭性に対する過度パラメータ化の非自明な効果を明らかにし, 高過度パラメータ化が強靭性一般化を損なうことを示唆している。
  論文  参考訳（メタデータ） (2022-01-13T18:57:30Z)
• Multiplicative noise and heavy tails in stochastic optimization [62.993432503309485]
  経験的最適化は現代の機械学習の中心であるが、その成功における役割はまだ不明である。 分散による離散乗法雑音のパラメータによく現れることを示す。 最新のステップサイズやデータを含む重要な要素について、詳細な分析を行い、いずれも最先端のニューラルネットワークモデルで同様の結果を示す。
  論文  参考訳（メタデータ） (2020-06-11T09:58:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。