論文の概要: The Sequential Price of Continual Learning

• arxiv url: http://arxiv.org/abs/2609.29674v1
• Date: Sun, 30 Aug 2026 14:27:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 05:09:56.105743
• Title: The Sequential Price of Continual Learning
• Title（参考訳）: 継続的学習の逐次的価格
• Abstract要約: 逐次的なタスク更新は継続的学習には基本的だが、その傾向バイアスは持続的なパフォーマンスコストを課す可能性がある。 分布レベルの忘れ込みと人口減少は、同じ定常限界に収束することを示す。 Jesterのジョークランキングデータセットでは、この理論は自然にユーザーの嗜好に反して生成されるシーケンシャルな価格と、EWCによる減価の両方を正確に定量化している。
• 参考スコア（独自算出の注目度）: 28.30104646642165
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Sequential task updates are fundamental to continual learning, but their recency bias can impose a lasting performance cost. We study this cost in an overparameterized linear-regression model with i.i.d. task sampling. We prove that distribution-level forgetting and population loss converge to the same stationary limit. This common limit separates exactly into the intrinsic loss asymptotically attained by joint training and an additional sequential price, and in more homogeneous task geometries the two terms coincide, making the total loss twice that of joint training. We further analyze fixed-strength elastic weight consolidation (EWC) under general task curvatures and characterize its stationary sequential price at every regularization strength. Under strong regularization, the price decays inversely with EWC strength while convergence to stationarity slows at the same scale. On the Jester joke-rating dataset, the theory exactly quantifies both the sequential price generated by naturally conflicting user preferences and its reduction by EWC.
• Abstract（参考訳）: 逐次的なタスク更新は継続的学習には基本的だが、その傾向バイアスは持続的なパフォーマンスコストを課す可能性がある。 このコストを,タスクサンプリングによる過パラメータ線形回帰モデルを用いて検討する。 分布レベルの忘れ込みと人口減少は、同じ定常限界に収束することを示す。 この共通極限は、関節トレーニングによって漸近的に得られる本質的な損失と追加の逐次価格とを正確に分離し、より均一なタスクジオメトリーでは2つの項が一致するので、関節トレーニングの総損失は2倍になる。 さらに、一般的なタスク曲率下での固定強度弾性重み付け(EWC)を解析し、正則化強度毎に定常逐次価格を特徴付ける。 強い正則化の下では、価格はEWC強度と逆向きに崩壊するが、定常性への収束は同じスケールで遅くなる。 Jesterのジョークランキングデータセットでは、この理論は自然にユーザーの嗜好に反して生成されるシーケンシャルな価格と、EWCによる減価の両方を正確に定量化している。

関連論文リスト

• Deconstructing Off-Policy Ratios: Entropy-Scaled Trust Regions for Asynchronous Reinforcement Learning [6.667218294299622]
  非同期強化学習(RL)は、ポリシー最適化と重複するロールアウト生成によって、大規模言語モデル(LLM)の訓練後を加速する。 既存の方法では、トークンの重要度のみに基づいてトークンを保管または廃棄するのが一般的である。 本研究では,各トークンの局所的なエントロピーによるオフ・ポリティクスの偏差を拡大するエントロピー・スケール・トラスト・リージョン(ESTR)を提案する。
  論文  参考訳（メタデータ） (2026-07-24T10:55:42Z)
• Predictable GRPO: A Closed-Form Model of Training Dynamics [1.0537323885285492]
  我々はこれらの力学の第一原理還元次モデルを開発する。 グループサイズは、ノイズ温度として、先行順に入力される。 3つのモデルと2つのグループサイズで、クローズドフォームの軌道はトレーニング報酬をR2 geq 0.91$に適合させる。
  論文  参考訳（メタデータ） (2026-06-29T18:19:09Z)
• Tackling Length Inflation Without Trade-offs: Group Relative Reward Rescaling for Reinforcement Learning [74.5532558466687]
  群 Relative Reward Rescaling (GR$3$) は、一般的な、連続かつ報酬に依存したゲーティング機構である。 GR$3$は、標準のGRPOに匹敵するトレーニングダイナミクスとダウンストリームのパフォーマンスを維持する。 それは長さのインフレーションを著しく軽減し、最先端の長周期正規化ベースラインを上回ります。
  論文  参考訳（メタデータ） (2026-03-11T08:41:34Z)
• Stability and Generalization of Push-Sum Based Decentralized Optimization over Directed Graphs [55.77845440440496]
  プッシュベースの分散通信は、情報交換が非対称である可能性のある通信ネットワークの最適化を可能にする。 我々は、グラディエント・プッシュ(SGP)アルゴリズムのための統一的な一様安定性フレームワークを開発する。 重要な技術的要素は、2つの量に束縛された不均衡認識の一般化である。
  論文  参考訳（メタデータ） (2026-02-24T05:32:03Z)
• Optimal Rates in Continual Linear Regression via Increasing Regularization [39.30412893918111]
  本研究では,ランダムなタスク順序付けの下での連続線形回帰について検討する。 この設定では、$k$学習後の最悪の損失は、$Omega (1/k)$の低いバウンドを認める。 明示的等方的$ell$正則化と有限ステップ予算による暗黙的正則化という2つのよく使われる正則化スキームを用いる。
  論文  参考訳（メタデータ） (2025-06-06T19:51:14Z)
• From Continual Learning to SGD and Back: Better Rates for Continual Linear Models [50.11453013647086]
  以前見られたタスクの損失を、$k$の繰り返しの後、忘れること、すなわち、分析する。 実現可能な最小二乗の設定において、新しい最上界を創出する。 我々は、タスクを繰り返しないランダム化だけで、十分に長いタスクシーケンスで破滅的な事態を防げることを初めて証明した。
  論文  参考訳（メタデータ） (2025-04-06T18:39:45Z)
• Benign Overfitting in Out-of-Distribution Generalization of Linear Models [19.203753135860016]
  我々は、アウト・オブ・ディストリビューション(OOD)体制における良心過剰の理解に向けて、最初の一歩を踏み出した。 我々は、標準的な隆起回帰において良性過剰適合が生じることを証明する非漸近保証を提供する。 また、より一般的な目標共分散行列の族についても理論的結果を示す。
  論文  参考訳（メタデータ） (2024-12-19T02:47:39Z)
• Efficient local linearity regularization to overcome catastrophic overfitting [59.463867084204566]
  単段階逆行訓練におけるカタストロフィックオーバーフィッティング(CO)は、逆行性テスト精度(最大0%まで)の急激な低下をもたらす。 我々は,従来のAT評価においてCOを効果的かつ効率的に緩和するために,ELLEと呼ばれる正規化項を導入する。
  論文  参考訳（メタデータ） (2024-01-21T22:55:26Z)
• On the Convergence of Stochastic Extragradient for Bilinear Games with Restarted Iteration Averaging [96.13485146617322]
  本稿では, ステップサイズが一定であるSEG法の解析を行い, 良好な収束をもたらす手法のバリエーションを示す。 平均化で拡張した場合、SEGはナッシュ平衡に確実に収束し、スケジュールされた再起動手順を組み込むことで、その速度が確実に加速されることを証明した。
  論文  参考訳（メタデータ） (2021-06-30T17:51:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。