論文の概要: From Order to Distribution: A Spectral Characterization of Forgetting in Continual Learning

• arxiv url: http://arxiv.org/abs/2604.13460v1
• Date: Wed, 15 Apr 2026 04:29:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-16 20:38:32.377859
• Title: From Order to Distribution: A Spectral Characterization of Forgetting in Continual Learning
• Title（参考訳）: 順序から分布へ:連続学習における蓄積のスペクトル的特徴
• Authors: Zonghuan Xu, Xingjun Ma,
• Abstract要約: citetevron2022catastrophic analyzes forgeting under random orderings of a fixed task collection. 本研究では,タスク分布を$$でサンプリングし,生成する分布自体がいかにして忘れを抑えるのかを問う。
• 参考スコア（独自算出の注目度）: 28.30104646642165
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: A central challenge in continual learning is forgetting, the loss of performance on previously learned tasks induced by sequential adaptation to new ones. While forgetting has been extensively studied empirically, rigorous theoretical characterizations remain limited. A notable step in this direction is \citet{evron2022catastrophic}, which analyzes forgetting under random orderings of a fixed task collection in overparameterized linear regression. We shift the perspective from order to distribution. Rather than asking how a fixed task collection behaves under random orderings, we study an exact-fit linear regime in which tasks are sampled i.i.d.\ from a task distribution~$Π$, and ask how the generating distribution itself governs forgetting. In this setting, we derive an exact operator identity for the forgetting quantity, revealing a recursive spectral structure. Building on this identity, we establish an unconditional upper bound, identify the leading asymptotic term, and, in generic nondegenerate cases, characterize the convergence rate up to constants. We further relate this rate to geometric properties of the task distribution, clarifying what drives slow or fast forgetting in this model.
• Abstract（参考訳）: 連続学習における中心的な課題は、新しいタスクへの逐次適応によって引き起こされた、前もって学習されたタスクのパフォーマンスの喪失を忘れることである。 忘れることは経験的に研究されているが、厳密な理論的特徴は限定的である。 この方向の注目すべきステップは \citet{evron2022catastrophic} であり、これは過パラメータ線形回帰における固定されたタスクコレクションのランダムな順序の下での忘れを解析する。 私たちは方向を順序から分布にシフトします。 固定されたタスクコレクションがランダムな順序付けの下でどのように振る舞うかを問うのではなく、タスク分布から i.d.\ をサンプリングし、生成する分布自体が忘れることをどのように支配するかを問う。 この設定では、忘れる量に対して正確な演算子IDを導出し、再帰的なスペクトル構造を明らかにする。 このアイデンティティに基づいて、無条件の上界を確立し、主要な漸近項を同定し、一般的な非退化の場合、収束率を定数まで特徴づける。 さらに、この速度をタスク分布の幾何学的性質に関連付け、このモデルで遅く、あるいは速く忘れる原因を明らかにする。

関連論文リスト

• Provable Benefit of Curriculum in Transformer Tree-Reasoning Post-Training [76.12556589212666]
  学習後のカリキュラムは指数関数的複雑性のボトルネックを回避していることを示す。 結果のみの報酬信号の下では、強化学習の微調整は、サンプルの複雑さを高い精度で達成する。 カリキュラムを意識したクエリにより、報奨託書の呼び出しとサンプリングコストの両方を指数関数的に削減するテストタイムスケーリングの保証を確立する。
  論文  参考訳（メタデータ） (2025-11-10T18:29:54Z)
• Provable In-Context Learning of Nonlinear Regression with Transformers [66.99048542127768]
  In-context Learning (ICL) は、パラメータを更新することなくタスク固有のプロンプトを使用して見えないタスクを実行する能力である。 最近の研究はICLの背後にあるトレーニングのダイナミクスを積極的に探求しており、その多くは比較的単純なタスクに重点を置いている。 本稿では、変換器が文脈内学習能力をいかに獲得するかを明らかにすることを目的として、より複雑な非線形回帰タスクについて検討する。
  論文  参考訳（メタデータ） (2025-07-28T00:09:28Z)
• Rademacher learning rates for iterated random functions [0.0]
  トレーニングデータセットが、必ずしも既約あるいは非周期的でない反復ランダム関数によって生成される場合を考える。 支配関数が第一引数に関して収縮的であるという仮定の下で、まず、対応するサンプル誤差に対する一様収束結果を確立する。 次に、近似経験的リスク最小化アルゴリズムの学習可能性を示し、その学習速度を導出する。
  論文  参考訳（メタデータ） (2025-06-16T19:36:13Z)
• Convergence and Implicit Bias of Gradient Descent on Continual Linear Classification [12.699007098398805]
  逐次的勾配降下(GD)による複数線形分類タスクの連続学習について検討する。 タスクが連分可能であれば、トレーニングされた線形分類器の(オフラインの)最大マルジン解への方向性収束を示す。 また、タスクがもはや関節分離不能な場合を分析し、循環順序で訓練されたモデルが関節損失関数の唯一の最小値に収束することを示す。
  論文  参考訳（メタデータ） (2025-04-17T07:35:48Z)
• Online Inference for Quantiles by Constant Learning-Rate Stochastic Gradient Descent [4.2694059987063655]
  本稿では,理論的保証付き量子損失関数の学習速度を一定としたオンライン勾配勾配勾配推定法を提案する。 数値解析により,提案した量子推定器の強い有限サンプル性能と推定法が示された。
  論文  参考訳（メタデータ） (2025-03-04T01:37:42Z)
• Generator Born from Classifier [66.56001246096002]
  データサンプルに頼ることなく、イメージジェネレータを再構築することを目指している。 本稿では,ネットワークパラメータの収束条件を満たすために,ジェネレータを訓練する新しい学習パラダイムを提案する。
  論文  参考訳（メタデータ） (2023-12-05T03:41:17Z)
• Time-series Generation by Contrastive Imitation [87.51882102248395]
  モーメントマッチングの目的によってモチベーションされ、複合的エラーを軽減し、局所的(しかし前方的な)遷移ポリシーを最適化する。 推論において、学習されたポリシーは反復的なサンプリングのジェネレータとして機能し、学習されたエネルギーはサンプルの品質を評価するための軌道レベル尺度として機能する。
  論文  参考訳（メタデータ） (2023-11-02T16:45:25Z)
• Adaptive Annealed Importance Sampling with Constant Rate Progress [68.8204255655161]
  Annealed Importance Smpling (AIS)は、抽出可能な分布から重み付けされたサンプルを合成する。 本稿では,alpha$-divergencesに対する定数レートAISアルゴリズムとその効率的な実装を提案する。
  論文  参考訳（メタデータ） (2023-06-27T08:15:28Z)
• Contrastive learning of strong-mixing continuous-time stochastic processes [53.82893653745542]
  コントラスト学習(Contrastive Learning)は、ラベルのないデータから構築された分類タスクを解決するためにモデルを訓練する自己指導型の手法のファミリーである。 拡散の場合,小～中距離間隔の遷移カーネルを適切に構築したコントラスト学習タスクを用いて推定できることが示される。
  論文  参考訳（メタデータ） (2021-03-03T23:06:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。