論文の概要: Learning Dynamics of Continual Learning: A Unified View of Data Attribution, Forgetting, and Plasticity Loss

• arxiv url: http://arxiv.org/abs/2609.33620v1
• Date: Sun, 27 Sep 2026 14:38:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-05 15:13:18.691641
• Title: Learning Dynamics of Continual Learning: A Unified View of Data Attribution, Forgetting, and Plasticity Loss
• Title（参考訳）: 連続学習の学習ダイナミクス--データ属性、予測、可塑性損失の統一的視点
• Abstract要約: 現代の言語モデルは、一度訓練されたり凍結されたりするのではなく、生涯にわたって更新される可能性が高い。 これらの課題は、進化する更新-振る舞いの相互作用によって管理されていることを示す。
• 参考スコア（独自算出の注目度）: 36.55356475801966
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Modern language models are likely to be updated throughout their lifetime rather than trained once and frozen. Each update therefore participates in a recurring cycle: decide which experience to learn from, understand what that update changes, and remain capable of learning from what comes next. We show that these challenges are governed by the same evolving update--behavior interaction. We derive a token- and layer-wise decomposition of how learning from one token changes another prediction. By separating the softmax force, shared readout geometry, and residual connections, it exposes two interaction channels and yields a forward-computable approximation. Following this interaction through time reveals a unified picture of continual adaptation. Positive interaction identifies useful experience; negative interaction produces either concentrated collision or accumulated erosion; over longer horizons, updates reshape the shared geometry mediating future learning signals, reducing their transmission. These predictions lead to effective data selection, mechanism-specific controls for interference, and a readout-based diagnostic of future learnability whose degradation predicts the benefit of restoring the readout. Across models and training regimes, the same local interaction thus explains both what an update changes now and how learning today changes what can be learned tomorrow. This view connects data attribution, forgetting, and plasticity loss as distinct regimes of the same evolving learning dynamics.
• Abstract（参考訳）: 現代の言語モデルは、一度訓練されたり凍結されたりするのではなく、生涯にわたって更新される可能性が高い。 それぞれのアップデートは、どの経験から学ぶかを決め、何が更新されるかを理解し、次に来るものから学ぶことができる。 これらの課題は、進化する更新-振る舞いの相互作用によって管理されていることを示す。 あるトークンからの学習が別の予測をどう変えるかというトークンとレイヤの分解を導出します。 ソフトマックス力、共有読み出し幾何、残余接続を分離することにより、2つの相互作用チャネルを露出し、前方計算可能な近似を与える。 この相互作用に時間を通して従えば、連続的な適応の統一された図像が明らかになる。 正の相互作用は有用な経験を識別し、負の相互作用は集中した衝突または蓄積された浸食を発生させ、より長い地平線を越え、将来の学習信号を媒介する共有幾何学を更新し、伝達を減らす。 これらの予測は、効果的なデータ選択、干渉のメカニズム固有の制御、読み出しによる将来の学習可能性の診断につながり、その劣化は読み出しの回復の利点を予測する。 モデルとトレーニング体制全体を通じて、同じローカルインタラクションが、現在のアップデートの変更点と、今日の学習が明日学べるものを変える方法の両方を説明する。 この見解は、データの属性、忘れ、可塑性損失を、同じ進化する学習力学の異なるレギュレーションとして結びつける。

関連論文リスト

• Shaping Persistent Representations from Independent Interactions [18.806440777491993]
  SPRIIは、相互作用間の関係を永続的文脈の弱い監視として利用する訓練原理である。 SPRIIは、ダウンストリームタスクのパフォーマンスが平均10%以上、永続的プロパティ読み出しが15%以上であることを示す。
  論文  参考訳（メタデータ） (2026-09-28T08:35:56Z)
• When Does Continual Learning Require Learning [68.55508958298942]
  継続的学習は単一の能力ではないことを示す。 環境変化の異なるパターンは、根本的に異なる更新動作を必要とする。 それぞれの手法が成功するか、失敗するかを理解することが、より強力な継続的学習システムの設計を導くことを願っている。
  論文  参考訳（メタデータ） (2026-07-08T18:27:40Z)
• Improving Interactive In-Context Learning from Natural Language Feedback [28.01292402237836]
  正しいフィードバックに基づいて思考プロセスを適用することは、人間の学習に不可欠な能力である。 本稿では,この対話型インコンテキスト学習能力を,個別で訓練可能なスキルとして扱うフレームワークを提案する。 提案手法によりトレーニングされたモデルにより,言語フィードバックから対話的に学習する能力が劇的に向上することを示す。
  論文  参考訳（メタデータ） (2026-02-17T22:44:10Z)
• Premonition: Using Generative Models to Preempt Future Data Changes in Continual Learning [63.850451635362425]
  継続的な学習には、データ分散の継続的な変化に対応するためのモデルが必要である。 本稿では,大規模言語モデルと画像生成モデルの組み合わせが有用であることを示す。 トレーニング済みネットワークのバックボーンは、下流の連続学習問題に有用な表現を学習できることがわかった。
  論文  参考訳（メタデータ） (2024-03-12T06:29:54Z)
• A Message Passing Perspective on Learning Dynamics of Contrastive Learning [60.217972614379065]
  特徴空間に対照的な目的を同等に配置すると、その学習力学は解釈可能な形式を持つことを示す。 この視点はまた、対照的な学習とメッセージパッシンググラフニューラルネットワーク(MP-GNN)の間の興味深い関係を確立する。
  論文  参考訳（メタデータ） (2023-03-08T08:27:31Z)
• Cooperative data-driven modeling [44.99833362998488]
  メカニクスにおけるデータ駆動モデリングは、最近の機械学習の進歩に基づいて急速に進化している。 異なるグループによって作成された新しいデータとモデルが利用可能となり、協調モデリングの可能性が開ける。 人工ニューラルネットワークは、破滅的な忘れ、すなわち、新しいタスクでトレーニングされたときに古いタスクを実行する方法を忘れることに苦しむ。 これは、新しいタスクに既存のモデルを適用することが、誰かによって訓練された前のタスクのパフォーマンスに影響を与えるため、協力を妨げる。
  論文  参考訳（メタデータ） (2022-11-23T14:27:25Z)
• Adaptive Online Incremental Learning for Evolving Data Streams [4.3386084277869505]
  最初の大きな困難はコンセプトドリフトであり、つまり、ストリーミングデータの確率分布はデータが到着するにつれて変化する。 第二の難しさは、破滅的な忘れ、すなわち、新しい知識を学ぶ前に学んだことを忘れることです。 我々の研究はこの観察に基づいており、これらの困難を克服しようと試みている。
  論文  参考訳（メタデータ） (2022-01-05T14:25:53Z)
• Efficient Modelling Across Time of Human Actions and Interactions [92.39082696657874]
  3つの畳み込みニューラルネットワーク(CNND)における現在の固定サイズの時間的カーネルは、入力の時間的変動に対処するために改善できると主張している。 我々は、アーキテクチャの異なるレイヤにまたがる機能の違いを強化することで、アクションのクラス間でどのようにうまく対処できるかを研究する。 提案手法は、いくつかのベンチマークアクション認識データセットで評価され、競合する結果を示す。
  論文  参考訳（メタデータ） (2021-10-05T15:39:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。