論文の概要: A Step Towards Forgetting: Optimiser History and the Loss of Answer Mass
- arxiv url: http://arxiv.org/abs/2610.03940v1
- Date: Fri, 02 Oct 2026 18:50:26 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-13 04:15:02.461066
- Title: A Step Towards Forgetting: Optimiser History and the Loss of Answer Mass
- Title（参考訳）: 留意すべき道 - 最適歴史と回答質量の喪失-
- Abstract要約: 微調整の間、言語モデルは、その確率を維持するために現在の勾配が作用しても、事前学習された回答により少ない確率を割り当てることができる。
我々は,このオプティマイザメモリが,古いタスクの損失を混乱に分離することで,記憶を忘れることにどのように寄与するかを検討する。
- 参考スコア（独自算出の注目度）: 3.568466510804539
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: During fine-tuning, a language model can assign less probability to previously learned answers even when the current gradient acts to preserve that probability. With momentum, each update also carries gradients computed at earlier model states, and these stored contributions can push the model in the opposite direction. We investigate how this optimiser memory contributes to forgetting by separating old-task loss into confusion among its answers and leakage of probability outside the answer set. Across three language-model families, answer mass consistently declines while discrimination among old answers usually improves: the model becomes less likely to produce answers that it can still distinguish correctly. Decomposing Adam updates reveals opposing contributions to this loss of answer mass. Over training, accumulated history favours leakage, while the current gradient opposes it. Resolving history by age shows that the harmful contributions come mainly from older gradients of the new task, whereas recent gradients tend to protect the old answers. Changes in history's effect are dominated by its orientation relative to the old-task gradient. Interventions that reset momentum while matching the initial update norm establish that stored history affects retention, with state-dependent immediate effects and lower final old-task loss over longer Adam continuations, mainly through recovered answer mass. Finally, integration along finite updates shows that most sampled large loss increases are captured by local projections, while curvature along history amplifies some events. Together, these findings reveal how an optimiser's memory can erode learned behaviour even as its current gradient acts to preserve it.
- Abstract（参考訳）: 微調整の間、言語モデルは、その確率を維持するために現在の勾配が作用しても、事前学習された回答により少ない確率を割り当てることができる。
モーメントによって、各更新は以前のモデル状態で計算された勾配も保持し、これらのストアドコントリビューションはモデルを反対方向に押し上げることができる。
我々は,このオプティマイザメモリが,古いタスクの損失を解答の混乱と解答の外部の確率のリークに分離することで,記憶を忘れることにどのように寄与するかを検討する。
3つの言語モデルファミリー全体では、解答の質量は一貫して減少し、古い解答の識別は通常改善される。
Adamの更新を分解すると、この回答の質量の喪失に対する反対の貢献が明らかになる。
トレーニング中、蓄積された履歴は漏れを好んでおり、現在の勾配はそれに反対している。
年齢による歴史の解決は、有害な貢献は主に新しいタスクの古い勾配から来ることを示しているが、最近の勾配は古い回答を保護する傾向にある。
歴史の変化は、昔ながらの勾配に対して、その方向によって支配されている。
初期更新基準と一致しながら運動量をリセットする介入は、保存された履歴が保持に影響を及ぼし、状態依存の即時効果とより長いアダム継続よりも最終的な古いタスクの損失が減少することを証明している。
最後に、有限更新による統合は、サンプリングされた大きな損失の増加のほとんどは局所的なプロジェクションによってキャプチャされ、履歴に沿った曲率によっていくつかの事象が増幅されることを示している。
これらとともに、オプティマイザの記憶が、現在の勾配がそれを保っているとしても、学習行動の消去をいかに行うかが明らかになった。
関連論文リスト
- When Can Agents Forget Their Reasoning? ICLR for Long-Horizon Agent Context Compression [55.84813053778976]
ロングホライズル言語モデルエージェントは、推論履歴を継続的に蓄積する。
歴史的推論の除去は、将来の行動と結果として生じる相互作用の軌跡を変える可能性がある。
長軸推論のためのインタラクションアウェア圧縮を提案する。
論文 参考訳（メタデータ） (2026-09-24T14:28:43Z) - What if LLMs Ate Their Words: Causal History Effects in Multi-Turn Interaction [21.294220918464525]
モデル、タスク、ターン、およびモデル内における効果がどのように現れるかは、まだ不明である。
ターン手術は、一度に1つのアシスタントターンでさらに介入する。
全体として、アシスタント生成履歴は、多ターン性能にアクティブだが選択的に影響を及ぼす。
論文 参考訳（メタデータ） (2026-09-05T05:06:01Z) - Drift and Dependence: Layer-wise Information-Theoretic Bounds for Replay-Based Continual Learning [41.371439825328544]
継続的な学習は、古いタスクを消去することなく新しいタスクを吸収し、リプレイ — 過去の例の小さなバッファを現在のトレーニングに混ぜる — 破滅的な忘れ方に対する最も効果的な治療法のひとつです。
我々は、各深さでこれらの効果を分離するレイヤワイド情報理論フレームワークを開発する。
制御およびベンチマーク実験により、予測されたメモリスケーリング、内部ファンネル、およびアライメント信号の忘れへのリンクを確認する。
論文 参考訳（メタデータ） (2026-08-12T06:01:49Z) - PraMem: Practice-derived Experiential Memory for Long-horizon Behavior Prediction [76.5874177305176]
ロングホライズン行動予測は、長い履歴シーケンスに基づいてユーザの次のアクションを推測することを目的としている。
LLMは、長期の行動予測に取り組む際に、潜在行動パターン誘導とモデル固有の認知バイアスに悩まされる。
PraMemは、経験的なメモリを構築するために、長い履歴シーケンスを事前に実行します。
論文 参考訳（メタデータ） (2026-07-03T02:25:48Z) - Relax Forcing: Relaxed KV-Memory for Consistent Long Video Generation [73.84423888025171]
オートレグレッシブ(AR)ビデオ拡散は,近年,長大なビデオ生成において有望なパラダイムとして浮上している。
時間的劣化が進行しているため, 生成から微小スケールの地平線への延長は依然として困難であることを示す。
本稿では,AR拡散のための時間記憶機構であるRelax Forcingを紹介する。
論文 参考訳（メタデータ） (2026-03-22T18:59:24Z) - Geometric-Disentangelment Unlearning [106.99160454669902]
忘れたサンプルへの勾配は しばしば 保持された知識を傷つける
本稿では,GU(Geometric-disment Unlearning)を提案する。
本手法はプラグ・アンド・プレイであり,既存の勾配に基づくアンラーニング手法と併用することで副作用を軽減できる。
論文 参考訳（メタデータ） (2025-11-21T09:58:25Z) - How Memory in Optimization Algorithms Implicitly Modifies the Loss [2.8647133890966994]
本稿では,最適化アルゴリズムをメモリと近似するメモリレスアルゴリズムを同定する手法を提案する。
我々は、LionがAdamWのようなメモリによって引き起こされる暗黙の反正則化を持っていないことを発見した。
論文 参考訳（メタデータ） (2025-02-04T09:04:50Z) - Enhancing Consistency and Mitigating Bias: A Data Replay Approach for Incremental Learning [93.90047628101155]
ディープラーニングシステムは、一連のタスクから学ぶとき、破滅的な忘れがちだ。
これを解決するために、新しいタスク学習中に過去のタスクからのデータを再生する手法を提案する。
しかし、メモリの制約やデータプライバシーの問題により、実際には期待できない。
論文 参考訳（メタデータ） (2024-01-12T12:51:12Z) - Memory Augmented Optimizers for Deep Learning [10.541705775336657]
本稿では,メモリ内の勾配履歴を限定的に把握する,メモリ拡張勾配降下の枠組みを提案する。
固定サイズのメモリを持つ勾配勾配勾配のクラスは、強い凸性の仮定の下で収束することを示す。
論文 参考訳（メタデータ） (2021-06-20T14:58:08Z) - Layerwise Optimization by Gradient Decomposition for Continual Learning [78.58714373218118]
ディープニューラルネットワークは、様々な領域で最先端の超人的パフォーマンスを実現します。
タスクを逐次学習する場合、ネットワークは「破滅的忘れ」と呼ばれる過去のタスクの知識を忘れやすい。
論文 参考訳（メタデータ） (2021-05-17T01:15:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。