論文の概要: More Edits, More Stable: Understanding the Lifelong Normalization in Sequential Model Editing

• arxiv url: http://arxiv.org/abs/2605.11836v1
• Date: Tue, 12 May 2026 09:23:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-13 21:48:56.749969
• Title: More Edits, More Stable: Understanding the Lifelong Normalization in Sequential Model Editing
• Title（参考訳）: より編集し、より安定:シークエンシャルモデル編集における生涯正規化を理解する
• Authors: Xin Ma, Wei Chen, Qi Liu, Derong Xu, Zhi Zheng, Tong Xu, Enhong Chen,
• Abstract要約: Lifelong Model Editingは、関係のない知識と一般的な能力を保ちながら、大規模言語モデルにおける進化する事実を継続的に更新することを目的としている。 最近の編集者は、長い地平線上で弾力性があり、同じコア戦略を共有している。 実行統計を用いて価値を正規化するライフロング正規化(LN)。 LNは即時の性能低下を引き起こし,早期編集が今後の編集の成功を促進する反直感的な肯定的な累積効果を観察する。
• 参考スコア（独自算出の注目度）: 53.41147779846785
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Lifelong Model Editing aims to continuously update evolving facts in Large Language Models while preserving unrelated knowledge and general capabilities, yet it remains plagued by catastrophic forgetting and model collapse. Empirically, we find that recent editors resilient over long horizons share the same core strategy: Lifelong Normalization (LN), which normalizes value gradients using running statistics. Removing LN causes immediate performance collapse, and we observe a counter-intuitive positive cumulative effect where early edits can promote the success of future edits. Yet the mechanism of LN remains a "black box", leaving its precise role in lifelong stability poorly understood. In this work, we provide the first theoretical account of LN in the lifelong regime. Our analysis reveals a self-reinforcing stability loop and proves that, when combined with ridge-regularized regression, LN yields parameter updates with asymptotic orthogonality and bounded norms, directly mitigating forgetting and systemic collapse. Based on these insights, we derive StableEdit, which strengthens this stability loop via an explicit warm-up stage and full whitening, improving long-horizon stability at minimal overhead. Extensive experiments validate our theory and demonstrate competitive performance. Our code is available at https://github.com/MINE-USTC/StableEdit.
• Abstract（参考訳）: Lifelong Model Editingは、大きな言語モデルにおける進化する事実を継続的に更新し、無関係な知識と一般的な能力を保存することを目的としている。 経験的に、最近の編集者は長い地平線上で弾力性があり、同じ中核戦略を共有している。 LNを除去するとすぐに性能が低下し、早期編集が将来の編集の成功を促進する反直感的な肯定的な累積効果が観察される。 しかし、LNのメカニズムは「ブラックボックス」のままであり、寿命の安定性におけるその正確な役割は理解されていない。 本研究では、生涯体制におけるLNに関する最初の理論的説明を提供する。 解析により自己強化安定ループが明らかとなり,尾根規則化回帰と組み合わせると,LNは漸近的直交性および有界ノルムによるパラメータ更新を生じ,直接,忘れとシステム崩壊を緩和することを示した。 これらの知見に基づいて、明示的なウォームアップステージと完全な白化によってこの安定性ループを強化し、最小限のオーバーヘッドで長い水平安定性を向上するStableEditを導出する。 大規模な実験は我々の理論を検証し、競争性能を実証する。 私たちのコードはhttps://github.com/MINE-USTC/StableEditで公開されています。

関連論文リスト

• Toward Ultra-Long-Horizon Sequential Model Editing [0.43748379918040853]
  本研究では,大規模な言語モデルにおいて,長い編集シーケンスが突然のモデル崩壊を引き起こすことを示す。 そこで我々は,Norm-Anchor Scaling NASを提案する。 NASは代表L&Eアルゴリズムの崩壊点を4回以上遅らせ、編集性能の平均相対利得は72.2%である。
  論文  参考訳（メタデータ） (2026-01-30T04:31:21Z)
• STABLE: Gated Continual Learning for Large Language Models [0.0]
  STABLEは、シーケンシャルな更新時に忘れることを制限する、ゲート付き連続的なセルフ編集フレームワークである。 各候補編集は3つの指標のうちの1つを用いて安定性の予算に対して評価される。 Qwen-2.5-7Bモデルの実験では、ゲーティングは適応性を保ちながら忘れを効果的に軽減することを示した。
  論文  参考訳（メタデータ） (2025-10-17T16:14:05Z)
• Energy-Regularized Sequential Model Editing on Hyperspheres [59.47007547581175]
  大規模言語モデル(LLM)は、進化する現実世界の知識と整合性を維持するために、定期的な更新を必要とする。 逐次編集はしばしば表現を不安定にし、破滅的な忘れを誘発する。 ニューロンの重量分布を安定化するHE駆動正規化戦略であるSPHERE(Sparse Projection for Hyperspherical Energy-Regularized Editing)を提案する。
  論文  参考訳（メタデータ） (2025-10-01T17:55:43Z)
• LyapLock: Bounded Knowledge Preservation in Sequential Large Language Model Editing [28.870053452479443]
  現在の位置情報編集アプローチは、逐次編集中に徐々にパフォーマンスが低下している。 textbfLyapLockは、長期制約付きプログラミングを、効率的な解法のために、段階的に抽出可能なサブプロブレムに分解するために提案されている。 実験結果から,本フレームワークは汎用性を安定させ,SOTAベースラインよりも平均編集効率を11.89%向上させるとともに,1万回以上の編集能力に拡張可能であることがわかった。
  論文  参考訳（メタデータ） (2025-05-21T16:16:33Z)
• Large Continual Instruction Assistant [59.585544987096974]
  CIT(Continuous Instruction Tuning)は、大規模モデルにデータによる人間の意図データに従うよう指示するために用いられる。 既存の更新勾配は、CITプロセス中に前のデータセットのパフォーマンスを著しく損なうことになる。 本稿では,この課題に対処する汎用的な連続的命令チューニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-08T11:24:59Z)
• Fine-Grained Analysis of Stability and Generalization for Stochastic Gradient Descent [55.85456985750134]
  我々は,SGDの反復的リスクによって制御される新しい境界を開発する,平均モデル安定性と呼ばれる新しい安定性尺度を導入する。 これにより、最良のモデルの振舞いによって一般化境界が得られ、低雑音環境における最初の既知の高速境界が導かれる。 我々の知る限りでは、このことはSGDの微分不能な損失関数でさえも初めて知られている安定性と一般化を与える。
  論文  参考訳（メタデータ） (2020-06-15T06:30:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。