論文の概要: Beyond Hard Writes and Rigid Preservation: Soft Recursive Least-Squares for Lifelong LLM Editing

• arxiv url: http://arxiv.org/abs/2601.15686v1
• Date: Thu, 22 Jan 2026 06:11:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-23 21:37:20.512545
• Title: Beyond Hard Writes and Rigid Preservation: Soft Recursive Least-Squares for Lifelong LLM Editing
• Title（参考訳）: ハード書き込みと剛体保存の先駆け:生涯LLM編集のためのソフト再帰型最小二乗
• Authors: Xinyu Wang, Sicheng Lyu, Yu Gu, Jerry Huang, Peng Lu, Yufei Cui, Xiao-Wen Chang,
• Abstract要約: モデル編集は、関係のない振る舞いを保持しながら、再トレーニングすることなく、新しい事実やルールで事前訓練された更新を行う。 長い逐次編集のための最小二乗エディタ RLSEdit を提案する。 複数のモデルファミリの実験は、10K編集への安定したスケーリングを示し、編集成功と全体安定性の両方において強力なベースラインを達成している。
• 参考スコア（独自算出の注目度）: 16.768713543557443
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Model editing updates a pre-trained LLM with new facts or rules without re-training, while preserving unrelated behavior. In real deployment, edits arrive as long streams, and existing editors often face a plasticity-stability dilemma: locate-then-edit "hard writes" can accumulate interference over time, while null-space-style "hard preservation" preserves only what is explicitly constrained, so past edits can be overwritten and unconstrained behaviors may deviate, degrading general capabilities in the many-edits regime. We propose RLSEdit, a recursive least-squares editor for long sequential editing. RLSEdit formulates editing as an online quadratic optimization with soft constraints, minimizing a cumulative key-value fitting objective with two regularizers that control for both deviation from the pre-trained weights and from a designated anchor mapping. The resulting update admits an efficient online recursion via the Woodbury identity, with per-edit cost independent of history length and scaling only with the current edit size. We further provide deviation bounds and an asymptotic characterization of the adherence-preservation trade-off in the many-edits regime. Experiments on multiple model families demonstrate stable scaling to 10K edits, outperforming strong baselines in both edit success and holistic stability -- crucially retaining early edits, and preserving general capabilities on GLUE and held-out reasoning/code benchmarks.
• Abstract（参考訳）: モデル編集は、無関係な振る舞いを保ちながら、新しい事実やルールでトレーニング済みのLLMを更新する。 位置-then-edit "ハードライト" は時間の経過とともに干渉を蓄積し、ヌルスペーススタイルの"ハード保存" は明示的に制限されているものだけを保存するため、過去の編集は過度に書き直され、制約のない動作は減り、多くの編集体制における一般的な能力を低下させる。 逐次編集のための再帰的最小二乗エディタ RLSEdit を提案する。 RLSEditは、オンラインの2次最適化としてソフト制約による編集を定式化し、事前訓練された重みと指定されたアンカーマッピングからの偏差を制御する2つの正規化器による累積キー値適合目標を最小化する。 結果として得られたアップデートは、Woodburyアイデンティティによる効率的なオンライン再帰を認めている。 さらに,多面体系における付着保存トレードオフの偏差境界と漸近特性について述べる。 複数のモデルファミリの実験では、10K編集への安定したスケーリング、編集の成功と全体的な安定性の両方において強力なベースライン -- 重要な初期編集の維持、GLUEとホールドアウト推論/コードのベンチマークでの一般的な機能維持 -- を達成している。

関連論文リスト

• Quantifying Edits Decay in Fine-tuned LLMs [17.377278510871843]
  本研究では,微調整が知識編集に与える影響について検討する。 我々は,2つの最先端編集手法(MEMIT,AlphaEdit)と3つの微調整手法を評価した。 以上の結果から,微調整後に編集が崩壊し,生存は構成によって異なることが明らかとなった。
  論文  参考訳（メタデータ） (2025-11-08T04:58:03Z)
• EvoEdit: Evolving Null-space Alignment for Robust and Efficient Knowledge Editing [19.834477925624658]
  大規模言語モデル(LLM)は、時代遅れまたは誤った知識を正すために継続的な更新を必要とする。 既存のアプローチは主に位置対応のフレームワークに基づいている。 本稿では,連続的なヌル空間アライメントによる破滅的干渉を緩和する新しい編集戦略であるEvoEditを紹介する。
  論文  参考訳（メタデータ） (2025-10-11T21:36:14Z)
• MEMOIR: Lifelong Model Editing with Minimal Overwrite and Informed Retention for LLMs [76.28901550926021]
  寿命の長いモデル編集のための既存の方法は、妥協の一般化、過去の編集の妨害、長い編集シーケンスへのスケールの失敗である。 我々は,学習済みモデルのコア能力を保ちながら,残メモリを介して知識を注入する,新しいスケーラブルなフレームワークMEMOIRを提案する。 MeMOIRは信頼性、一般化、ローカリティのメトリクスにまたがる最先端のパフォーマンスを実現し、最小限の忘れ物で数千のシーケンシャルな編集にスケールする。
  論文  参考訳（メタデータ） (2025-06-09T16:16:42Z)
• LyapLock: Bounded Knowledge Preservation in Sequential Large Language Model Editing [28.870053452479443]
  現在の位置情報編集アプローチは、逐次編集中に徐々にパフォーマンスが低下している。 textbfLyapLockは、長期制約付きプログラミングを、効率的な解法のために、段階的に抽出可能なサブプロブレムに分解するために提案されている。 実験結果から,本フレームワークは汎用性を安定させ,SOTAベースラインよりも平均編集効率を11.89%向上させるとともに,1万回以上の編集能力に拡張可能であることがわかった。
  論文  参考訳（メタデータ） (2025-05-21T16:16:33Z)
• ELDER: Enhancing Lifelong Model Editing with Mixture-of-LoRA [55.697627106315004]
  大規模言語モデル(LLM)は、特定の知識を効率的に更新し、事実の誤りを避けるためにモデル編集を必要とする。 従来のアプローチでは、元のパラメータを凍結し、知識更新毎に新しいパラメータを個別に割り当てることで、シーケンシャルな編集を管理する。 本稿では,データとアダプタを連続的に関連付ける新しい手法であるELDERを提案する。
  論文  参考訳（メタデータ） (2024-08-19T02:27:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。