論文の概要: Spectral Characterization and Mitigation of Sequential Knowledge Editing Collapse

• arxiv url: http://arxiv.org/abs/2601.11042v1
• Date: Fri, 16 Jan 2026 07:18:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-19 20:21:50.389499
• Title: Spectral Characterization and Mitigation of Sequential Knowledge Editing Collapse
• Title（参考訳）: 逐次的知識編集崩壊のスペクトル特性と軽減
• Authors: Chi Zhang, Mengqi Zhang, Xiaotian Ye, Runxi Cheng, Zisheng Zhou, Ying Zhou, Pengjie Ren, Zhumin Chen,
• Abstract要約: モデルの一般能力は、事前訓練された重み行列の支配的な特異方向と密接に関連していることを示す。 支配的な特異部分空間を明示的に保存することにより、シーケンシャルな編集を安定化するプラグイン・アンド・プレイフレームワークであるREVIVEを提案する。
• 参考スコア（独自算出の注目度）: 44.49646322759214
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Sequential knowledge editing in large language models often causes catastrophic collapse of the model's general abilities, especially for parameter-modifying methods. Existing approaches mitigate this issue through heuristic constraints on parameter updates, yet the mechanisms underlying such degradation remain insufficiently understood. In this work, we present a spectral analysis of sequential knowledge editing and show that a model's general abilities are closely associated with dominant singular directions of pretrained weight matrices. These directions are highly sensitive to perturbations and are progressively disrupted by repeated edits, closely tracking the collapse in both editing efficacy and general performance. Building on this insight, we propose REVIVE, a plug-and-play framework that stabilizes sequential editing by explicitly preserving the dominant singular subspace. REVIVE represents parameter updates in the spectral basis of the original weights and filters components that would interfere with the protected region. Extensive experiments across multiple models and benchmarks show that REVIVE consistently improves editing efficacy while substantially preserving general abilities under long-horizon sequential editing, including extreme settings with up to 20,000 edits.
• Abstract（参考訳）: 大規模言語モデルにおける逐次的な知識編集は、特にパラメータ修正法において、モデルの一般的な能力の破滅的な崩壊を引き起こすことが多い。 既存のアプローチはパラメータ更新に対するヒューリスティックな制約を通じてこの問題を軽減するが、そのような劣化のメカニズムはいまだに十分に理解されていない。 本研究では、逐次的知識編集のスペクトル分析を行い、モデルの一般能力が事前学習した重み行列の主成分方向と密接に関連していることを示す。 これらの方向は摂動に非常に敏感であり、反復的な編集によって徐々に破壊され、編集効率と一般的なパフォーマンスの両方の崩壊を綿密に追跡する。 この知見に基づいて,支配的な特異部分空間を明示的に保存することにより,シーケンシャルな編集を安定化するプラグイン・アンド・プレイフレームワークREVIVEを提案する。 REVIVEは、元の重みのスペクトルベースでパラメータの更新を表し、保護された領域に干渉するコンポーネントをフィルタリングする。 複数のモデルとベンチマークにわたる大規模な実験により、REVIVEは編集効率を一貫して改善し、長い水平のシーケンシャルな編集の下では、最大20,000の編集を含む極端な設定を含む、ほぼ一般的な能力を保っていることが示されている。

関連論文リスト

• ConsistEdit: Highly Consistent and Precise Training-free Visual Editing [17.162316662697965]
  本稿では,MM-DiTに適した新しいアテンション制御手法であるConsistEditを提案する。 視覚のみの注意制御、マスク誘導型事前注意融合、クエリ、キー、バリュートークンの操作を区別する。 構造整合性および構造整合性の両方のシナリオを含む、幅広い画像およびビデオ編集タスクにおける最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2025-10-20T17:59:52Z)
• EvoEdit: Evolving Null-space Alignment for Robust and Efficient Knowledge Editing [19.834477925624658]
  大規模言語モデル(LLM)は、時代遅れまたは誤った知識を正すために継続的な更新を必要とする。 既存のアプローチは主に位置対応のフレームワークに基づいている。 本稿では,連続的なヌル空間アライメントによる破滅的干渉を緩和する新しい編集戦略であるEvoEditを紹介する。
  論文  参考訳（メタデータ） (2025-10-11T21:36:14Z)
• Energy-Regularized Sequential Model Editing on Hyperspheres [59.47007547581175]
  大規模言語モデル(LLM)は、進化する現実世界の知識と整合性を維持するために、定期的な更新を必要とする。 逐次編集はしばしば表現を不安定にし、破滅的な忘れを誘発する。 ニューロンの重量分布を安定化するHE駆動正規化戦略であるSPHERE(Sparse Projection for Hyperspherical Energy-Regularized Editing)を提案する。
  論文  参考訳（メタデータ） (2025-10-01T17:55:43Z)
• MEMOIR: Lifelong Model Editing with Minimal Overwrite and Informed Retention for LLMs [76.28901550926021]
  寿命の長いモデル編集のための既存の方法は、妥協の一般化、過去の編集の妨害、長い編集シーケンスへのスケールの失敗である。 我々は,学習済みモデルのコア能力を保ちながら,残メモリを介して知識を注入する,新しいスケーラブルなフレームワークMEMOIRを提案する。 MeMOIRは信頼性、一般化、ローカリティのメトリクスにまたがる最先端のパフォーマンスを実現し、最小限の忘れ物で数千のシーケンシャルな編集にスケールする。
  論文  参考訳（メタデータ） (2025-06-09T16:16:42Z)
• LyapLock: Bounded Knowledge Preservation in Sequential Large Language Model Editing [28.870053452479443]
  現在の位置情報編集アプローチは、逐次編集中に徐々にパフォーマンスが低下している。 textbfLyapLockは、長期制約付きプログラミングを、効率的な解法のために、段階的に抽出可能なサブプロブレムに分解するために提案されている。 実験結果から,本フレームワークは汎用性を安定させ,SOTAベースラインよりも平均編集効率を11.89%向上させるとともに,1万回以上の編集能力に拡張可能であることがわかった。
  論文  参考訳（メタデータ） (2025-05-21T16:16:33Z)
• Perturbation-Restrained Sequential Model Editing [33.51709226068619]
  現在のモデル編集手法は、編集数が増加するにつれて、大きな言語モデル(LLM)の一般的な能力を損なう。 逐次編集における条件数抑制を応用した「PRUNE(Preper bouNd for Editing)」というフレームワークを提案する。 その結果、PRUNEは、逐次モデル編集において、編集性能を効果的に維持しながら、汎用性を維持できることを示した。
  論文  参考訳（メタデータ） (2024-05-27T04:40:56Z)
• Model Editing Harms General Abilities of Large Language Models: Regularization to the Rescue [122.20016030723043]
  大規模言語モデル(LLM)におけるモデル編集の副作用を評価する。 分析の結果,モデルの重みを過度に修正したモデル編集によって副作用が生じることが明らかとなった。 これを軽減するために、修正の重み付けを正規化するためにRECTというメソッドが提案されている。
  論文  参考訳（メタデータ） (2024-01-09T18:03:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。