論文の概要: EvoEdit: Evolving Null-space Alignment for Robust and Efficient Knowledge Editing

• arxiv url: http://arxiv.org/abs/2510.13851v1
• Date: Sat, 11 Oct 2025 21:36:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-17 21:15:14.475075
• Title: EvoEdit: Evolving Null-space Alignment for Robust and Efficient Knowledge Editing
• Title（参考訳）: EvoEdit:ロバストで効率的な知識編集のためのNull空間アライメントの進化
• Authors: Sicheng Lyu, Yu Gu, Xinyu Wang, Jerry Huang, Sitao Luan, Yufei Cui, Xiao-Wen Chang, Peng Lu,
• Abstract要約: 大規模言語モデル(LLM)は、時代遅れまたは誤った知識を正すために継続的な更新を必要とする。 既存のアプローチは主に位置対応のフレームワークに基づいている。 本稿では,連続的なヌル空間アライメントによる破滅的干渉を緩和する新しい編集戦略であるEvoEditを紹介する。
• 参考スコア（独自算出の注目度）: 19.834477925624658
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) require continual updates to rectify outdated or erroneous knowledge. Model editing has emerged as a compelling paradigm for introducing targeted modifications without the computational burden of full retraining. Existing approaches are mainly based on a locate-then-edit framework. However, in sequential editing contexts, where multiple updates are applied over time, they exhibit significant limitations and suffer from catastrophic interference, i.e., new edits compromise previously integrated updates and degrade preserved knowledge. To address these challenges, we introduce EvoEdit, a novel editing strategy that mitigates catastrophic interference through sequential null-space alignment, enabling stable and efficient model editing. By performing sequential null-space alignment for each incoming edit, EvoEdit preserves both original and previously modified knowledge representations and maintains output invariance on preserved knowledge even across long edit sequences, effectively mitigating interference. Evaluations on real-world sequential knowledge-editing benchmarks show that EvoEdit achieves better or comparable performance than prior state-of-the-art locate-then-edit techniques, with up to 3.53 times speedup. Overall, these results underscore the necessity of developing more principled approaches for designing LLMs in dynamically evolving information settings, while providing a simple yet effective solution with strong theoretical guarantees.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、時代遅れまたは誤った知識を正すために継続的な更新を必要とする。 モデル編集は、完全な再トレーニングの計算負担を伴わずに、ターゲットとなる修正を導入するための魅力的なパラダイムとして登場した。 既存のアプローチは主に位置対応のフレームワークに基づいている。 しかし、連続的な編集コンテキストでは、複数の更新が時間をかけて適用されるが、それらは重大な制限を示し、破滅的な干渉、すなわち、以前の統合された更新を妥協し、保存された知識を劣化させる。 これらの課題に対処するために、我々は、シーケンシャルなヌル空間アライメントを通じて破滅的な干渉を緩和し、安定かつ効率的なモデル編集を可能にする新しい編集戦略であるEvoEditを紹介した。 受信する編集ごとに連続したヌル空間アライメントを実行することで、EvoEditは元の知識表現と以前に修正された知識表現の両方を保存し、長い編集シーケンスでさえ保存された知識の出力不変性を保ち、干渉を効果的に軽減する。 実世界のシーケンシャルな知識編集ベンチマークの評価では、EvoEditは最先端の位置情報編集技術よりも優れた、あるいは同等のパフォーマンスを達成し、最大3.53倍のスピードアップを達成している。 これらの結果は、動的に進化する情報設定において、LCMを設計するためのより原則化されたアプローチを開発することの必要性を浮き彫りにして、強力な理論的保証を備えた単純で効果的なソリューションを提供する。

関連論文リスト

• Aligning Language Models with Real-time Knowledge Editing [11.503574001763246]
  本稿では,知識編集のための実世界のベンチマークであるCRAFTを紹介する。 合成推論のためのよく設計されたペア編集を特徴とし、エイリアスポータビリティと時間的、常識的な局所性に関するモデルを評価する。 フレキシブルなリアルタイム編集に向けて,多彩な編集拡張と自己適応的ポストアライメント推論を備えた知識編集アライメントの新たなパラダイムであるKEDASを提案する。
  論文  参考訳（メタデータ） (2025-08-02T10:25:36Z)
• MEMOIR: Lifelong Model Editing with Minimal Overwrite and Informed Retention for LLMs [76.28901550926021]
  寿命の長いモデル編集のための既存の方法は、妥協の一般化、過去の編集の妨害、長い編集シーケンスへのスケールの失敗である。 我々は,学習済みモデルのコア能力を保ちながら,残メモリを介して知識を注入する,新しいスケーラブルなフレームワークMEMOIRを提案する。 MeMOIRは信頼性、一般化、ローカリティのメトリクスにまたがる最先端のパフォーマンスを実現し、最小限の忘れ物で数千のシーケンシャルな編集にスケールする。
  論文  参考訳（メタデータ） (2025-06-09T16:16:42Z)
• LyapLock: Bounded Knowledge Preservation in Sequential Large Language Model Editing [27.918524905286475]
  現在の位置情報編集アプローチは、逐次編集中に徐々にパフォーマンスが低下している。 textbfLyapLockは、長期制約付きプログラミングを、効率的な解法のために、段階的に抽出可能なサブプロブレムに分解するために提案されている。 実験結果から,本フレームワークは汎用性を安定させ,SOTAベースラインよりも平均編集効率を11.89%向上させるとともに,1万回以上の編集能力に拡張可能であることがわかった。
  論文  参考訳（メタデータ） (2025-05-21T16:16:33Z)
• DeltaEdit: Enhancing Sequential Editing in Large Language Models by Controlling Superimposed Noise [1.2697731449512988]
  逐次的知識編集技術は,大規模言語モデルの知識を低コストで継続的に更新することを目的としている。 既存の逐次編集手法は、長期編集後の編集成功率の大幅な低下に悩まされている。 デルタ編集(DeltaEdit)は,編集間の干渉を軽減し,偏差を緩和する手法である。 実験結果から、DeltaEditは、既存の方法よりも、成功率と一般化能力の維持を著しく上回っていることが示された。
  論文  参考訳（メタデータ） (2025-05-12T07:11:26Z)
• O-Edit: Orthogonal Subspace Editing for Language Model Sequential Editing [0.0]
  大規模言語モデル(LLM)は、事前訓練中に知識を取得するが、時間が経つにつれて、この知識は誤りまたは時代遅れになり、訓練後に更新が必要になる。 このアルゴリズムは、各知識更新の方向をアルゴリズム化し、逐次更新間の干渉を最小限にし、新しい更新が無関係な知識に与える影響を減らす。 メインストリームのLCM上で数千の編集を行うことができ、既存のメソッドの4.2倍の性能向上を実現し、下流のタスクでモデルのパフォーマンスを効果的に保ち、パラメータのオーバーヘッドを最小限に抑えることができる。
  論文  参考訳（メタデータ） (2024-10-15T10:16:45Z)
• ELDER: Enhancing Lifelong Model Editing with Mixture-of-LoRA [55.697627106315004]
  大規模言語モデル(LLM)は、特定の知識を効率的に更新し、事実の誤りを避けるためにモデル編集を必要とする。 従来のアプローチでは、元のパラメータを凍結し、知識更新毎に新しいパラメータを個別に割り当てることで、シーケンシャルな編集を管理する。 本稿では,データとアダプタを連続的に関連付ける新しい手法であるELDERを提案する。
  論文  参考訳（メタデータ） (2024-08-19T02:27:00Z)
• EVEDIT: Event-based Knowledge Editing with Deductive Editing Boundaries [69.72012539060731]
  大規模言語モデル(LLM)における効率的な知識編集(KE)の理論的枠組みを導入する。 本稿では,事象をイベント記述と組み合わせたイベントベースの知識編集タスクを提案する。 編集モデルにおける不確実性を解消するための既存の設定よりもイベントベースの編集の方が優れていることを実証的に示す。
  論文  参考訳（メタデータ） (2024-02-17T16:34:50Z)
• Memory-Based Model Editing at Scale [102.28475739907498]
  既存のモデルエディタは、編集対象のスコープを正確にモデル化するのに苦労する。 SERAC(Retrieval-Augmented Counterfactal Model)を用いた半パラメトリック編集を提案する。 SERACは、編集を明示的なメモリに格納し、必要に応じてベースモデルの予測を変更できるように、それらを推論することを学ぶ。
  論文  参考訳（メタデータ） (2022-06-13T23:40:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。