論文の概要: BetaEdit: Null-Space Constrained Sequential Model Editing

• arxiv url: http://arxiv.org/abs/2605.09285v1
• Date: Sun, 10 May 2026 03:17:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-12 23:28:50.167461
• Title: BetaEdit: Null-Space Constrained Sequential Model Editing
• Title（参考訳）: BetaEdit: Null-Space Constrained Sequential Model Editing
• Authors: Bingqing Liu, Wei Liu, Yuhua Li,
• Abstract要約: ヌル空間に基づく手法は、知識リークに導かれる近似的なヌル空間に依存している。 最近の研究は、歴史を意識した編集戦略がこの減少を緩和できることを示しているが、その根底にある理由は未だ不明である。 本研究では,知識リークを効果的に制御し,履歴を意識した更新をnull空間パラダイムに統合するフレームワークであるBetaEditを提案する。
• 参考スコア（独自算出の注目度）: 7.908184111860611
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Null-space-based methods have garnered considerable attention in model editing by constraining updates to the null space of the pre-existing knowledge representation, thereby preserving the model's original behavior. However, in practice these methods rely on an approximate null space--leading to knowledge leakage--and further suffer from severe performance degradation during sequential editing. Recent work shows that history-aware editing strategies can empirically mitigate this decline, yet the underlying reason remains unclear. In this paper, we first expose the knowledge leakage inherent in existing null-space approaches and then analyze why history-aware updates effectively preserve both editing performance and general capabilities during long-horizon editing. Building on these insights, we propose BetaEdit, a refined framework that effectively controls the knowledge leakage and integrates history-aware updates into the null-space paradigm. Extensive experiments on three large language models across two standard benchmarks show that BetaEdit consistently outperforms prior methods in the challenging regime of massive-scale sequential editing. Code is available at: https://github.com/lbq8942/BetaEdit.
• Abstract（参考訳）: 既存の知識表現のヌル空間への更新を制限し、モデルの本来の振舞いを保存することで、Null空間ベースの手法はモデル編集において大きな注目を集めている。 しかし、実際には、これらの手法は知識リークを誘発する近似的なヌル空間に依存しており、さらにシーケンシャルな編集の際の性能劣化に悩まされている。 最近の研究は、歴史を意識した編集戦略がこの減少を実証的に緩和できることを示しているが、その根底にある理由は不明である。 本稿では,既存のヌル空間アプローチに固有の知識リークを最初に公開し,なぜ履歴認識更新が長軸編集における編集性能と汎用性の両方を効果的に維持するのかを解析する。 これらの知見に基づいて,知識リークを効果的に制御し,履歴を意識した更新をnull空間パラダイムに統合する,洗練されたフレームワークであるBetaEditを提案する。 2つの標準ベンチマークにおける3つの大きな言語モデルに対する大規模な実験により、BetaEditは、大規模なシーケンシャルな編集の困難な状況において、従来手法よりも一貫して優れていたことが示されている。 コードは、https://github.com/lbq8942/BetaEdit.comで入手できる。

関連論文リスト

• EvoEdit: Evolving Null-space Alignment for Robust and Efficient Knowledge Editing [19.834477925624658]
  大規模言語モデル(LLM)は、時代遅れまたは誤った知識を正すために継続的な更新を必要とする。 既存のアプローチは主に位置対応のフレームワークに基づいている。 本稿では,連続的なヌル空間アライメントによる破滅的干渉を緩和する新しい編集戦略であるEvoEditを紹介する。
  論文  参考訳（メタデータ） (2025-10-11T21:36:14Z)
• Is Model Editing Built on Sand? Revealing Its Illusory Success and Fragile Foundation [50.40861036534546]
  大きな言語モデル(LLM)は、必然的に時代遅れまたは誤った知識をエンコードする。そのような知識の更新、削除、そして忘れは、アライメント、安全性、その他の問題にとって重要である。 この問題を解決するために、モデル編集は有望なパラダイムとして現れ、特定の事実が更新され、他の知識を保持しながら、パラメータの小さなサブセットを正確に編集する。 前回の論文で大きな成功を収めたにもかかわらず、編集の信頼性は脆弱な基盤にかかっていることが判明した。 我々の経験的証拠は、編集が完全な意味論よりもショートカットに基づく可能性が高いことを示し、さらなる進歩の前にモデル編集の基盤を急激な再考を求める。
  論文  参考訳（メタデータ） (2025-10-01T07:59:23Z)
• AnyEdit: Edit Any Knowledge Encoded in Language Models [76.28789588247659]
  大規模言語モデル(LLM)のための新しい自動回帰編集パラダイムであるAnyEditを提案する。 長い形式の知識を逐次チャンクに分解し、各チャンク内のキートークンを反復的に編集し、一貫性と正確な出力を保証する。 UnKEBench、AKEW、そして我々の長文の多様な知識のための新しいEditEverythingデータセットを含むベンチマークでは、強いベースラインを21.5%上回っている。
  論文  参考訳（メタデータ） (2025-02-08T16:18:37Z)
• AlphaEdit: Null-Space Constrained Knowledge Editing for Language Models [63.209935157623946]
  大型言語モデル(LLM)は、しばしば誤った知識や時代遅れの知識による幻覚を示す。 パラメータに適用する前に、保存された知識のnull空間に摂動を投影する新しいソリューションであるAlphaEditを紹介する。 我々は,この予測が保存知識を問うと,後編集後のLLMの出力が変化しないことを理論的に証明する。
  論文  参考訳（メタデータ） (2024-10-03T10:06:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。