論文の概要: BetaEdit: Null-Space Constrained Sequential Model Editing

• arxiv url: http://arxiv.org/abs/2605.09285v1
• Date: Sun, 10 May 2026 03:17:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-12 23:28:50.167461
• Title: BetaEdit: Null-Space Constrained Sequential Model Editing
• Title（参考訳）: BetaEdit: Null-Space Constrained Sequential Model Editing
• Abstract要約: ヌル空間に基づく手法は、知識リークに導かれる近似的なヌル空間に依存している。 最近の研究は、歴史を意識した編集戦略がこの減少を緩和できることを示しているが、その根底にある理由は未だ不明である。 本研究では,知識リークを効果的に制御し,履歴を意識した更新をnull空間パラダイムに統合するフレームワークであるBetaEditを提案する。
• 参考スコア（独自算出の注目度）: 7.908184111860611
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Null-space-based methods have garnered considerable attention in model editing by constraining updates to the null space of the pre-existing knowledge representation, thereby preserving the model's original behavior. However, in practice these methods rely on an approximate null space--leading to knowledge leakage--and further suffer from severe performance degradation during sequential editing. Recent work shows that history-aware editing strategies can empirically mitigate this decline, yet the underlying reason remains unclear. In this paper, we first expose the knowledge leakage inherent in existing null-space approaches and then analyze why history-aware updates effectively preserve both editing performance and general capabilities during long-horizon editing. Building on these insights, we propose BetaEdit, a refined framework that effectively controls the knowledge leakage and integrates history-aware updates into the null-space paradigm. Extensive experiments on three large language models across two standard benchmarks show that BetaEdit consistently outperforms prior methods in the challenging regime of massive-scale sequential editing. Code is available at: https://github.com/lbq8942/BetaEdit.
• Abstract（参考訳）: 既存の知識表現のヌル空間への更新を制限し、モデルの本来の振舞いを保存することで、Null空間ベースの手法はモデル編集において大きな注目を集めている。 しかし、実際には、これらの手法は知識リークを誘発する近似的なヌル空間に依存しており、さらにシーケンシャルな編集の際の性能劣化に悩まされている。 最近の研究は、歴史を意識した編集戦略がこの減少を実証的に緩和できることを示しているが、その根底にある理由は不明である。 本稿では,既存のヌル空間アプローチに固有の知識リークを最初に公開し,なぜ履歴認識更新が長軸編集における編集性能と汎用性の両方を効果的に維持するのかを解析する。 これらの知見に基づいて,知識リークを効果的に制御し,履歴を意識した更新をnull空間パラダイムに統合する,洗練されたフレームワークであるBetaEditを提案する。 2つの標準ベンチマークにおける3つの大きな言語モデルに対する大規模な実験により、BetaEditは、大規模なシーケンシャルな編集の困難な状況において、従来手法よりも一貫して優れていたことが示されている。 コードは、https://github.com/lbq8942/BetaEdit.comで入手できる。

関連論文リスト

• Reproducibility Study of "AlphaEdit: Null-Space Constrained Knowledge Editing for Language Models" [0.0]
  そこで本研究では,AlphaEditについて検討し,その報告結果を元の実験環境下で再現する。 我々は、BooolQ、HellaSwag、XSTestという3つの余分なベンチマークで、編集されたモデルの評価を拡張した。 結果,AlphaEditはもともとのスコープで報告されたように動作することを確認した。
  論文  参考訳（メタデータ） (2026-06-25T09:20:00Z)
• The Labyrinth and the Thread: Rethinking Regularizations in Sequential Knowledge Editing for Large Language Models [15.376868559569623]
  我々はまずAlphaEditの実証的な成功を分析し、厳密な最適化分析により、1回と逐次編集の形式的等価性を確立する。 信頼性の高いシーケンシャルアップデートには,多くの一般的な正規化戦略が不要であることを実証的に確認する。 私たちの研究は、Ariadne氏のスレッドにシーケンシャルな編集のラビリンスを通し、よりシンプルで、より解釈可能で、信頼性の高い知識更新への道をチャート化します。
  論文  参考訳（メタデータ） (2026-05-26T08:07:25Z)
• EvoEdit: Evolving Null-space Alignment for Robust and Efficient Knowledge Editing [19.834477925624658]
  大規模言語モデル(LLM)は、時代遅れまたは誤った知識を正すために継続的な更新を必要とする。 既存のアプローチは主に位置対応のフレームワークに基づいている。 本稿では,連続的なヌル空間アライメントによる破滅的干渉を緩和する新しい編集戦略であるEvoEditを紹介する。
  論文  参考訳（メタデータ） (2025-10-11T21:36:14Z)
• Is Model Editing Built on Sand? Revealing Its Illusory Success and Fragile Foundation [50.40861036534546]
  大きな言語モデル(LLM)は、必然的に時代遅れまたは誤った知識をエンコードする。そのような知識の更新、削除、そして忘れは、アライメント、安全性、その他の問題にとって重要である。 この問題を解決するために、モデル編集は有望なパラダイムとして現れ、特定の事実が更新され、他の知識を保持しながら、パラメータの小さなサブセットを正確に編集する。 前回の論文で大きな成功を収めたにもかかわらず、編集の信頼性は脆弱な基盤にかかっていることが判明した。 我々の経験的証拠は、編集が完全な意味論よりもショートカットに基づく可能性が高いことを示し、さらなる進歩の前にモデル編集の基盤を急激な再考を求める。
  論文  参考訳（メタデータ） (2025-10-01T07:59:23Z)
• Model Merging for Knowledge Editing [53.799891745131724]
  大規模言語モデル(LLM)は、世界が進化するにつれて正確で現在の知識を維持するために継続的な更新を必要とする。 既存の知識編集アプローチは知識更新のための様々なソリューションを提供するが、しばしば連続的な編集シナリオに苦労する。 本稿では,頑健な教師付き微調整(R-SFT)とモデルマージを組み合わせた2段階のフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-06-14T07:42:39Z)
• LyapLock: Bounded Knowledge Preservation in Sequential Large Language Model Editing [28.870053452479443]
  現在の位置情報編集アプローチは、逐次編集中に徐々にパフォーマンスが低下している。 textbfLyapLockは、長期制約付きプログラミングを、効率的な解法のために、段階的に抽出可能なサブプロブレムに分解するために提案されている。 実験結果から,本フレームワークは汎用性を安定させ,SOTAベースラインよりも平均編集効率を11.89%向上させるとともに,1万回以上の編集能力に拡張可能であることがわかった。
  論文  参考訳（メタデータ） (2025-05-21T16:16:33Z)
• AnyEdit: Edit Any Knowledge Encoded in Language Models [76.28789588247659]
  大規模言語モデル(LLM)のための新しい自動回帰編集パラダイムであるAnyEditを提案する。 長い形式の知識を逐次チャンクに分解し、各チャンク内のキートークンを反復的に編集し、一貫性と正確な出力を保証する。 UnKEBench、AKEW、そして我々の長文の多様な知識のための新しいEditEverythingデータセットを含むベンチマークでは、強いベースラインを21.5%上回っている。
  論文  参考訳（メタデータ） (2025-02-08T16:18:37Z)
• AlphaEdit: Null-Space Constrained Knowledge Editing for Language Models [63.209935157623946]
  大型言語モデル(LLM)は、しばしば誤った知識や時代遅れの知識による幻覚を示す。 パラメータに適用する前に、保存された知識のnull空間に摂動を投影する新しいソリューションであるAlphaEditを紹介する。 我々は,この予測が保存知識を問うと,後編集後のLLMの出力が変化しないことを理論的に証明する。
  論文  参考訳（メタデータ） (2024-10-03T10:06:27Z)
• Outdated Issue Aware Decoding for Reasoning Questions on Edited Knowledge [93.54427119091174]
  本稿では,従来のISsueを意識した復号化手法を提案する。 元のモデルと編集されたモデルとの確率分布の差を捉える。 我々は、古くなった問題を緩和するために、編集されたモデルにおけるトークン予測の違いを増幅する。
  論文  参考訳（メタデータ） (2024-06-05T03:00:15Z)
• Memory-Based Model Editing at Scale [102.28475739907498]
  既存のモデルエディタは、編集対象のスコープを正確にモデル化するのに苦労する。 SERAC(Retrieval-Augmented Counterfactal Model)を用いた半パラメトリック編集を提案する。 SERACは、編集を明示的なメモリに格納し、必要に応じてベースモデルの予測を変更できるように、それらを推論することを学ぶ。
  論文  参考訳（メタデータ） (2022-06-13T23:40:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。