論文の概要: Reproducibility Study of "AlphaEdit: Null-Space Constrained Knowledge Editing for Language Models"

• arxiv url: http://arxiv.org/abs/2606.26783v1
• Date: Thu, 25 Jun 2026 09:20:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-26 18:46:32.22428
• Title: Reproducibility Study of "AlphaEdit: Null-Space Constrained Knowledge Editing for Language Models"
• Title（参考訳）: AlphaEdit: Null-Space Constrained Knowledge Editing for Language Models の再現性の検討
• Abstract要約: そこで本研究では,AlphaEditについて検討し,その報告結果を元の実験環境下で再現する。 我々は、BooolQ、HellaSwag、XSTestという3つの余分なベンチマークで、編集されたモデルの評価を拡張した。 結果,AlphaEditはもともとのスコープで報告されたように動作することを確認した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Fang et al. (2025) introduced a null-space constrained projection, named AlphaEdit, for locate-then-edit knowledge editing methods, theoretically guaranteeing that edits do not disrupt previously preserved knowledge, and reports substantial gains over existing editing methods on LLaMA3, GPT2-XL, and GPT-J. In this work, we present a reproducibility study of AlphaEdit, reproducing its reported results under the original experimental setup and extending the evaluation along three axes: new model architectures, additional downstream benchmarks, and substantially longer sequential editing horizons. We successfully reproduce AlphaEdit's reported metrics across the original models, though we identify a discrepancy in the reported fluency and consistency metric. Extending AlphaEdit to newer model families, we find that its advantage does not generalize uniformly, which we trace to architectural assumptions in the locate-then-edit paradigm that are violated by these newer models. We further stress-test AlphaEdit's central sequential-editing claim by extending the number of edits well beyond those evaluated in the original paper, and find that performance, which is stable at the originally reported scale, degrades as edits reach a much higher count, indicating that the null-space projection's protection against catastrophic forgetting is bounded rather than unconditional. Finally, we extend evaluation of edited models on three extra benchmarks, namely, BoolQ, HellaSwag, and XSTest, and we find that large-scale sequential editing degrades both general downstream task competence and safety-relevant refusal behavior. Our results confirm that AlphaEdit performs as reported within its original scope, while showing that its core theoretical guarantees are sensitive to model architecture and editing scale in ways that have practical implications for its deployment.
• Abstract（参考訳）: Fang et al (2025) は、ゼロ空間制約付きプロジェクション、AlphaEdit を導入し、編集が以前保存されていた知識を損なわないことを理論的に保証し、LLaMA3, GPT2-XL, GPT-J の既存の編集方法よりも大幅に向上したことを報告した。 そこで本研究では,AlphaEdit の再現性について検討し,その報告結果を元の実験環境下で再現し,新しいモデルアーキテクチャ,下流ベンチマーク,さらにはるかに長い編集水平線など,3つの軸に沿って評価を拡張した。 我々は、AlphaEditのレポートされたメトリクスを元のモデル全体で再現することに成功しましたが、報告された流速と一貫性のメトリクスの相違を特定しました。 AlphaEditを新しいモデルファミリに拡張すると、その利点は一様に一般化されず、これらの新しいモデルに反する位置対応パラダイムにおけるアーキテクチャ上の仮定に辿り着く。 さらに、AlphaEditの中央シーケンシャル編集の主張は、元の論文で評価されたものよりもはるかに多くの編集数を延長することで、さらにストレステストを行い、元の報告されたスケールで安定な編集性能は、編集がはるかに高い数に達するにつれて劣化し、無条件ではなく、破滅的忘れに対するヌルスペース投影の保護が境界であることを示す。 最後に,BoolQ,HellaSwag,XSTestという3つの余剰ベンチマーク上での編集モデルの評価を拡張し,大規模な逐次編集は,一般的なダウンストリームタスク能力と安全関連リファインダー動作の両方を劣化させることを示した。 この結果から,AlphaEditは,モデルアーキテクチャや編集スケールに敏感であると同時に,その展開に実質的な影響があることが確認された。

関連論文リスト

• BetaEdit: Null-Space Constrained Sequential Model Editing [7.908184111860611]
  ヌル空間に基づく手法は、知識リークに導かれる近似的なヌル空間に依存している。 最近の研究は、歴史を意識した編集戦略がこの減少を緩和できることを示しているが、その根底にある理由は未だ不明である。 本研究では,知識リークを効果的に制御し,履歴を意識した更新をnull空間パラダイムに統合するフレームワークであるBetaEditを提案する。
  論文  参考訳（メタデータ） (2026-05-10T03:17:57Z)
• The Anatomy of an Edit: Mechanism-Guided Activation Steering for Knowledge Editing [52.315369633116255]
  大規模言語モデル(LLM)は知識ベースとしてますます使われているが、それらを最新の状態に保つには、目標とする知識編集(KE)が必要である。 ニューロンレベルの知識属性(NLKA)を用いたKEの力学的考察 代表的KE法全体にわたって、我々は一貫したパターンを見出す: ミッド・トゥ・レイト・アテンションは、主に新しいターゲットを促進するが、アテンションとFFNモジュールは、元の事実を抑えるために協力する。 本研究の目的は,MEGA(Mechanism-Guided Activation steering method)を提案することである。
  論文  参考訳（メタデータ） (2026-03-21T12:40:15Z)
• CrispEdit: Low-Curvature Projections for Scalable Non-Destructive LLM Editing [25.410131838577907]
  CrispEditは、機能保存を明示的な制約として扱う、原則化された2階編集アルゴリズムである。 CrispEditは、データセット全体の平均1%未満の機能劣化を維持しながら、高い編集成功を実現していることを示す。
  論文  参考訳（メタデータ） (2026-02-17T18:58:04Z)
• EvoEdit: Evolving Null-space Alignment for Robust and Efficient Knowledge Editing [19.834477925624658]
  大規模言語モデル(LLM)は、時代遅れまたは誤った知識を正すために継続的な更新を必要とする。 既存のアプローチは主に位置対応のフレームワークに基づいている。 本稿では,連続的なヌル空間アライメントによる破滅的干渉を緩和する新しい編集戦略であるEvoEditを紹介する。
  論文  参考訳（メタデータ） (2025-10-11T21:36:14Z)
• CaseEdit: Enhancing Localized Commonsense Reasoning via Null-Space Constrained Knowledge Editing in Small Parameter Language Models [4.190739522901791]
  大規模言語モデル(LLM)は、事実的リコールと一般的な推論において強い性能を示すが、ユーザ固有の常識知識に適応するのに苦労する。 我々は、ローカル化されたパーソナライズされたコモンセンス知識編集を評価するための新しいデータセットと生成パイプラインであるCaseEditを紹介する。 以上の結果から,AlphaEditのような効果的な編集技術を用いたCaseEditを使用することで,小型モデルで高品質で文脈に敏感な常識知識を内部化することが可能であることが示唆された。
  論文  参考訳（メタデータ） (2025-05-26T00:54:04Z)
• The Mirage of Model Editing: Revisiting Evaluation in the Wild [70.17413507444704]
  我々は、広く使われている質問応答(QA)データセットに対応する新しいベンチマークであるQAEditと、タスクに依存しない評価フレームワークであるWILDを紹介する。 単一の編集実験により、現在行われている編集手法は、以前報告したよりもかなり悪い結果が得られた。
  論文  参考訳（メタデータ） (2025-02-16T15:57:55Z)
• AlphaEdit: Null-Space Constrained Knowledge Editing for Language Models [63.209935157623946]
  大型言語モデル(LLM)は、しばしば誤った知識や時代遅れの知識による幻覚を示す。 パラメータに適用する前に、保存された知識のnull空間に摂動を投影する新しいソリューションであるAlphaEditを紹介する。 我々は,この予測が保存知識を問うと,後編集後のLLMの出力が変化しないことを理論的に証明する。
  論文  参考訳（メタデータ） (2024-10-03T10:06:27Z)
• EVEDIT: Event-based Knowledge Editing with Deductive Editing Boundaries [69.72012539060731]
  大規模言語モデル(LLM)における効率的な知識編集(KE)の理論的枠組みを導入する。 本稿では,事象をイベント記述と組み合わせたイベントベースの知識編集タスクを提案する。 編集モデルにおける不確実性を解消するための既存の設定よりもイベントベースの編集の方が優れていることを実証的に示す。
  論文  参考訳（メタデータ） (2024-02-17T16:34:50Z)
• The Butterfly Effect of Model Editing: Few Edits Can Trigger Large Language Models Collapse [58.0132400208411]
  単一の編集でさえモデル崩壊を引き起こし、様々なベンチマークタスクで大幅なパフォーマンス低下を示す。 編集後の大規模言語モデルのベンチマークは、過激な時間とリソース集約である。 我々は、GPT-3.5を用いて、ハードケースに基づいた新しいデータセット、HardEditを開発した。
  論文  参考訳（メタデータ） (2024-02-15T01:50:38Z)
• Memory-Based Model Editing at Scale [102.28475739907498]
  既存のモデルエディタは、編集対象のスコープを正確にモデル化するのに苦労する。 SERAC(Retrieval-Augmented Counterfactal Model)を用いた半パラメトリック編集を提案する。 SERACは、編集を明示的なメモリに格納し、必要に応じてベースモデルの予測を変更できるように、それらを推論することを学ぶ。
  論文  参考訳（メタデータ） (2022-06-13T23:40:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。