論文の概要: FedAlphaEdit: Null-Space-Aligned Merging for Collaborative Knowledge Editing
- arxiv url: http://arxiv.org/abs/2610.11033v1
- Date: Thu, 08 Oct 2026 00:25:25 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-10 02:36:53.715036
- Title: FedAlphaEdit: Null-Space-Aligned Merging for Collaborative Knowledge Editing
- Title(参考訳): FedAlphaEdit:コラボレーティブな知識編集のためのNull-Space-Aligned Merging
- Abstract要約: 複数の機関がそれぞれ独自の知識編集を行い、生の編集要求を共有することなく単一の大きな言語モデルに統合したいと願っている。
AlphaEditのような非空間制約の編集手法は、各更新が無関係な知識を残していることを数学的に保証する。
CollabEditのような協調的なフレームワークは、データ共有なしで複数のクライアントから編集を集約する。
我々はFedAlphaEditを提案し、既存の知識を保存するために、ローカル編集とサーバ側マージルールを単一のnull空間原理で整合させる。
- 参考スコア(独自算出の注目度): 1.9336815376402718
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Multiple institutions may each hold their own private knowledge edits and wish to integrate them into a single large language model without sharing raw edit requests. Null-space-constrained editing methods such as AlphaEdit mathematically guarantee that each update leaves unrelated knowledge intact, while collaborative frameworks such as CollabEdit aggregate edits from multiple clients without data sharing. Combining the two appears trivial. However, we show that this naive combination fails structurally, and we identify its cause. Guided by this analysis, we propose FedAlphaEdit. To our knowledge, this is the first collaborative knowledge editing framework that aligns both local editing and the server-side merging rule under a single null-space principle for preserving existing knowledge. FedAlphaEdit builds on null-space-aligned merging, in which clients share projected statistics and the server provably recovers the result of editing everything in one place under a one-shot idealization. Empirically, the proposed method repairs the collapse and brings edit success and preservation simultaneously close to the level of centralized editing across two architecture families. FedAlphaEdit thus lets institutions that cannot share raw edit data, such as hospitals and financial firms, jointly maintain a shared model that closely approximates editing all facts in one place.
- Abstract(参考訳): 複数の機関がそれぞれ独自の知識編集を行い、生の編集要求を共有することなく単一の大きな言語モデルに統合したいと願っている。
AlphaEditのような非空間制約の編集手法は、各更新が無関係な知識を残していることを数学的に保証し、CollabEditのような協調的なフレームワークはデータ共有なしで複数のクライアントから編集を集約する。
2つの組み合わせは簡単そうに見えます。
しかし,この単純な組み合わせは構造的に失敗し,原因を同定する。
この分析に基づいてFedAlphaEditを提案する。
私たちの知る限り、これは、ローカル編集とサーバ側のマージルールの両方を、既存の知識を保存するための単一のnull空間原則の下で整合させる、最初の協調的な知識編集フレームワークです。
FedAlphaEditは、クライアントが予測された統計を共有し、サーバがワンショットの理想化の下ですべての編集結果を確実に回復する、null-space-aligned mergingの上に構築されている。
実証的に,提案手法は崩壊を修復し,2つのアーキテクチャファミリにまたがる集中編集レベルに近い編集成功と保存を実現する。
したがってFedAlphaEditは、病院や金融機関のような生の編集データを共有できない機関が、すべての事実をほぼ一箇所で編集する共有モデルを共同で維持できる。
関連論文リスト
- ManiEdit: Sequential Unstructured Knowledge Editing for Language Models from a Manifold Perspective [49.83428734814549]
既存のモデル編集手法は、構造化されていない長文の知識を逐次編集するのに苦労する。
ManiEditは、2つのコアコンポーネントからなる新しい多様体対応編集フレームワークである。
ManiEditは最先端のパフォーマンスを実現し、最強のベースラインである+27.81 BERTScoreと+8.50 ROUGE-Lを上回った。
論文 参考訳(メタデータ) (2026-09-27T13:02:43Z) - Reproducibility Study of "AlphaEdit: Null-Space Constrained Knowledge Editing for Language Models" [0.0]
そこで本研究では,AlphaEditについて検討し,その報告結果を元の実験環境下で再現する。
我々は、BooolQ、HellaSwag、XSTestという3つの余分なベンチマークで、編集されたモデルの評価を拡張した。
結果,AlphaEditはもともとのスコープで報告されたように動作することを確認した。
論文 参考訳(メタデータ) (2026-06-25T09:20:00Z) - BetaEdit: Null-Space Constrained Sequential Model Editing [7.908184111860611]
ヌル空間に基づく手法は、知識リークに導かれる近似的なヌル空間に依存している。
最近の研究は、歴史を意識した編集戦略がこの減少を緩和できることを示しているが、その根底にある理由は未だ不明である。
本研究では,知識リークを効果的に制御し,履歴を意識した更新をnull空間パラダイムに統合するフレームワークであるBetaEditを提案する。
論文 参考訳(メタデータ) (2026-05-10T03:17:57Z) - HiEdit: Lifelong Model Editing with Hierarchical Reinforcement Learning [16.114622048845895]
HiEditは階層的な強化学習フレームワークで、編集インスタンスごとに最も知識に関連のあるレイヤを適応的に識別する。
実験の結果、HiEditは競合するRLEditのパフォーマンスを平均8.48%向上させ、編集するレイヤの半分しか摂動しないことがわかった。
論文 参考訳(メタデータ) (2026-04-13T09:08:57Z) - CoEditor++: Instruction-based Visual Editing via Cognitive Reasoning [98.98349220451216]
CoEditor++は、編集を"編集する方法"と"編集方法"に分解する、トレーニング不要のフレームワークである。
我々は,CoEditor++が編集タスクと編集タスクの両方において,最先端のパフォーマンスを実現することを示す。
以上の結果から,認知中心型画像編集の可能性が示唆された。
論文 参考訳(メタデータ) (2026-01-31T12:20:46Z) - AnyEdit: Edit Any Knowledge Encoded in Language Models [76.28789588247659]
大規模言語モデル(LLM)のための新しい自動回帰編集パラダイムであるAnyEditを提案する。
長い形式の知識を逐次チャンクに分解し、各チャンク内のキートークンを反復的に編集し、一貫性と正確な出力を保証する。
UnKEBench、AKEW、そして我々の長文の多様な知識のための新しいEditEverythingデータセットを含むベンチマークでは、強いベースラインを21.5%上回っている。
論文 参考訳(メタデータ) (2025-02-08T16:18:37Z) - EVEDIT: Event-based Knowledge Editing with Deductive Editing Boundaries [69.72012539060731]
大規模言語モデル(LLM)における効率的な知識編集(KE)の理論的枠組みを導入する。
本稿では,事象をイベント記述と組み合わせたイベントベースの知識編集タスクを提案する。
編集モデルにおける不確実性を解消するための既存の設定よりもイベントベースの編集の方が優れていることを実証的に示す。
論文 参考訳(メタデータ) (2024-02-17T16:34:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。