論文の概要: Balancing Knowledge Updates: Toward Unified Modular Editing in LLMs

• arxiv url: http://arxiv.org/abs/2510.27400v1
• Date: Fri, 31 Oct 2025 11:37:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-03 17:52:16.088944
• Title: Balancing Knowledge Updates: Toward Unified Modular Editing in LLMs
• Title（参考訳）: 知識更新のバランスをとる - LLMにおける統一モジュール編集を目指して
• Authors: Jiahao Liu, Zijian Wang, Kuo Zhao, Dong Hu,
• Abstract要約: 我々はメモリとAttnモジュールの両方を更新するためにIntAttn-Editを提案する。 IntAttn-Editは、従来の方法よりも高い編集成功、より優れた一般化、より強力な知識保存を実現する。
• 参考スコア（独自算出の注目度）: 24.366567992263303
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Knowledge editing has emerged as an efficient approach for updating factual knowledge in large language models (LLMs). It typically locates knowledge storage modules and then modifies their parameters. However, most existing methods focus on the weights of multilayer perceptron (MLP) modules, which are often identified as the main repositories of factual information. Other components, such as attention (Attn) modules, are often ignored during editing. This imbalance can leave residual outdated knowledge and limit editing effectiveness. We perform comprehensive knowledge localization experiments on advanced LLMs and find that Attn modules play a substantial role in factual knowledge storage and retrieval, especially in earlier layers. Based on these insights, we propose IntAttn-Edit, a method that extends the associative memory paradigm to jointly update both MLP and Attn modules. Our approach uses a knowledge balancing strategy that allocates update magnitudes in proportion to each module's measured contribution to knowledge storage. Experiments on standard benchmarks show that IntAttn-Edit achieves higher edit success, better generalization, and stronger knowledge preservation than prior methods. Further analysis shows that the balancing strategy keeps editing performance within an optimal range across diverse settings.
• Abstract（参考訳）: 知識編集は、大規模言語モデル(LLM)における事実知識を更新するための効率的なアプローチとして登場した。 通常、ナレッジストレージモジュールを特定し、パラメータを変更します。 しかし、既存のほとんどの手法は多層パーセプトロン(MLP)モジュールの重みに重点を置いている。 注意(Attn)モジュールのような他のコンポーネントは、しばしば編集中に無視される。 この不均衡は、残余の古い知識を残し、編集効率を制限できる。 我々は,先進LLMにおける包括的知識ローカライゼーション実験を行い,特に先行層において,Attnモジュールが実際の知識記憶と検索において重要な役割を担っていることを発見した。 これらの知見に基づいて,MLPとAttnモジュールを共同で更新するための連想メモリパラダイムを拡張する手法であるIntAttn-Editを提案する。 本手法では,各モジュールの知識記憶への貢献度に比例して更新等級を割り当てる知識バランス戦略を用いる。 標準ベンチマークの実験では、IntAttn-Editは以前の方法よりも高い編集成功、より良い一般化、より強力な知識保存を実現している。 さらなる分析により、バランス戦略は、様々な設定で最適な範囲でパフォーマンスを編集し続けることを示している。

関連論文リスト

• Retention analysis of edited knowledge after fine-tuning [5.1877231178075425]
  大規模な言語モデル(LLM)には膨大な量の知識が格納されており、事実の誤りを訂正したり、新たに取得した情報を組み込んだり、モデルの振る舞いを適応させたりする必要があることが多い。 モデル編集手法はこのような更新の効率的な解法として登場し、局所的で正確な知識修正を連続的な訓練よりも大幅に少ない計算コストで提供する。 しかし、これまで編集された知識に対する微調整の効果はよく分かっていない。
  論文  参考訳（メタデータ） (2025-07-14T15:51:19Z)
• Model Merging for Knowledge Editing [53.799891745131724]
  大規模言語モデル(LLM)は、世界が進化するにつれて正確で現在の知識を維持するために継続的な更新を必要とする。 既存の知識編集アプローチは知識更新のための様々なソリューションを提供するが、しばしば連続的な編集シナリオに苦労する。 本稿では,頑健な教師付き微調整(R-SFT)とモデルマージを組み合わせた2段階のフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-06-14T07:42:39Z)
• Disentangling Knowledge Representations for Large Language Model Editing [38.244171146682206]
  我々は,LLM編集のための知識表現を分割する新しいアプローチであるDiKEを提案する。 DiKEは2つの主要なコンポーネントから構成される: 対象表現を対象知識関連および非関連コンポーネントに分解する知識表現(KRD)モジュールと、対象コンポーネントのみを更新する知識編集(DKE)モジュールである。 本研究では, 微粒な無関係知識の保存を厳密に評価するため, FINE-KEDという, 微粒な無関係知識を, 編集された知識と異なるレベルの類似度で構成した新しいベンチマークを構築した。
  論文  参考訳（メタデータ） (2025-05-24T16:24:04Z)
• MEMoE: Enhancing Model Editing with Mixture of Experts Adaptors [30.831866499812925]
  MEMoEは、Mixture of Experts (MoE)アーキテクチャと知識アンカールーティング戦略を利用したモデル編集アダプタである。 バッチ編集とシーケンシャルなバッチ編集の両方よりも,我々のアプローチの方が優れていることを示す。
  論文  参考訳（メタデータ） (2024-05-29T13:49:44Z)
• Learning to Edit: Aligning LLMs with Knowledge Editing [101.96620267293731]
  本稿では,大規模言語モデルに新たな知識を入力問題に適用する学習 to LTE(Learning to Edit)フレームワークを提案する。 LTEには2段階のプロセスがある: (i) アライメントフェーズ(アライメントフェーズ)。 LTEの知識編集性能の優位性、バッチおよびシーケンシャルな編集の堅牢性、一般的なタスクに対する最小限の干渉、高速な編集速度を示す。
  論文  参考訳（メタデータ） (2024-02-19T07:45:17Z)
• A Comprehensive Study of Knowledge Editing for Large Language Models [82.65729336401027]
  大規模言語モデル(LLM)は、人間のコミュニケーションを忠実に反映したテキストの理解と生成の素晴らしい能力を示している。 本稿では,知識編集の問題を定義し,最先端アプローチの包括的レビューを行う。 我々は,代表的知識編集アプローチの総合的評価のための新しいベンチマークであるKnowEditを紹介した。
  論文  参考訳（メタデータ） (2024-01-02T16:54:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。