論文の概要: Distributed Multi-Layer Editing for Rule-Level Knowledge in Large Language Models

• arxiv url: http://arxiv.org/abs/2604.08284v1
• Date: Thu, 09 Apr 2026 14:22:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-10 18:34:05.956098
• Title: Distributed Multi-Layer Editing for Rule-Level Knowledge in Large Language Models
• Title（参考訳）: 大規模言語モデルにおけるルールレベル知識のための分散多層編集
• Authors: Yating Wang, Wenting Zhao, Yaqi Zhao, Yongshun Gong, Yilong Yin, Haoliang Sun,
• Abstract要約: 大規模言語モデルは、孤立した事実だけでなく、記号表現、自然言語の説明、具体例の推論をサポートするルールも格納する。 ほとんどのモデル編集手法は、対象の編集が局所的な介入によって達成できると仮定して、事実レベルの知識のために構築されている。 ルールレベルの知識編集の機械論的研究を通じて,この問題を考察する。
• 参考スコア（独自算出の注目度）: 56.355176278601476
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models store not only isolated facts but also rules that support reasoning across symbolic expressions, natural language explanations, and concrete instances. Yet most model editing methods are built for fact-level knowledge, assuming that a target edit can be achieved through a localized intervention. This assumption does not hold for rule-level knowledge, where a single rule must remain consistent across multiple interdependent forms. We investigate this problem through a mechanistic study of rule-level knowledge editing. To support this study, we extend the RuleEdit benchmark from 80 to 200 manually verified rules spanning mathematics and physics. Fine-grained causal tracing reveals a form-specific organization of rule knowledge in transformer layers: formulas and descriptions are concentrated in earlier layers, while instances are more associated with middle layers. These results suggest that rule knowledge is not uniformly localized, and therefore cannot be reliably edited by a single-layer or contiguous-block intervention. Based on this insight, we propose Distributed Multi-Layer Editing (DMLE), which applies a shared early-layer update to formulas and descriptions and a separate middle-layer update to instances. While remaining competitive on standard editing metrics, DMLE achieves substantially stronger rule-level editing performance. On average, it improves instance portability and rule understanding by 13.91 and 50.19 percentage points, respectively, over the strongest baseline across GPT-J-6B, Qwen2.5-7B, Qwen2-7B, and LLaMA-3-8B. The code is available at https://github.com/Pepper66/DMLE.
• Abstract（参考訳）: 大規模言語モデルは、孤立した事実だけでなく、記号表現、自然言語の説明、具体例の推論をサポートするルールも格納する。 しかし、ほとんどのモデル編集手法は、対象の編集が局所的な介入によって達成できると仮定して、事実レベルの知識のために構築されている。 この仮定はルールレベルの知識には当てはまらないが、単一のルールは複数の相互依存形式にまたがって一貫性を保たなければならない。 ルールレベルの知識編集の機械論的研究を通じて,この問題を考察する。 本研究を支援するため,数学と物理学を対象とするルールを80から200に拡張した。 微粒な因果トレースは、トランスフォーマー層におけるルール知識の形式固有の組織を明らかにしている。 これらの結果は,ルール知識が一様局所化されていないこと,従って単一層あるいは連続ブロックの介入によって確実に編集できないことを示唆している。 この知見に基づいて分散多層編集(DMLE)を提案する。これは式と記述に共有のアーリーレイヤの更新を適用し、インスタンスに個別の中間レイヤの更新を行う。 DMLEは標準の編集基準で競争力を維持するが、ルールレベルの編集性能は大幅に向上する。 GPT-J-6B、Qwen2.5-7B、Qwen2-7B、LLaMA-3-8Bにまたがる最強のベースラインで、インスタンスのポータビリティとルール理解をそれぞれ13.91と50.19のパーセンテージで改善している。 コードはhttps://github.com/Pepper66/DMLEで公開されている。

関連論文リスト

• AnyEdit: Edit Any Knowledge Encoded in Language Models [76.28789588247659]
  大規模言語モデル(LLM)のための新しい自動回帰編集パラダイムであるAnyEditを提案する。 長い形式の知識を逐次チャンクに分解し、各チャンク内のキートークンを反復的に編集し、一貫性と正確な出力を保証する。 UnKEBench、AKEW、そして我々の長文の多様な知識のための新しいEditEverythingデータセットを含むベンチマークでは、強いベースラインを21.5%上回っている。
  論文  参考訳（メタデータ） (2025-02-08T16:18:37Z)
• ELDER: Enhancing Lifelong Model Editing with Mixture-of-LoRA [55.697627106315004]
  大規模言語モデル(LLM)は、特定の知識を効率的に更新し、事実の誤りを避けるためにモデル編集を必要とする。 従来のアプローチでは、元のパラメータを凍結し、知識更新毎に新しいパラメータを個別に割り当てることで、シーケンシャルな編集を管理する。 本稿では,データとアダプタを連続的に関連付ける新しい手法であるELDERを提案する。
  論文  参考訳（メタデータ） (2024-08-19T02:27:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。