論文の概要: Distributed Multi-Layer Editing for Rule-Level Knowledge in Large Language Models

• arxiv url: http://arxiv.org/abs/2604.08284v1
• Date: Thu, 09 Apr 2026 14:22:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-10 18:34:05.956098
• Title: Distributed Multi-Layer Editing for Rule-Level Knowledge in Large Language Models
• Title（参考訳）: 大規模言語モデルにおけるルールレベル知識のための分散多層編集
• Abstract要約: 大規模言語モデルは、孤立した事実だけでなく、記号表現、自然言語の説明、具体例の推論をサポートするルールも格納する。 ほとんどのモデル編集手法は、対象の編集が局所的な介入によって達成できると仮定して、事実レベルの知識のために構築されている。 ルールレベルの知識編集の機械論的研究を通じて,この問題を考察する。
• 参考スコア（独自算出の注目度）: 56.355176278601476
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models store not only isolated facts but also rules that support reasoning across symbolic expressions, natural language explanations, and concrete instances. Yet most model editing methods are built for fact-level knowledge, assuming that a target edit can be achieved through a localized intervention. This assumption does not hold for rule-level knowledge, where a single rule must remain consistent across multiple interdependent forms. We investigate this problem through a mechanistic study of rule-level knowledge editing. To support this study, we extend the RuleEdit benchmark from 80 to 200 manually verified rules spanning mathematics and physics. Fine-grained causal tracing reveals a form-specific organization of rule knowledge in transformer layers: formulas and descriptions are concentrated in earlier layers, while instances are more associated with middle layers. These results suggest that rule knowledge is not uniformly localized, and therefore cannot be reliably edited by a single-layer or contiguous-block intervention. Based on this insight, we propose Distributed Multi-Layer Editing (DMLE), which applies a shared early-layer update to formulas and descriptions and a separate middle-layer update to instances. While remaining competitive on standard editing metrics, DMLE achieves substantially stronger rule-level editing performance. On average, it improves instance portability and rule understanding by 13.91 and 50.19 percentage points, respectively, over the strongest baseline across GPT-J-6B, Qwen2.5-7B, Qwen2-7B, and LLaMA-3-8B. The code is available at https://github.com/Pepper66/DMLE.
• Abstract（参考訳）: 大規模言語モデルは、孤立した事実だけでなく、記号表現、自然言語の説明、具体例の推論をサポートするルールも格納する。 しかし、ほとんどのモデル編集手法は、対象の編集が局所的な介入によって達成できると仮定して、事実レベルの知識のために構築されている。 この仮定はルールレベルの知識には当てはまらないが、単一のルールは複数の相互依存形式にまたがって一貫性を保たなければならない。 ルールレベルの知識編集の機械論的研究を通じて,この問題を考察する。 本研究を支援するため,数学と物理学を対象とするルールを80から200に拡張した。 微粒な因果トレースは、トランスフォーマー層におけるルール知識の形式固有の組織を明らかにしている。 これらの結果は,ルール知識が一様局所化されていないこと,従って単一層あるいは連続ブロックの介入によって確実に編集できないことを示唆している。 この知見に基づいて分散多層編集(DMLE)を提案する。これは式と記述に共有のアーリーレイヤの更新を適用し、インスタンスに個別の中間レイヤの更新を行う。 DMLEは標準の編集基準で競争力を維持するが、ルールレベルの編集性能は大幅に向上する。 GPT-J-6B、Qwen2.5-7B、Qwen2-7B、LLaMA-3-8Bにまたがる最強のベースラインで、インスタンスのポータビリティとルール理解をそれぞれ13.91と50.19のパーセンテージで改善している。 コードはhttps://github.com/Pepper66/DMLEで公開されている。

関連論文リスト

• Beyond Factual Knowledge: Benchmarking and Learning Step-Level Procedural Rule Reasoning in Large Language Models [33.61747923589224]
  大規模言語モデル(LLM)は、テキストの理解と生成に優れるが、大規模に提供される外部の手続き規則を確実に理解し適用することは困難である。 我々は、ルールをインスタンス固有の事実ではなく、グローバルに再利用可能な抽象単位として再構成する大規模なベンチマークであるルールワールドを紹介した。 我々は、与えられたルールをKVキャッシュに注入し、検索を内部で学習可能なステップワイズプロセスに変換するエンドツーエンドフレームワークDynaRuleを提案する。
  論文  参考訳（メタデータ） (2026-08-24T03:22:45Z)
• Towards Localized and Disentangled Knowledge Editing for Multimodal Large Language Models [12.330598426331091]
  局所的および遠方的知識編集は、ファクト固有のモデル層をローカライズし、無関係なものからターゲット関連インプットを無関係にすることで、正確で一般化された編集を実現する。 LDKEは、高い局所性を維持しながら、関連するコンテキストに編集を伝達する際の優れた性能を実証する。
  論文  参考訳（メタデータ） (2026-05-28T12:06:39Z)
• HiEdit: Lifelong Model Editing with Hierarchical Reinforcement Learning [16.114622048845895]
  HiEditは階層的な強化学習フレームワークで、編集インスタンスごとに最も知識に関連のあるレイヤを適応的に識別する。 実験の結果、HiEditは競合するRLEditのパフォーマンスを平均8.48%向上させ、編集するレイヤの半分しか摂動しないことがわかった。
  論文  参考訳（メタデータ） (2026-04-13T09:08:57Z)
• MiLDEdit: Reasoning-Based Multi-Layer Design Document Editing [67.28337411397062]
  マルチレイヤ文書編集エージェント(MiLDEAgent)について紹介する。 MiLDEAgentは、レイヤワイドな理解のためのRLトレーニングされたマルチモーダル推論と、ターゲットとする修正のためのイメージエディタを組み合わせた推論ベースのフレームワークである。 MiLDEAgentは強力なレイヤ認識推論と正確な編集を実現し、すべてのオープンソースベースラインを著しく上回り、クローズドソースモデルに匹敵するパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2026-01-08T04:38:07Z)
• AnyEdit: Edit Any Knowledge Encoded in Language Models [76.28789588247659]
  大規模言語モデル(LLM)のための新しい自動回帰編集パラダイムであるAnyEditを提案する。 長い形式の知識を逐次チャンクに分解し、各チャンク内のキートークンを反復的に編集し、一貫性と正確な出力を保証する。 UnKEBench、AKEW、そして我々の長文の多様な知識のための新しいEditEverythingデータセットを含むベンチマークでは、強いベースラインを21.5%上回っている。
  論文  参考訳（メタデータ） (2025-02-08T16:18:37Z)
• ELDER: Enhancing Lifelong Model Editing with Mixture-of-LoRA [55.697627106315004]
  大規模言語モデル(LLM)は、特定の知識を効率的に更新し、事実の誤りを避けるためにモデル編集を必要とする。 従来のアプローチでは、元のパラメータを凍結し、知識更新毎に新しいパラメータを個別に割り当てることで、シーケンシャルな編集を管理する。 本稿では,データとアダプタを連続的に関連付ける新しい手法であるELDERを提案する。
  論文  参考訳（メタデータ） (2024-08-19T02:27:00Z)
• Editing Arbitrary Propositions in LLMs without Subject Labels [88.67755930096966]
  GT(Gradient Tracing)と呼ばれるシンプルで高速なローカライゼーション手法を提案する。 GTは、単にバイナリではなく任意の命題を編集できる。 提案手法は, 対象ラベルにアクセスせずに, 対象ラベルを持つ最先端のL&E手法に近い動作を行うことを示す。
  論文  参考訳（メタデータ） (2024-01-15T08:08:24Z)
• Does Localization Inform Editing? Surprising Differences in Causality-Based Localization vs. Knowledge Editing in Language Models [68.03946716358335]
  既存の方法と異なる位置にある重みを編集することで、その事実をモデルに格納する方法を変えることができる。 特定のモデルパラメータに事実をローカライズすることで、モデル内の知識を操作する場所がわかると期待しているからです。 我々の結果は、事前訓練された言語モデルがどのように機能するかのより優れた機械的理解が、必ずしも行動の最良の変更方法に関する洞察に結びつくとは限らないことを示唆している。
  論文  参考訳（メタデータ） (2023-01-10T21:26:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。