論文の概要: Knowledge Editing in Masked Diffusion Language Models

• arxiv url: http://arxiv.org/abs/2606.03924v1
• Date: Tue, 02 Jun 2026 17:14:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-03 22:00:05.208805
• Title: Knowledge Editing in Masked Diffusion Language Models
• Title（参考訳）: マスケ拡散言語モデルにおける知識編集
• Authors: Haewon Park, Yohan Jo,
• Abstract要約: 広く使われているアプローチである where-then-edit は、2つのステップでこれを行う。 これまで、このような手法は自己回帰モデル(ARM)にのみ適用されてきた。
• 参考スコア（独自算出の注目度）: 16.133247317852867
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Knowledge editing aims to update or correct factual knowledge in a language model. A widely used approach, locate-then-edit, does this in two steps: it first localizes a fact within the model, then edits the weights there. To date, such methods have been developed exclusively on autoregressive models (ARMs). Whether their underlying assumptions hold for masked diffusion models (MDMs), which model text bidirectionally and generate by iterative denoising rather than next-token prediction, remains an open question. We address it by transferring locate-then-edit to MDMs and comparing two MDMs (LLaDA, Dream) with two ARMs (LLaMA, Qwen) at matched scale. Our central finding has two parts. First, where an edit is applied transfers across paradigms: causal tracing highlights the same early-to-mid-layer MLP at the last subject token in both, and editing is most effective there. Second, this shared location does not guarantee a shared outcome. Single-token edits succeed in both, but as targets grow longer, editing degrades systematically in the MDMs but not the ARMs. The failure stems from how the edited fact is generated: producing a multi-token target requires passing through partially unmasked intermediate states for which the edit was never optimized. Guided by this diagnosis, we introduce a simple correction that optimizes the edit for these states, substantially restoring multi-token performance.
• Abstract（参考訳）: 知識編集は、言語モデルにおける事実知識の更新または修正を目的としている。 広く使われているアプローチである where-then-edit は、2つのステップでこれを行う。 これまで、このような手法は自動回帰モデル(ARM)でのみ開発されてきた。 テキストを双方向にモデル化し、次から次へと予測するよりも反復的妄想によって生成する、マスク拡散モデル(MDM)に対する仮定が、まだ未解決の課題である。 位置情報編集をMDMに転送し、2つのMDM(LLaDA, Dream)と2つのARM(LLaMA, Qwen)をマッチングスケールで比較することで対処する。 私たちの中心的な発見には2つの部分があります。 まず、編集がパラダイム間で適用される場合:因果トレースは、両方の最後の主題トークンにおいて、同じ初期から中層MLPをハイライトし、編集が最も効果的である。 第二に、この共有された場所は、共有された結果を保証するものではない。 シングルトークン編集はどちらも成功したが、ターゲットが長くなるにつれて、MDMでは体系的に劣化するが、ARMでは機能しない。 この失敗は、編集事実の生成方法に起因している: マルチトークンのターゲットを生成するには、編集が最適化されない部分的未成熟の中間状態を通過する必要がある。 この診断により,これらの状態の編集を最適化する簡単な修正を導入し,多点性能をほぼ復元する。

関連論文リスト

• Visual Autoregressive Modeling for Instruction-Guided Image Editing [97.04821896251681]
  画像編集を次世代の予測問題として再編成する視覚的自己回帰フレームワークを提案する。 VarEditは、正確な編集を実現するために、マルチスケールのターゲット機能を生成する。 1.2秒で512times512$編集を完了し、同じサイズのUltraEditよりも2.2$times$高速になった。
  論文  参考訳（メタデータ） (2025-08-21T17:59:32Z)
• Constraining Sequential Model Editing with Editing Anchor Compression [40.93064933191375]
  大型言語モデル(LLM)は、誤った知識や時代遅れの知識によって幻覚に苦しむ。 本稿では, 編集後のパラメータ行列が, 編集数の増加に伴って, 以前の状態と大きくずれていることを統計的に観察する。 逐次的編集におけるパラメータ行列の偏差を抑制するため,EAC (Editing Anchor Compression) というフレームワークが提案されている。
  論文  参考訳（メタデータ） (2025-02-25T03:56:49Z)
• Rethinking the Residual Distribution of Locate-then-Editing Methods in Model Editing [14.958557185068]
  モデル編集は、大規模言語モデルの知識をターゲットとする更新を可能にする。 location-then-editメソッドはまず重要なレイヤを識別し、ターゲットの編集に基づいて最後のクリティカルレイヤで残余を計算する。 これらの手法のコアメカニズムである残留分布は、編集精度を損なう重みシフト誤差をもたらす。 そこで我々は,位置列編集手法を強化するBLUE戦略を提案する。
  論文  参考訳（メタデータ） (2025-02-06T03:20:17Z)
• ELDER: Enhancing Lifelong Model Editing with Mixture-of-LoRA [55.697627106315004]
  大規模言語モデル(LLM)は、特定の知識を効率的に更新し、事実の誤りを避けるためにモデル編集を必要とする。 従来のアプローチでは、元のパラメータを凍結し、知識更新毎に新しいパラメータを個別に割り当てることで、シーケンシャルな編集を管理する。 本稿では,データとアダプタを連続的に関連付ける新しい手法であるELDERを提案する。
  論文  参考訳（メタデータ） (2024-08-19T02:27:00Z)
• Does Localization Inform Editing? Surprising Differences in Causality-Based Localization vs. Knowledge Editing in Language Models [68.03946716358335]
  既存の方法と異なる位置にある重みを編集することで、その事実をモデルに格納する方法を変えることができる。 特定のモデルパラメータに事実をローカライズすることで、モデル内の知識を操作する場所がわかると期待しているからです。 我々の結果は、事前訓練された言語モデルがどのように機能するかのより優れた機械的理解が、必ずしも行動の最良の変更方法に関する洞察に結びつくとは限らないことを示唆している。
  論文  参考訳（メタデータ） (2023-01-10T21:26:08Z)
• Memory-Based Model Editing at Scale [102.28475739907498]
  既存のモデルエディタは、編集対象のスコープを正確にモデル化するのに苦労する。 SERAC(Retrieval-Augmented Counterfactal Model)を用いた半パラメトリック編集を提案する。 SERACは、編集を明示的なメモリに格納し、必要に応じてベースモデルの予測を変更できるように、それらを推論することを学ぶ。
  論文  参考訳（メタデータ） (2022-06-13T23:40:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。