論文の概要: DELA: Learning Controllable Edits for Diffusion Language Models
- arxiv url: http://arxiv.org/abs/2610.32096v1
- Date: Fri, 23 Oct 2026 02:57:27 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-27 01:38:06.33008
- Title: DELA: Learning Controllable Edits for Diffusion Language Models
- Title（参考訳）: DELA: 拡散言語モデルのための制御可能な編集を学習する
- Abstract要約: 凍結したDLMで制御可能なドラフトリファインメントを可能にするプラグインフレームワークを提案する。
DELAは、Insert、Delete、Remask、Stopの4つの明示的な編集アクションを使用して、クリーンで可変長のドラフトで動作する。
数学的推論とコード生成の実験により、DELAは直接拡散復号化よりも最大5.5ポイントのゲインを達成することが示された。
- 参考スコア（独自算出の注目度）: 11.838761254181144
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Diffusion language models (DLMs) support bidirectional denoising and iterative refinement, but generation remains largely controlled by token-level masking schedules. This leaves draft-level refinement implicit and limits explicit control over when to insert missing content, delete redundant spans, revisit uncertain regions, or stop editing. We introduce Diffusion Editing Language Adapter (DELA), a plug-in framework that enables controllable draft refinement with a frozen DLM. DELA operates on clean, variable-length drafts using four explicit editing actions: Insert, Delete, Remask, and Stop. The controller determines when and where to edit the draft, while the frozen DLM fills masked regions through denoising, separating high-level edit control from token-level generation. A naive single-phase editor would be computationally expensive because arbitrary interior edits can disrupt prefix stability and limit reliable KV-cache reuse. To address this, DELA uses a two-phase decoding procedure: a fast, append-only drafting phase that supports KV-cache reuse, followed by a global refinement phase that enables targeted non-monotonic edits to the full draft. We train the controller using a staged curriculum that begins with learning local edit priors from synthetic recovery tasks and mined actions that improve draft quality. Subsequent stages refine edit selection through rollout-based outcome preferences and alignment with downstream task feedback. Experiments on mathematical reasoning and code generation show that DELA achieves gains of up to 5.5 percentage points over direct diffusion decoding while keeping the backbone frozen. DELA thus provides a modular approach to explicit draft-level control in diffusion language models.
- Abstract（参考訳）: 拡散言語モデル (DLMs) は双方向の denoising と Iterative refinement をサポートするが、生成はトークンレベルのマスキングスケジュールによって制御されている。
これにより、ドラフトレベルの改善が暗黙的に残され、欠落したコンテンツを挿入したり、冗長なスパンを削除したり、不確実な領域を再検討したり、編集を停止する時の明示的な制御が制限される。
凍結したDLMで制御可能なドラフトリファインメントを可能にするプラグインフレームワークであるDiffusion Editing Language Adapter (DELA)を紹介する。
DELAは、Insert、Delete、Remask、Stopの4つの明示的な編集アクションを使用して、クリーンで可変長のドラフトで動作する。
コントローラは、いつ、どこでドラフトを編集するかを判断し、凍結したDLMは、トークンレベルの生成からハイレベルな編集制御を分離することで、マスクされた領域を埋める。
なぜなら、任意の内部編集によってプレフィックスの安定性が損なわれ、信頼性の高いKV-cacheの再利用が制限されるためである。
これを解決するために、DELAは2段階のデコード手順を使用する: KV-cacheの再利用をサポートする高速で追加のみのドラフトフェーズ、続いて、ターゲットとする非モノトニックな編集を完全なドラフトに含めるグローバルな改善フェーズである。
筆者らは、まず、合成回復タスクから局所的な編集前を学習し、ドラフト品質を改善するためのマイニングアクションを学習する段階的なカリキュラムを用いて、コントローラを訓練する。
その後のステージでは、ロールアウトベースの結果選択と下流のタスクフィードバックとの整合による編集選択が洗練される。
数学的推論とコード生成の実験により、DELAはバックボーンの凍結を維持しながら直接拡散復号化よりも最大5.5ポイントのゲインを達成することが示された。
したがって、DELAは拡散言語モデルにおける明示的なドラフトレベル制御に対するモジュラーアプローチを提供する。
関連論文リスト
- Diff Diffusion: Predicting Edit Paths with Diffusion Models for Efficient Code Editing [13.208937236894862]
Diff Diffusionは、コード編集のための拡散にインスパイアされたフレームワークである。
オリジナルのスニペットから修正形式への編集パスを予測する。
パブリックな編集-補完ベンチマークでは2.78倍の速度で推測でき、生産において39.0%のP50モデルレイテンシーが減少する。
論文 参考訳（メタデータ） (2026-10-13T06:49:52Z) - Anchors Enhance Controllability and Reasoning of Diffusion Language Models [16.671899813761186]
拡散言語モデル(DLM)は、制御可能なテキスト生成の新しい機会を提供する。
DLMの双方向注意により、制御トークンは出力シーケンス内の任意の位置から生成をガイドすることができる。
本稿では,アンカー生成器が短い出力フラグメントからなるアンカーを生成するフレームワークであるAnchorDLMを提案する。
論文 参考訳（メタデータ） (2026-10-10T18:14:59Z) - ManiEdit: Sequential Unstructured Knowledge Editing for Language Models from a Manifold Perspective [49.83428734814549]
既存のモデル編集手法は、構造化されていない長文の知識を逐次編集するのに苦労する。
ManiEditは、2つのコアコンポーネントからなる新しい多様体対応編集フレームワークである。
ManiEditは最先端のパフォーマンスを実現し、最強のベースラインである+27.81 BERTScoreと+8.50 ROUGE-Lを上回った。
論文 参考訳（メタデータ） (2026-09-27T13:02:43Z) - Velocity-Space 3D Asset Editing [45.94997633532406]
ローカルに3Dアセットを編集し、残りの部分を保存しながらターゲット領域を変更することは、ネイティブな3D編集の基本的な要件である。
Inversion-free, training-free, and mask-free framework that address each problem with a target intervention in the sampler。
論文 参考訳（メタデータ） (2026-05-08T07:42:12Z) - SAEdit: Token-level control for continuous image editing via Sparse AutoEncoder [52.754326452329956]
本稿では,テキスト埋め込みのトークンレベルの操作を通じて,アンタングルと連続的な編集を行う手法を提案する。
編集は、対象属性の強度を制御する、慎重に選択された方向に沿って埋め込みを操作することで行われる。
本手法は,拡散過程を変更せずにテキスト埋め込みを直接操作し,画像のバックボーンに広く適用可能な,非依存なモデルとする。
論文 参考訳（メタデータ） (2025-10-06T17:51:04Z) - Constraining Sequential Model Editing with Editing Anchor Compression [40.93064933191375]
大型言語モデル(LLM)は、誤った知識や時代遅れの知識によって幻覚に苦しむ。
本稿では, 編集後のパラメータ行列が, 編集数の増加に伴って, 以前の状態と大きくずれていることを統計的に観察する。
逐次的編集におけるパラメータ行列の偏差を抑制するため,EAC (Editing Anchor Compression) というフレームワークが提案されている。
論文 参考訳（メタデータ） (2025-02-25T03:56:49Z) - DICE: Discrete Inversion Enabling Controllable Editing for Multinomial Diffusion and Masked Generative Models [79.0135981840682]
DICE(Discrete Inversion for Controllable Editing)を導入し,離散拡散モデルの正確なインバージョンを実現する。
逆拡散過程におけるノイズシーケンスとマスキングパターンを記録することにより、DICEは離散データの正確な再構成とフレキシブルな編集を可能にする。
以上の結果から,DICEは高いデータ忠実性を保ちながら編集能力を向上し,離散空間における微細なコンテンツ操作の新たな機会を提供する。
論文 参考訳（メタデータ） (2024-10-10T17:59:48Z) - ELDER: Enhancing Lifelong Model Editing with Mixture-of-LoRA [55.697627106315004]
大規模言語モデル(LLM)は、特定の知識を効率的に更新し、事実の誤りを避けるためにモデル編集を必要とする。
従来のアプローチでは、元のパラメータを凍結し、知識更新毎に新しいパラメータを個別に割り当てることで、シーケンシャルな編集を管理する。
本稿では,データとアダプタを連続的に関連付ける新しい手法であるELDERを提案する。
論文 参考訳（メタデータ） (2024-08-19T02:27:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。