論文の概要: Birth, Death and Diff: Insertion-Based Sequence Generation with Corrections

• arxiv url: http://arxiv.org/abs/2610.34310v1
• Date: Sun, 25 Oct 2026 14:23:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:13.57679
• Title: Birth, Death and Diff: Insertion-Based Sequence Generation with Corrections
• Title（参考訳）: 出生, 死亡, ディフ: 矯正による挿入に基づくシーケンス生成
• Abstract要約: $MDMは、挿入ベースのモデルに置換と削除操作を加えることで、中間世代を修正可能にする。 $MDMは、可変長のパッドドシーケンスをスクラッチからトレーニングしたMDMと比較して、全ての推論予算において、より低い生成的パープレキシティを実現する。
• 参考スコア（独自算出の注目度）: 30.733690144666344
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Insertion-based masked diffusion models enable flexible-length, parallel generation by interleaving mask insertion with token unmasking. However, because their generation decisions are irreversible, aggressive parallel decoding can introduce errors that subsequent steps cannot correct, necessitating conservative decoding with more forward passes (NFEs). Moreover, they exhibit higher entropy than standard MDMs because they marginalize over multiple alignments during training and therefore require even more conservative decoding in the absence of a correction mechanism. To address this limitation, we introduce $δ$MDM, which makes intermediate generations revisable by equipping an insertion-based model with substitution and deletion operations. During training, we expose the model to errors caused by aggressive unmasking and insertion, teaching it to correct its own mistakes. At inference time, we interleave insertion and unmasking with correction steps that can revise previously unmasked tokens and remove unnecessary masks. This mechanism makes aggressive decoding practical, improving both generation speed and quality. $δ$MDM Pareto-dominates FlexMDM, a vanilla insertion-based MDM, on the speed--quality trade-off. On high-diversity unconditional text generation on OpenWebText, it halves the generative perplexity relative to FlexMDM at the highest inference budget. It also achieves lower generative perplexity at all inference budgets compared to MDM trained from scratch with variable-length padded sequences. On low-diversity conditional text generation on TinyGSM, it matches FlexMDM accuracy with half as many NFEs.
• Abstract（参考訳）: 挿入型マスク拡散モデルにより、マスク挿入とトークンアンマスクをインターリービングすることで、フレキシブル長の並列生成が可能となる。 しかし、それらの生成決定は不可逆であるため、アグレッシブ並列復号法は、その後のステップでは修正できないエラーを生じさせ、より前方通過(NFE)を伴う保守的復号法を必要とする。 さらに、トレーニング中に複数のアライメントを疎外し、修正機構がない場合にはより保守的な復号が必要となるため、標準的なMDMよりも高いエントロピーを示す。 この制限に対処するために、$δ$MDMを導入し、挿入ベースモデルに置換と削除操作を組み込むことで中間世代を修正可能にする。 トレーニング中、アグレッシブなアンマスキークと挿入によるエラーに対してモデルを公開し、自分自身のミスを修正するように教える。 推論時には挿入とアンマスキーをインターリーブし、それまでの未マスキークトークンを修正し、不要なマスクを除去する修正ステップを施す。 このメカニズムは、攻撃的な復号化を実践し、生成速度と品質の両方を改善する。 δ$MDM Pareto-は、バニラ挿入ベースのMDMであるFlexMDMを、高速で高品質なトレードオフで支配する。 OpenWebText上での高多様性な無条件テキスト生成では、最高の推論予算でFlexMDMと比較して、生成上の難易度を半減する。 また,全ての推論予算において,可変長のパッドドシーケンスをスクラッチからトレーニングしたMDMと比較して,生成的パープレキシティを低下させる。 TinyGSM上での低ダイバーシティ条件付きテキスト生成では、FlexMDMの精度とNFEの半数とを一致させる。

関連論文リスト

• Infinite Mask Diffusion for Few-Step Distillation [16.340935269530842]
  Masked Diffusion Models (MDM) は、言語モデリングにおける自己回帰モデルに代わる有望な代替品として登場した。 MDMの利点を継承しながら理論的境界を緩和するための無限マスク拡散モデル(IMDM)を提案する。 IMDM は LM1B と OpenWebText の小さなステップ数で既存の数ステップの蒸留法を超越している。
  論文  参考訳（メタデータ） (2026-05-11T13:07:03Z)
• On the Trainability of Masked Diffusion Language Models via Blockwise Locality [58.92209096047332]
  マスク付き拡散言語モデル (MDMs) は、最近、標準自己回帰型大言語モデル (AR-LLMs) に代わる有望な代替品として登場した。 ブロックワイズMDMを解析し,AR-LLMと比較し,構造生成の異なる側面を強調する3つの制御タスクについて検討した。 標準ランダムマスキングMDMは線形回帰を確実に学習できず、グラフパスフィニングにおいて高分散トレーニングダイナミクスを示し、スドクではAR-LLMよりも優れていた。
  論文  参考訳（メタデータ） (2026-04-27T17:44:26Z)
• DMax: Aggressive Parallel Decoding for dLLMs [77.24184219948337]
  効率的な拡散言語モデル(dLLM)のための新しいパラダイムであるDMaxを提案する。 並列デコードにおけるエラーの蓄積を軽減し、生成品質を維持しながらアグレッシブデコードを可能にする。 当社のアプローチの核心は、マスクと均一なdLLMを効率的に統合する新しいトレーニング戦略であるOn-Policy Uniform Trainingである。
  論文  参考訳（メタデータ） (2026-04-09T14:35:42Z)
• Learn from Your Mistakes: Self-Correcting Masked Diffusion Models [31.536464269884103]
  マスク付き拡散モデル(MDM)は自己回帰モデルに代わる有望な代替品として登場している。 本研究では、モデルにアンマキングと修正の両方を行うよう訓練するフレームワークを提案する。 トレーニングとサンプリングの手法をProSeCo(Progressive Self-Correction)と名付けました。
  論文  参考訳（メタデータ） (2026-02-12T05:17:31Z)
• Training-Free Self-Correction for Multimodal Masked Diffusion Models [61.84305395626145]
  本研究では,事前学習したマスク拡散モデルの帰納バイアスを利用した学習自由自己補正フレームワークを提案する。 本手法は,サンプリングステップを短縮したテキスト・画像生成およびマルチモーダル理解タスクにおける生成品質を著しく向上させる。
  論文  参考訳（メタデータ） (2026-02-02T23:58:15Z)
• Soft-Masked Diffusion Language Models [35.191030145577145]
  マスクトークンの埋め込みと,上位k$の予測トークンの埋め込みを動的にブレンドする新しい手法であるソフトマスキング(SM)を導入する。 SMを用いた169Mパラメータモデルの事前学習を継続すると、パープレキシティとMAUVEスコアが向上することを示した。 最新の拡散モデルDream-7BとDream-Coder-7BをSMで微調整する。
  論文  参考訳（メタデータ） (2025-10-20T06:42:03Z)
• Any-Order Flexible Length Masked Diffusion [53.89217188409148]
  マスク付き拡散モデル(MDMs)は、最近、離散領域上の自己回帰モデルに代わる有望な代替として登場した。 本稿では,フレキシブルマスク付き拡散モデル (FlexMDM) を紹介する。 我々は,FlexMDMがMDMと複雑度を一致させながら,より忠実度の高い長さ統計をモデル化することを示した。
  論文  参考訳（メタデータ） (2025-08-31T23:34:53Z)
• Plan for Speed: Dilated Scheduling for Masked Diffusion Language Models [13.575063025878208]
  マスク付き拡散言語モデルは高速で非自己回帰的なテキスト生成を約束する。 モデルの信頼性に基づいてアンマスクするトークンを選択する既存のサンプルは、複数の位置を並列にアンマスクする際のインタラクションを無視する。 DUS(Dilated Unmasking Scheduler)は、列位置を非隣接拡張群に分割し、それらを並列に分割する推論のみのプランナーフリーな手法である。
  論文  参考訳（メタデータ） (2025-06-23T18:49:23Z)
• Accelerating Diffusion LLMs via Adaptive Parallel Decoding [60.407727995313074]
  並列にサンプリングされたトークンの数を動的に調整する新しい手法であるアダプティブ並列復号法(APD)を導入する。 APDは、ダウンストリームベンチマークで最小限の品質劣化を伴って、非常に高いスループットを提供する。
  論文  参考訳（メタデータ） (2025-05-31T06:10:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。