論文の概要: Unifying Masked Diffusion Models with Various Generation Orders and Beyond

• arxiv url: http://arxiv.org/abs/2602.02112v1
• Date: Mon, 02 Feb 2026 13:54:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-03 19:28:34.183982
• Title: Unifying Masked Diffusion Models with Various Generation Orders and Beyond
• Title（参考訳）: 世代順の異なるマスケ拡散モデルの統一と超越
• Authors: Chunsan Hong, Sanghyun Lee, Jong Chul Ye,
• Abstract要約: 仮面拡散モデル(MDM)は、言語生成のための自己回帰モデル(ARM)の潜在的な代替品である。 広範な拡散生成過程のための秩序表現型マスク拡散モデル(OeMDM)を提案する。 生成順序と拡散バックボーンを共同で学習する学習順マスク拡散モデル(LoMDM)を導入する。
• 参考スコア（独自算出の注目度）: 56.70289720766803
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Masked diffusion models (MDMs) are a potential alternative to autoregressive models (ARMs) for language generation, but generation quality depends critically on the generation order. Prior work either hard-codes an ordering (e.g., blockwise left-to-right) or learns an ordering policy for a pretrained MDM, which incurs extra cost and can yield suboptimal solutions due to the two-stage optimization. Motivated by this, we propose order-expressive masked diffusion model (OeMDM) for a broad class of diffusion generative processes with various generation orders, enabling the interpretation of MDM, ARM, and block diffusion in a single framework. Furthermore, building on OeMDM, we introduce learnable-order masked diffusion model (LoMDM), which jointly learns the generation ordering and diffusion backbone through a single objective from scratch, enabling the diffusion model to generate text in context-dependent ordering. Empirically, we confirm that LoMDM outperforms various discrete diffusion models across multiple language modeling benchmarks.
• Abstract（参考訳）: マスケード拡散モデル(MDM)は、言語生成のための自己回帰モデル(ARM)の潜在的な代替品であるが、生成品質は生成順序に大きく依存する。 事前の作業は、順序付け(例えば、ブロックワイズ左から右へ)をハードコードするか、事前訓練されたMDMの順序付けポリシーを学習する。 そこで本研究では,MDM,ARM,ブロック拡散を1つのフレームワークで解釈可能とし,様々な生成順序を持つ拡散生成過程の幅広いクラスを対象とした秩序表現型マスク拡散モデル(OeMDM)を提案する。 さらに,OeMDM上に構築した学習順マスマインド拡散モデル(LoMDM)を導入し,学習順マスマインド拡散モデルを用いて1つの目的から生成順序と拡散バックボーンを学習し,文脈依存順序でテキストを生成する。 実験により,LoMDMは複数の言語モデリングベンチマークにおいて,様々な離散拡散モデルよりも優れていることを確認した。

関連論文リスト

• Towards Latent Diffusion Suitable For Text [7.293508593001522]
  NFDMの拡張である言語生成のためのニューラルフロー拡散モデルを導入し、離散状態空間への連続拡散モデルの直接適用を可能にする。 本モデルでは, 従来の潜伏拡散モデルに匹敵する試料品質を達成しつつ, 自己回帰モデルと同一サイズの自己回帰モデルとの差を大幅に低減する。
  論文  参考訳（メタデータ） (2026-01-07T20:50:59Z)
• Bridging the Discrete-Continuous Gap: Unified Multimodal Generation via Coupled Manifold Discrete Absorbing Diffusion [60.186310080523135]
  離散データ(テキスト)に対する自己回帰的アプローチと連続データ(画像)に対する拡散的アプローチへの生成的モデリングの分岐は、真に統一されたマルチモーダルシステムの開発を妨げる。 階層的二重プロセスとしてマルチモーダル生成を再構成する新しい確率的フレームワークである textbfCoM-DAD を提案する。 提案手法は、標準的なマスキングモデルよりも優れた安定性を示し、スケーラブルで統一されたテキスト画像生成のための新しいパラダイムを確立する。
  論文  参考訳（メタデータ） (2026-01-07T16:21:19Z)
• Improving Text Style Transfer using Masked Diffusion Language Models with Inference-time Scaling [37.795834398730555]
  仮面拡散言語モデル (MDMs) は近年,自然言語生成フレームワークとして注目を集めている。 本稿では,MDMの復調過程において,より優れた候補生成の探索を支援する検証器ベースの推論時間スケーリング手法を提案する。 実験では,標準テキストスタイルの転送タスクへのMDMの適用を実証し,自動回帰言語モデルのより良い代替手段としてMDMを確立する。
  論文  参考訳（メタデータ） (2025-08-14T18:01:22Z)
• Generalized Interpolating Discrete Diffusion [65.74168524007484]
  仮面拡散はその単純さと有効性のために一般的な選択である。 ノイズ発生過程の設計において、より柔軟性の高い離散拡散(GIDD)を補間する新しいファミリを一般化する。 GIDDの柔軟性をエクスプロイトし、マスクと均一ノイズを組み合わせたハイブリッドアプローチを探索し、サンプル品質を向上する。
  論文  参考訳（メタデータ） (2025-03-06T14:30:55Z)
• Remasking Discrete Diffusion Models with Inference-Time Scaling [21.362017006523086]
  マスク付き拡散モデルに適用可能な手法であるリマスキー拡散モデル(ReMDM)を原則的に導入する。 最も興味深いことに、ReMDMは推論時間計算スケーリングの形で離散拡散を許容する。
  論文  参考訳（メタデータ） (2025-03-01T02:37:51Z)
• Steering Masked Discrete Diffusion Models via Discrete Denoising Posterior Prediction [88.65168366064061]
  本稿では,確率論的推論の課題として,事前学習したMDMを操る作業を行う新しいフレームワークであるDDPPを紹介する。 私たちのフレームワークは、3つの新しい目標のファミリーにつながります。 Wet-lab Validation(ウェット・ラブ・バリデーション)を用いて,報酬最適化タンパク質配列の過渡的発現を観察する。
  論文  参考訳（メタデータ） (2024-10-10T17:18:30Z)
• DiffusionBERT: Improving Generative Masked Language Models with Diffusion Models [81.84866217721361]
  DiffusionBERTは離散拡散モデルに基づく新しい生成マスク付き言語モデルである。 本稿では,各ステップに付加される雑音の度合いを制御する前方拡散プロセスのための新しいノイズスケジュールを提案する。 非条件テキスト生成の実験では、DiffusionBERTは既存のテキスト拡散モデルよりも大幅に改善されている。
  論文  参考訳（メタデータ） (2022-11-28T03:25:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。