論文の概要: Representation-based Masked Diffusion Model

• arxiv url: http://arxiv.org/abs/2609.12382v1
• Date: Fri, 11 Sep 2026 03:00:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-15 07:38:31.594453
• Title: Representation-based Masked Diffusion Model
• Title（参考訳）: 表現に基づくマスク付き拡散モデル
• Abstract要約: Masked Diffusion Models (MDM) は言語モデリングの魅力的なパラダイムとして登場し、効率的な並列テキスト生成機能を提供している。 テキスト表現を利用してグローバルセマンティクスを明示的にエンコードするフレームワークであるRepresentation-based Masked Diffusion Model (RMDM)を提案する。
• 参考スコア（独自算出の注目度）: 3.3928176963185237
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Masked Diffusion Models (MDMs) have emerged as a compelling paradigm for language modeling, offering the capability for efficient parallel text generation. However, existing parallel sampling methods typically update multiple masked tokens independently and ignore the complex mutual dependencies among the masked tokens. This independent updating mechanism lacks global coordination and might lead to incoherent outputs. To address this limitation, we propose Representation-based Masked Diffusion Model (RMDM), a framework that leverages the text representation to explicitly encode global semantics and help to parallel update tokens more precisely. Specifically, we first encode text into a continuous semantic space using a pretrained encoder and learn an invertible transformation that normalizes the representation distribution to a Gaussian prior, facilitating efficient sampling during generation. Conditioned on this latent semantic representation, we train a masked diffusion model to learn the conditional text distribution, where the representation serves as global semantic guidance to coordinate parallel token updates and faithfully approximate the target distribution. Empirical results demonstrate that RMDM significantly improves generation quality, particularly in aggressive few-step sampling regimes.
• Abstract（参考訳）: Masked Diffusion Models (MDM) は言語モデリングの魅力的なパラダイムとして登場し、効率的な並列テキスト生成機能を提供している。 しかし、既存の並列サンプリング手法は通常、複数のマスキングトークンを独立に更新し、マスキングトークン間の複雑な相互依存関係を無視する。 この独立した更新メカニズムは、大域的な調整が欠如しており、一貫性のない出力につながる可能性がある。 この制限に対処するため,Representation-based Masked Diffusion Model (RMDM)を提案する。 具体的には、事前に訓練されたエンコーダを用いてテキストを連続的な意味空間にエンコードし、表現分布をガウス先行に正規化する可逆変換を学習し、生成時の効率的なサンプリングを容易にする。 この潜在意味表現に基づいて,マスク付き拡散モデルを用いて条件付きテキスト分布を学習し,その表現がグローバルな意味指導として機能し,並列トークンの更新をコーディネートし,ターゲット分布を忠実に近似する。 実験結果から,RMDMは特に数段階の積極的なサンプリングシステムにおいて,生成品質を著しく向上することが示された。

関連論文リスト

• SimSD: Simple Speculative Decoding in Diffusion Language Models [61.33773959352141]
  拡散大言語モデル (dLLMs) は、並列またはブロックワイド復号による高速な推論を提供する。 彼らのマスク付き言語モデリングの定式化は、標準的なトークンレベルの投機的復号法とは相容れないままである。 我々は,dLLMに時間的に有効なトークンレベルのコンテキストを付与する,SimSDと呼ばれるdLLMの投機的復号アルゴリズムを提案する。 提案手法は,平均生成品質を維持しつつ,最大7.46倍高い復号スループットを実現する。
  論文  参考訳（メタデータ） (2026-06-01T17:46:46Z)
• DOS: Dependency-Oriented Sampler for Masked Diffusion Language Models [2.3863052459868297]
  本稿では、トークンの更新を世代毎に通知するために、トークン間の依存関係を活用する、トレーニング不要なデコード戦略を提案する。 経験的結果は、DOSはコード生成と数学的推論の両方において、常に優れた性能を達成していることを示している。
  論文  参考訳（メタデータ） (2026-03-16T14:28:39Z)
• CRoCoDiL: Continuous and Robust Conditioned Diffusion for Language [21.764828393078886]
  Masked Diffusion Models (MDMs) は自己回帰生成の効率的な非因果的代替手段を提供する。 拡散過程を連続的な文レベルの意味空間にシフトすることで、これらの制限に対処する。
  論文  参考訳（メタデータ） (2026-03-02T12:50:55Z)
• Self-Rewarding Sequential Monte Carlo for Masked Diffusion Language Models [58.946955321428845]
  本研究は自己回帰型モンテカルロ(SMC)を提示する。 提案アルゴリズムは,既存のMDLMのほとんどが信頼性に基づくサンプリング戦略に依存している点に起因している。 粒子重み付けのための自己回帰信号として軌道レベルの信頼性を導入する。
  論文  参考訳（メタデータ） (2026-02-02T09:21:45Z)
• Auto-Regressive Masked Diffusion Models [9.239507801466322]
  仮面拡散モデル (MDM) は言語モデリングの有望なアプローチとして登場している。 自動回帰モデル(ARM)と比較してパフォーマンスのギャップがあり、より多くのトレーニングイテレーションが必要です。 本稿では,自己回帰型マスケッド拡散モデルを提案する。これは,自己回帰型モデルのトレーニング効率と,拡散型モデルの並列生成能力を統一するものである。
  論文  参考訳（メタデータ） (2026-01-23T18:42:30Z)
• Bridging the Discrete-Continuous Gap: Unified Multimodal Generation via Coupled Manifold Discrete Absorbing Diffusion [60.186310080523135]
  離散データ(テキスト)に対する自己回帰的アプローチと連続データ(画像)に対する拡散的アプローチへの生成的モデリングの分岐は、真に統一されたマルチモーダルシステムの開発を妨げる。 階層的二重プロセスとしてマルチモーダル生成を再構成する新しい確率的フレームワークである textbfCoM-DAD を提案する。 提案手法は、標準的なマスキングモデルよりも優れた安定性を示し、スケーラブルで統一されたテキスト画像生成のための新しいパラダイムを確立する。
  論文  参考訳（メタデータ） (2026-01-07T16:21:19Z)
• Sparse-LaViDa: Sparse Multimodal Discrete Diffusion Language Models [63.50827603618498]
  提案するSparse-LaViDaは,MDMサンプリングを高速化するために,各推論ステップで不要なマスク付きトークンをトランケートするモデリングフレームワークである。 最先端の統一MDM LaViDa-Oをベースに構築されたSparse-LaViDaは、さまざまなタスクで最大2倍のスピードアップを実現している。
  論文  参考訳（メタデータ） (2025-12-16T02:06:06Z)
• Masked Diffusion for Generative Recommendation [30.8737219110446]
  ジェネレーティブレコメンデーション(GR)とセマンティックID(SID)が従来のレコメンデーションアプローチに代わる有望な代替手段として登場した。 そこで我々は,マスク拡散を用いたユーザのSIDシーケンスの確率をモデル化し,学習することを提案する。 提案手法が自己回帰モデルより一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2025-11-28T09:36:26Z)
• Reviving Any-Subset Autoregressive Models with Principled Parallel Sampling and Speculative Decoding [55.2480439325792]
  任意の順序言語モデルでは、正しい関節分布からトークンを並列にサンプリングする方法がオープンな問題である。 我々は,任意のサブセット自動回帰モデル (AS-ARM) という,異なるモデルのクラスが解を持っていることを発見した。 我々は,AS-ARMがベンチマークタスクを埋め込んだ200M未満のパラメータモデル間で最先端の性能を実現し,コード生成における50倍のモデルの性能とほぼ一致していることを示す。
  論文  参考訳（メタデータ） (2025-04-29T06:33:13Z)
• Autoregressive Speech Synthesis without Vector Quantization [135.4776759536272]
  We present MELLE, a novel continuous-valued token based language modeling approach for text-to-speech synthesis (TTS)。 MELLEはテキスト条件から直接連続メル-スペクトログラムフレームを自動回帰生成する。 MELLEは、サンプリングベクトル量子化符号の固有の欠陥を回避し、ロバスト性問題を緩和する。
  論文  参考訳（メタデータ） (2024-07-11T14:36:53Z)
• Improve Variational Autoencoder for Text Generationwith Discrete Latent Bottleneck [52.08901549360262]
  変分オートエンコーダ(VAE)は、エンドツーエンドの表現学習において必須のツールである。 VAEは強い自己回帰デコーダで潜伏変数を無視する傾向がある。 よりコンパクトな潜在空間において暗黙的な潜在特徴マッチングを強制する原理的アプローチを提案する。
  論文  参考訳（メタデータ） (2020-04-22T14:41:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。