論文の概要: Latent Shadows: The Gaussian-Discrete Duality in Masked Diffusion

• arxiv url: http://arxiv.org/abs/2602.00792v1
• Date: Sat, 31 Jan 2026 16:00:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-03 19:28:33.403547
• Title: Latent Shadows: The Gaussian-Discrete Duality in Masked Diffusion
• Title（参考訳）: 陰影 : 仮面拡散におけるガウス・離散双対性
• Authors: Guinan Chen, Xunpeng Huang, Ying Sun, Shijin Wang, Yanyong Zhang, Chao Wang,
• Abstract要約: マスク付き離散拡散は、トークンをマスク状態に反復的に劣化させる高品質言語モデリングにおいて支配的なパラダイムである。 拡散双対性は一様模型に対する決定論的蒸留を可能にするが、これらのアプローチは一般にマスク付き模型を過小評価し、複素積分作用素に依存する。 我々は、この双対性を利用する原理的フレームワークであるMasked Consistency Distillation (MCD)を導入し、数値ODEソルバをバイパスする。
• 参考スコア（独自算出の注目度）: 22.034770068249063
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Masked discrete diffusion is a dominant paradigm for high-quality language modeling where tokens are iteratively corrupted to a mask state, yet its inference efficiency is bottlenecked by the lack of deterministic sampling tools. While diffusion duality enables deterministic distillation for uniform models, these approaches generally underperform masked models and rely on complex integral operators. Conversely, in the masked domain, prior methods typically assume the absence of deterministic trajectories, forcing a reliance on stochastic distillation. To bridge this gap, we establish explicit Masked Diffusion Duality, proving that the masked process arises as the projection of a continuous Gaussian process via a novel maximum-value index preservation mechanism. Furthermore, we introduce Masked Consistency Distillation (MCD), a principled framework that leverages this duality to analytically construct the deterministic coupled trajectories required for consistency distillation, bypassing numerical ODE solvers. This result strictly improves upon prior stochastic distillation methods, achieving a 16$\times$ inference speedup without compromising generation quality. Our findings not only provide a solid theoretical foundation connecting masked and continuous diffusion, but also unlock the full potential of consistency distillation for high-performance discrete generation. Our code is available at https://anonymous.4open.science/r/MCD-70FD.
• Abstract（参考訳）: マスク付き離散拡散は、トークンが繰り返しマスク状態に劣化する高品質言語モデリングにおいて支配的なパラダイムであるが、その推論効率は決定論的サンプリングツールの欠如によってボトルネックとなる。 拡散双対性は一様模型に対する決定論的蒸留を可能にするが、これらのアプローチは一般にマスク付き模型を過小評価し、複素積分作用素に依存する。 逆に仮面領域では、従来の手法は決定論的軌跡の欠如を前提としており、確率的蒸留に依存している。 このギャップを埋めるため,マスク付き拡散二重性(Masked Diffusion Duality, Masked Diffusion Duality, Masked Diffusion Duality, Masked Diffusion Duality, Masked Diffusion Duality)を確立する。 さらに,この双対性を利用する原理的フレームワークであるMasked Consistency Distillation (MCD)を導入し, 数値ODEソルバをバイパスして, 整合蒸留に必要な決定論的結合軌道を解析的に構築する。 この結果は従来の確率蒸留法を厳密に改善し、生成品質を損なうことなく16$\times$推論スピードアップを達成する。 本研究は, マスクと連続拡散を連通する理論基盤を提供するだけでなく, 高性能離散生成のための連続蒸留の可能性も解放するものである。 私たちのコードはhttps://anonymous.4open.science/r/MCD-70FDで利用可能です。

関連論文リスト

• Breaking the Bottlenecks: Scalable Diffusion Models for 3D Molecular Generation [0.0]
  拡散モデルは分子設計のための強力な生成モデルとして登場した。 彼らの使用は、長いサンプリング軌道、逆過程のばらつき、そして力学の認知における構造的認識の制限によって制限されている。 直接分極拡散モデル(英語版)は、逆MCMC更新を決定論的分極ステップに置き換えることでこれらの非効率性を緩和する。
  論文  参考訳（メタデータ） (2026-01-13T20:09:44Z)
• Continuously Augmented Discrete Diffusion model for Categorical Generative Modeling [87.34677262370924]
  標準離散拡散モデルは、吸収[MASK]トークンにそれらをマッピングすることで、すべての観測されていない状態を同一に扱う。 これは'インフォメーション・ヴォイド'を生成します。そこでは、偽のトークンから推測できるセマンティック情報は、デノイングステップの間に失われます。 連続的拡張離散拡散(Continuously Augmented Discrete Diffusion)は、連続的な潜在空間における対拡散で離散状態空間を拡大するフレームワークである。
  論文  参考訳（メタデータ） (2025-10-01T18:00:56Z)
• On the Complexity Theory of Masked Discrete Diffusion: From $\mathrm{poly}(1/ε)$ to Nearly $ε$-Free [49.34727933066799]
  マスク付き離散拡散(マスク付き離散拡散)は、トークンが識別される前に特別なマスクシンボルによって劣化するテキスト生成のフレキシブルパラダイムである。 その結果,Eulerサンプルは,$tildeO(d2epsilon-3/2)$離散スコア評価で,総変量(TV)の$epsilon$-精度を達成できることが判明した。 そこで我々は,有界スコアの仮定を取り除き,偏りのない離散スコア近似を保ったMask-Aware Truncated Uniformization (MATU) アプローチを提案する。
  論文  参考訳（メタデータ） (2025-09-26T03:50:17Z)
• One-for-More: Continual Diffusion Model for Anomaly Detection [63.50488826645681]
  異常検出法は拡散モデルを用いて任意の異常画像が与えられたときの正常サンプルの生成または再構成を行う。 われわれは,拡散モデルが「重度忠実幻覚」と「破滅的な忘れ」に悩まされていることを発見した。 本研究では,安定な連続学習を実現するために勾配予測を用いた連続拡散モデルを提案する。
  論文  参考訳（メタデータ） (2025-02-27T07:47:27Z)
• Masked Diffusion Models are Secretly Time-Agnostic Masked Models and Exploit Inaccurate Categorical Sampling [47.82616476928464]
  仮面拡散モデル (MDM) は離散データの生成モデルとして人気がある。 我々はMDMのトレーニングとサンプリングの両方が理論的に時間変数から解放されていることを示す。 一般に使用されている32ビット浮動小数点精度においても,まず基礎となる数値問題を同定した。
  論文  参考訳（メタデータ） (2024-09-04T17:48:19Z)
• DensePure: Understanding Diffusion Models towards Adversarial Robustness [110.84015494617528]
  拡散モデルの特性を解析し,それらが証明された堅牢性を高める条件を確立する。 事前訓練されたモデル(すなわち分類器)の信頼性向上を目的とした新しいDensePure法を提案する。 このロバストな領域は多重凸集合の和であり、以前の研究で特定されたロバストな領域よりもはるかに大きい可能性が示されている。
  論文  参考訳（メタデータ） (2022-11-01T08:18:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。