論文の概要: Discrete Stochastic Localization for Non-autoregressive Generation
- arxiv url: http://arxiv.org/abs/2605.12836v1
- Date: Wed, 13 May 2026 00:12:24 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-14 23:30:27.734663
- Title: Discrete Stochastic Localization for Non-autoregressive Generation
- Title（参考訳）: 非自己回帰生成のための離散確率的局所化
- Authors: Yunshu Wu, Jiayi Cheng, Longxuan Yu, Partha Thakuria, Rob Brekelmans, Evangelos E. Papalexakis, Greg Ver Steeg,
- Abstract要約: ボトルネックは連続性そのものではなく、時間段階のノイズレジームに依存しているような表現である、と我々は主張する。
emphDiscreteは,単位球面トークンを埋め込んだ連続状態フレームワークである。
1つのトレーニングされたネットワークは、特別なケースとしてエンドポイントのマスク付き拡散パスを持つ、トークンごとのSNRパスのファミリー全体をサポートする。
- 参考スコア（独自算出の注目度）: 18.211690435751446
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Continuous diffusion is a natural framework for non-autoregressive generation but has generally lagged behind masked discrete diffusion models (MDMs) on discrete sequence generation. We argue that the bottleneck is not continuity itself, but a representation in which denoising depends on timestep-indexed noise regimes. We introduce \emph{Discrete Stochastic Localization} (DSL), a continuous-state framework with unit-sphere token embeddings whose Bayes-optimal denoiser is invariant to the nominal signal-to-noise ratio (SNR) under the localization channel. One trained network then supports an entire family of per-token SNR paths, with endpoint masked-diffusion paths as a special case. Fine-tuning a pretrained MDLM checkpoint with DSL substantially improves distributional faithfulness (MAUVE) on OpenWebText across all step budgets from $T{=}128$ to $T{=}1024$, and the same checkpoint supports random-order autoregressive sampling, as well as a hybrid continuous-then-discrete sampler using as few as T=48 total steps -- without distillation or retraining.
- Abstract（参考訳）: 連続拡散は非自己回帰生成の自然な枠組みであるが、一般的には離散列生成においてマスク付き離散拡散モデル (MDM) に遅れを取っている。
ボトルネックは連続性そのものではなく、時間段階のノイズレジームに依存しているような表現である、と我々は主張する。
本稿では,ベイズ・最適デノイザが正規化チャネルの下での信号-雑音比(SNR)に不変である単位球トークンを埋め込んだ連続状態フレームワークである \emph{Discrete Stochastic Localization} (DSL) を紹介する。
1つのトレーニングされたネットワークは、特別なケースとしてエンドポイントのマスク付き拡散パスを持つ、トークンごとのSNRパスのファミリー全体をサポートする。
DSLで事前トレーニングされたMDLMチェックポイントを微調整することで、OpenWebTextのすべてのステップ予算において、$T{=}28$から$T{=}1024$までの分散忠実度(MAUVE)が大幅に向上する。
関連論文リスト
- Neural Continuous-Time Markov Chain: Discrete Diffusion via Decoupled Jump Timing and Direction [18.20305761007799]
我々は,2つの専用ネットワークヘッドを用いて,エフェキシットレート(ジャンプ時)とエフェジュンプ分布(ジャンプ時)で逆処理をパラメータ化するtextbfNeural CTMCを提案する。
我々は、エビデンスローバウンド(ELBO)が、真と学習された逆過程の経路空間KL分散と$$非依存定数で異なることを示す。
また, トラクタブル条件付きサロゲートは標準正則性仮定の下で, 対応する限界逆プロセス対象の勾配と最小化を保っていることを示す。
論文 参考訳（メタデータ） (2026-04-17T04:40:19Z) - CRoCoDiL: Continuous and Robust Conditioned Diffusion for Language [21.764828393078886]
Masked Diffusion Models (MDMs) は自己回帰生成の効率的な非因果的代替手段を提供する。
拡散過程を連続的な文レベルの意味空間にシフトすることで、これらの制限に対処する。
論文 参考訳（メタデータ） (2026-03-02T12:50:55Z) - Rejection Mixing: Fast Semantic Propagation of Mask Tokens for Efficient DLLM Inference [58.189320101488725]
DLLMは高速な非自己回帰推論を約束するが、並列デコーディングにおいて厳しい品質と速度のトレードオフを被る。
我々は、連続表現を離散デコードプロセスに統合することでこの問題に対処する。
本稿では,初期マスキング状態と最終復号化トークン状態の中間として,新しい連続混合状態を導入するフレームワークであるReMixを提案する。
論文 参考訳（メタデータ） (2026-02-26T11:08:11Z) - Discrete Stochastic Localization for Non-autoregressive Generation [17.56505846228918]
エンハンチングだけでMDLM/ReMDMサンプリングのステップ効率を大幅に改善できることを示す。
OpenWebTextでは、textsc fine-tuningはMDLM+ReMDMを上回り、低ステップの予算でMAUVEが大きな利益を得る。
分析の結果、自己補正と不確実性の校正が改善され、リマキングは計算効率が著しく向上した。
論文 参考訳（メタデータ） (2026-02-18T04:05:40Z) - Efficient Sampling with Discrete Diffusion Models: Sharp and Adaptive Guarantees [9.180350432640912]
連続時間マルコフ連鎖(CTMC)の定式化によるスコアベース離散拡散モデルのサンプリング効率について検討した。
一様離散拡散に対して、$$-leapingアルゴリズムは位数$tilde O(d/varepsilon)$の複雑さを達成することを示す。
離散拡散をマスキングするために,本質的な情報理論量によって収束率を制御した$$-leapingサンプルラを導入する。
論文 参考訳（メタデータ） (2026-02-16T18:48:17Z) - Self-Rewarding Sequential Monte Carlo for Masked Diffusion Language Models [58.946955321428845]
本研究は自己回帰型モンテカルロ(SMC)を提示する。
提案アルゴリズムは,既存のMDLMのほとんどが信頼性に基づくサンプリング戦略に依存している点に起因している。
粒子重み付けのための自己回帰信号として軌道レベルの信頼性を導入する。
論文 参考訳（メタデータ） (2026-02-02T09:21:45Z) - Variational Bayesian Flow Network for Graph Generation [54.94088904387278]
グラフ生成のための変分ベイズフローネットワーク(VBFN)を提案する。
VBFNは、構造化精度で支配されるトラクタブルジョイントガウス変分信念ファミリーに対して変分リフトを行う。
合成グラフと分子グラフのデータセットでは、VBFNは忠実度と多様性を改善し、ベースライン法を超えている。
論文 参考訳（メタデータ） (2026-01-30T03:59:38Z) - Stratified Hazard Sampling: Minimal-Variance Event Scheduling for CTMC/DTMC Discrete Diffusion and Flow Models [0.0]
累積ハザード(CTMC)または累積ジャンプ質量(DTMC)によって駆動される事象としての階層的ハザードサンプリングサンプリング(SHS)モデル
SHSは、累積ハザード(CTMC)または累積ジャンプ質量(DTMC)によって駆動されるイベントとして編集され、累積量を成層化することによってイベントを配置する。
また、ブラックリストスタイルの語彙制約に対する位相アロケーション変種を導入し、リスクの高い位置での早期編集を優先し、遅延マスキングアーティファクトを緩和する。
論文 参考訳（メタデータ） (2026-01-06T08:19:02Z) - Continuously Augmented Discrete Diffusion model for Categorical Generative Modeling [87.34677262370924]
標準離散拡散モデルは、吸収[MASK]トークンにそれらをマッピングすることで、すべての観測されていない状態を同一に扱う。
これは'インフォメーション・ヴォイド'を生成します。そこでは、偽のトークンから推測できるセマンティック情報は、デノイングステップの間に失われます。
連続的拡張離散拡散(Continuously Augmented Discrete Diffusion)は、連続的な潜在空間における対拡散で離散状態空間を拡大するフレームワークである。
論文 参考訳（メタデータ） (2025-10-01T18:00:56Z) - Inference-Time Scaling of Diffusion Language Models with Particle Gibbs Sampling [70.8832906871441]
我々は、モデルを再訓練することなく、所望の報酬に向けて世代を操る方法を研究する。
従来の手法では、通常は1つの認知軌道内でサンプリングやフィルタを行い、軌道レベルの改善なしに報酬をステップバイステップで最適化する。
本稿では,拡散言語モデル(PG-DLM)の粒子ギブスサンプリングについて紹介する。
論文 参考訳（メタデータ） (2025-07-11T08:00:47Z) - ReDDiT: Rehashing Noise for Discrete Visual Generation [53.813067778912]
離散拡散変圧器(終端型ReDDiT)のためのリハッシングノイズアプローチを提案する。
我々は、吸収状態を拡張し、離散拡散モデルの表現能力を向上させることを目的としている。
実験の結果、ReDDiTはベースラインモデルよりも大幅に優れていた。
論文 参考訳（メタデータ） (2025-05-26T08:17:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。