論文の概要: Discrete Stochastic Localization for Non-autoregressive Generation

• arxiv url: http://arxiv.org/abs/2602.16169v1
• Date: Wed, 18 Feb 2026 04:05:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-19 15:58:30.50809
• Title: Discrete Stochastic Localization for Non-autoregressive Generation
• Title（参考訳）: 非自己回帰生成のための離散確率的局所化
• Authors: Yunshu Wu, Jiayi Cheng, Partha Thakuria, Rob Brekelmans, Evangelos E. Papalexakis, Greg Ver Steeg,
• Abstract要約: エンハンチングだけでMDLM/ReMDMサンプリングのステップ効率を大幅に改善できることを示す。 OpenWebTextでは、textsc fine-tuningはMDLM+ReMDMを上回り、低ステップの予算でMAUVEが大きな利益を得る。 分析の結果、自己補正と不確実性の校正が改善され、リマキングは計算効率が著しく向上した。
• 参考スコア（独自算出の注目度）: 17.56505846228918
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Non-autoregressive (NAR) generation reduces decoding latency by predicting many tokens in parallel, but iterative refinement often suffers from error accumulation and distribution shift under self-generated drafts. Masked diffusion language models (MDLMs) and their remasking samplers (e.g., ReMDM) can be viewed as modern NAR iterative refinement, where generation repeatedly revises a partially observed draft. In this work we show that \emph{training alone} can substantially improve the step-efficiency of MDLM/ReMDM sampling. We propose \textsc{DSL} (Discrete Stochastic Localization), which trains a single SNR-invariant denoiser across a continuum of corruption levels, bridging intermediate draft noise and mask-style endpoint corruption within one Diffusion Transformer. On OpenWebText, \textsc{DSL} fine-tuning yields large MAUVE gains at low step budgets, surpassing the MDLM+ReMDM baseline with \(\sim\)4$\times$ fewer denoiser evaluations, and matches autoregressive quality at high budgets. Analyses show improved self-correction and uncertainty calibration, making remasking markedly more compute-efficient.
• Abstract（参考訳）: 非自己回帰(NAR)生成は、多くのトークンを並列に予測することでデコード遅延を減少させるが、反復的な改善はしばしば、自己生成されたドラフトの下でエラーの蓄積と分散シフトに悩まされる。 マスク付き拡散言語モデル(MDLM)とそのリメイキングサンプル(例えば、ReMDM)は現代のNAR反復改良(英語版)と見なされ、世代は部分的に観察されたドラフトを繰り返し修正する。 本研究では, MDLM/ReMDMサンプリングのステップ効率を大幅に向上させることができることを示す。 本稿では, 単一SNR不変デノイザを1つの拡散変換器内で, 中間ドラフトノイズとマスクスタイルの終端汚損をブリッジすることで, 汚損レベルを連続的にトレーニングする「textsc{DSL} (Discrete Stochastic Localization)」を提案する。 OpenWebTextでは、 \textsc{DSL}ファインチューニングによって、低ステップの予算でMAUVEのゲインが増加し、MDLM+ReMDMベースラインを$(\sim\)4$\times$で越え、高い予算で自己回帰品質にマッチする。 分析の結果、自己補正と不確実性の校正が改善され、リマキングは計算効率が著しく向上した。

関連論文リスト

• Learn from Your Mistakes: Self-Correcting Masked Diffusion Models [31.536464269884103]
  マスク付き拡散モデル(MDM)は自己回帰モデルに代わる有望な代替品として登場している。 本研究では、モデルにアンマキングと修正の両方を行うよう訓練するフレームワークを提案する。 トレーニングとサンプリングの手法をProSeCo(Progressive Self-Correction)と名付けました。
  論文  参考訳（メタデータ） (2026-02-12T05:17:31Z)
• Training-Free Self-Correction for Multimodal Masked Diffusion Models [61.84305395626145]
  本研究では,事前学習したマスク拡散モデルの帰納バイアスを利用した学習自由自己補正フレームワークを提案する。 本手法は,サンプリングステップを短縮したテキスト・画像生成およびマルチモーダル理解タスクにおける生成品質を著しく向上させる。
  論文  参考訳（メタデータ） (2026-02-02T23:58:15Z)
• Self-Rewarding Sequential Monte Carlo for Masked Diffusion Language Models [58.946955321428845]
  本研究は自己回帰型モンテカルロ(SMC)を提示する。 提案アルゴリズムは,既存のMDLMのほとんどが信頼性に基づくサンプリング戦略に依存している点に起因している。 粒子重み付けのための自己回帰信号として軌道レベルの信頼性を導入する。
  論文  参考訳（メタデータ） (2026-02-02T09:21:45Z)
• Teach Diffusion Language Models to Learn from Their Own Mistakes [45.68746718883178]
  Masked Diffusion Language Models (DLM) は、複数のトークンを並列に生成することで、大幅な速度を達成する。 並列サンプリングアプローチでは、強い依存性エラーが発生し、生成ステップのサイズが大きくなるにつれて品質が急速に低下する。 高品質なマルチトークン生成のためのデカップリング自己補正を提案する。
  論文  参考訳（メタデータ） (2026-01-10T05:04:33Z)
• Learning Unmasking Policies for Diffusion Language Models [33.44995119635116]
  言語モデル(dLLM)は、多くのタスクにおいて、自己回帰的な処理の下流のパフォーマンスにマッチする。 特別なマスクトークンで満たされたバッファが、モデルの語彙からサンプリングされたトークンに徐々に置き換えられる。 本研究では,強化学習を用いたサンプリング手順の訓練を提案する。
  論文  参考訳（メタデータ） (2025-12-09T20:44:33Z)
• Continuous Autoregressive Language Models [56.49239051750678]
  我々はCALM(Continuous Autoregressive Language Models)を紹介する。 CALMは高忠実度オートエンコーダを使用して、Kトークンの塊を1つの連続ベクトルに圧縮する。 我々は、堅牢なトレーニング、評価、および制御可能なサンプリングを可能にする包括的可能性のないフレームワークを開発する。
  論文  参考訳（メタデータ） (2025-10-31T17:58:11Z)
• Loopholing Discrete Diffusion: Deterministic Bypass of the Sampling Wall [28.243098541421755]
  決定論的潜在経路を介して情報を保存する,新規でシンプルな機構であるLoopholingを紹介する。 LDDMは、以前のベースラインよりも最大で61%高い生成的パープレキシティを著しく向上させる。 また、ループホリングはアイドルステップや振動を緩和し、高品質な非自己回帰テキスト生成へのスケーラブルな経路を提供することを示す。
  論文  参考訳（メタデータ） (2025-10-22T07:08:47Z)
• Inference-Time Scaling of Diffusion Language Models with Particle Gibbs Sampling [70.8832906871441]
  我々は、モデルを再訓練することなく、所望の報酬に向けて世代を操る方法を研究する。 従来の手法では、通常は1つの認知軌道内でサンプリングやフィルタを行い、軌道レベルの改善なしに報酬をステップバイステップで最適化する。 本稿では,拡散言語モデル(PG-DLM)の粒子ギブスサンプリングについて紹介する。
  論文  参考訳（メタデータ） (2025-07-11T08:00:47Z)
• Accelerating Diffusion LLMs via Adaptive Parallel Decoding [60.407727995313074]
  並列にサンプリングされたトークンの数を動的に調整する新しい手法であるアダプティブ並列復号法(APD)を導入する。 APDは、ダウンストリームベンチマークで最小限の品質劣化を伴って、非常に高いスループットを提供する。
  論文  参考訳（メタデータ） (2025-05-31T06:10:10Z)
• Mitigating the Learning Bias towards Repetition by Self-Contrastive Training for Open-Ended Generation [92.42032403795879]
  GPT2のような事前訓練された言語モデル(LM)は、繰り返しテキストを生成する傾向にあることを示す。 トークンレベルの反復確率の過大評価は学習バイアスに起因している。 LMは文レベルの繰り返しループの原因となる非繰り返しトークンよりも長い範囲依存を用いて繰り返しトークンを予測する。
  論文  参考訳（メタデータ） (2023-07-04T07:53:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。