論文の概要: On the Error-Correcting Effects of Stochasticity in Discrete Diffusion

• arxiv url: http://arxiv.org/abs/2605.26582v1
• Date: Tue, 26 May 2026 05:58:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-27 17:51:41.693673
• Title: On the Error-Correcting Effects of Stochasticity in Discrete Diffusion
• Title（参考訳）: 離散拡散における確率性の誤差補正効果について
• Authors: William Yuan, Sungwon Jeong, Amirali Aghazadeh,
• Abstract要約: 離散拡散モデルは、テキストおよび画像生成において強い性能を達成するが、推論は依然として遅く、サンプリングとサンプル品質のバランスをとる必要がある。 高い決定論的遷移は急速に収束するが、エラーの蓄積に苦しむ一方で、より多くの遷移はよりゆっくりと収束する一方で、より高い最終サンプル品質を達成することができることを示す。 本研究では,前向きと逆方向の拡散過程の交互化により制御性を注入する新しい推論アルゴリズムであるemphDiscrete Churn and Restart Sampling (DCRS)を提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Discrete diffusion models achieve strong performance in text and image generation, but their inference remains slow and must inherently balance sampling efficiency and sample quality. In this work, we present a systematic study of how the \emph{degree of stochasticity} in Markov transitions governs the sampling tradeoff. We show that highly deterministic transitions converge rapidly but suffer from error accumulation, while more stochastic transitions converge more slowly yet can achieve higher final sample quality. Using an information-theoretic analysis, we identify the underlying mechanism as an error-correcting effect induced by \emph{redundant transitions} that symmetrically exchange mass between states, and show that these transitions can provably contract sampling errors. Motivated by this analysis, we propose \emph{Discrete Churn and Restart Sampling} (DCRS), a novel inference algorithm that injects controlled stochasticity by alternating between forward and reverse diffusion processes. Experiments on synthetic datasets and large-scale benchmarks show that DCRS improves the speed-quality tradeoff in the low number of function evaluations regime. On image datasets, DCRS achieves up to a $10\times$ reduction in sampling steps compared to standard samplers while maintaining competitive sample quality, whereas on language benchmarks, we observe more nuanced behavior depending on the corruption process and sampling procedure.
• Abstract（参考訳）: 離散拡散モデルは、テキストおよび画像生成において強い性能を達成するが、推論は依然として遅く、サンプリング効率とサンプル品質のバランスをとる必要がある。 本研究では,マルコフ遷移における 'emph{degree of stochasticity} がサンプリングトレードオフをどのように支配するかを体系的に研究する。 高い決定論的遷移は急速に収束するが、誤りの蓄積に苦しむ一方で、より確率論的遷移はよりゆっくりと収束するが、より高い最終試料品質が得られることを示す。 情報理論解析を用いて、状態間で質量を対称に交換する 'emph{redundant transitions} によって誘導される誤差補正効果として、基礎となるメカニズムを同定し、これらの遷移がサンプリングエラーを確実に収縮させることができることを示す。 本研究では,前向きと逆方向の拡散過程の交互に制御確率を注入する新しい推論アルゴリズムである 'emph{Discrete Churn and Restart Sampling} (DCRS) を提案する。 合成データセットと大規模ベンチマークの実験により、DCRSは低機能評価体制における速度品質のトレードオフを改善することが示された。 画像データセットにおいて,DCRSは,標準サンプルよりも10分の1のサンプリングステップの削減を実現し,競合するサンプル品質を維持しながら,言語ベンチマークでは,汚損処理やサンプリング手順によってよりニュアンスな振る舞いを観察する。

関連論文リスト

• Precise: SDE-Consistent Stochastic Sampling for RL Post-Training of Flow-Matching Models [56.67321805551389]
  Reinforcement Learning (RL) は, 拡散・流れマッチングジェネレータにおいて, 迅速なアライメントと知覚品質の向上に有効な方法となっている。 探索行動の制御と力学のデノベーションを行うサンプルは、この方針の一部である。 有効探査と安定性のバランスをとる新しいサンプリング器を提案する。
  論文  参考訳（メタデータ） (2026-05-22T11:37:22Z)
• Probability-Conserving Flow Guidance [49.03107678763765]
  Adaptive Manifold Guidance (AdaMaG)はリアリズムを改善し、幻覚を減らし、高誘導下での劣化を制御する。 画像生成ベンチマーク全体で、AdaMaGはリアリズムを改善し、幻覚を減らし、高誘導下での劣化を制御する。
  論文  参考訳（メタデータ） (2026-05-19T16:34:01Z)
• Training-Free Refinement of Flow Matching with Divergence-based Sampling [17.850801452423074]
  Flow Divergence Sampler (FDS)は、各ソルバステップの前に中間状態を洗練するトレーニング不要のフレームワークである。 FDSは、このシグナルを利用して、よりあいまいな領域に向けて州を操る。 標準のソルバやオフザシェルフフローバックボーンと互換性のあるプラグイン・アンド・プレイのフレームワークとして、FDSは、さまざまな世代のタスクにおける忠実さを一貫して改善する。
  論文  参考訳（メタデータ） (2026-04-06T12:54:58Z)
• Coarse-Guided Visual Generation via Weighted h-Transform Sampling [12.670888779100972]
  粗い誘導による視覚生成は、様々な現実世界のアプリケーションに不可欠である。 近年のトレーニングフリーな研究は、事前学習した拡散モデルを活用し、サンプリングプロセス中にガイダンスを取り入れることを提案する。 所望の条件下でプロセス(サンプリングプロセスなど)を制約できるhtransformを用いて,新しいガイド付き手法を提案する。
  論文  参考訳（メタデータ） (2026-03-12T15:26:19Z)
• Neural Flow Samplers with Shortcut Models [19.81513273510523]
  連続フローベースのニューラルサンプリングは、非正規化された密度からサンプルを生成するための有望なアプローチを提供する。 速度駆動型Sequential Monte Carlo法を用いて,これらの課題量に対する改良された推定器を提案する。 提案するニューラルフローショートカットサンプリングは,合成データセットと複雑なnボディシステムターゲットの両方において,既存のフローベースニューラルサンプリングよりも経験的に優れている。
  論文  参考訳（メタデータ） (2025-02-11T07:55:41Z)
• CCS: Controllable and Constrained Sampling with Diffusion Models via Initial Noise Perturbation [9.12693573953231]
  生成出力の変化と初期雑音摂動のスケールの関係は拡散ODEサンプリングにより非常に線形である。 そこで我々は,新しい制御可能・制約付きサンプリング法 (CCS) と,所望の統計特性を持つ拡散モデルに対する新しい制御アルゴリズムを提案する。 その結果, CCS法は, 優れた試料品質と多様性を維持しつつ, より精密にサンプリングを制御できることが示唆された。
  論文  参考訳（メタデータ） (2025-02-07T05:30:48Z)
• Distributional Diffusion Models with Scoring Rules [83.38210785728994]
  拡散モデルは高品質な合成データを生成する。 高品質な出力を生成するには、多くの離散化ステップが必要です。 クリーンデータサンプルの後部エム分布を学習し,サンプル生成を実現することを提案する。
  論文  参考訳（メタデータ） (2025-02-04T16:59:03Z)
• Score-based Generative Models with Adaptive Momentum [40.84399531998246]
  変換過程を高速化する適応運動量サンプリング法を提案する。 提案手法は,2倍から5倍の速度で,より忠実な画像/グラフを小さなサンプリングステップで作成できることを示す。
  論文  参考訳（メタデータ） (2024-05-22T15:20:27Z)
• DiffuSeq-v2: Bridging Discrete and Continuous Text Spaces for Accelerated Seq2Seq Diffusion Models [58.450152413700586]
  ガウス空間に基づく離散突然変異を再構成する学習において拡散モデルを容易にする軟吸収状態を導入する。 我々は、サンプリングプロセスの高速化のために、連続空間内で最先端のODEソルバを用いている。 提案手法は, トレーニング収束率を4倍に向上させ, 類似品質のサンプルを800倍高速に生成する。
  論文  参考訳（メタデータ） (2023-10-09T15:29:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。