論文の概要: Loopholing Discrete Diffusion: Deterministic Bypass of the Sampling Wall

• arxiv url: http://arxiv.org/abs/2510.19304v1
• Date: Wed, 22 Oct 2025 07:08:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-25 03:08:15.233309
• Title: Loopholing Discrete Diffusion: Deterministic Bypass of the Sampling Wall
• Title（参考訳）: Loopholing Discrete Diffusion: Deterministic Bypass of the Smpling Wall
• Authors: Mingyu Jo, Jaesik Yoon, Justin Deschenaux, Caglar Gulcehre, Sungjin Ahn,
• Abstract要約: 決定論的潜在経路を介して情報を保存する,新規でシンプルな機構であるLoopholingを紹介する。 LDDMは、以前のベースラインよりも最大で61%高い生成的パープレキシティを著しく向上させる。 また、ループホリングはアイドルステップや振動を緩和し、高品質な非自己回帰テキスト生成へのスケーラブルな経路を提供することを示す。
• 参考スコア（独自算出の注目度）: 28.243098541421755
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Discrete diffusion models offer a promising alternative to autoregressive generation through parallel decoding, but they suffer from a sampling wall: once categorical sampling occurs, rich distributional information collapses into one-hot vectors and cannot be propagated across steps, forcing subsequent steps to operate with limited information. To mitigate this problem, we introduce Loopholing, a novel and simple mechanism that preserves this information via a deterministic latent pathway, leading to Loopholing Discrete Diffusion Models (LDDMs). Trained efficiently with a self-conditioning strategy, LDDMs achieve substantial gains-reducing generative perplexity by up to 61% over prior baselines, closing (and in some cases surpassing) the gap with autoregressive models, and producing more coherent text. Applied to reasoning tasks, LDDMs also improve performance on arithmetic benchmarks such as Countdown and Game of 24. These results also indicate that loopholing mitigates idle steps and oscillations, providing a scalable path toward high-quality non-autoregressive text generation.
• Abstract（参考訳）: 離散拡散モデルは、並列デコーディングによる自己回帰生成に代わる有望な代替手段を提供するが、それらはサンプリングウォールに悩まされる: カテゴリ的サンプリングが発生したら、リッチな分布情報は1ホットベクトルに崩壊し、ステップ間で伝播できない。 この問題を緩和するために,決定論的潜在経路を通じて情報を保存し,Lloopholing Discrete Diffusion Models (LDDMs) へと導く新しいシンプルなメカニズムであるLoopholingを導入する。 自己条件付き戦略で効率的に訓練され、LDDMは、以前のベースラインよりも最大で61%向上し、自己回帰モデルとのギャップを閉じ(場合によっては超える)、より一貫性のあるテキストを生成する。 LDDMは推論タスクにも適用され、CountdownやGame of 24といった算術ベンチマークのパフォーマンスも向上した。 これらの結果は、ループホリングがアイドルステップと振動を緩和し、高品質な非自己回帰テキスト生成へのスケーラブルな経路を提供することを示している。

関連論文リスト

• Inference-Time Scaling of Diffusion Language Models with Particle Gibbs Sampling [70.8832906871441]
  我々は、モデルを再訓練することなく、所望の報酬に向けて世代を操る方法を研究する。 従来の手法では、通常は1つの認知軌道内でサンプリングやフィルタを行い、軌道レベルの改善なしに報酬をステップバイステップで最適化する。 本稿では,拡散言語モデル(PG-DLM)の粒子ギブスサンプリングについて紹介する。
  論文  参考訳（メタデータ） (2025-07-11T08:00:47Z)
• Reverse Markov Learning: Multi-Step Generative Models for Complex Distributions [10.165179181394755]
  本稿では,対象の分布から既知の分布へ遷移する一般的なフォワードプロセスを定義するフレームワークを提案する。 次に、複数のエングレスモデルを用いて逆マルコフ過程を学習する。 このフレームワークは一般的なフォワードプロセスに対応し、次元の縮小を可能にし、生成過程を自然に識別する。
  論文  参考訳（メタデータ） (2025-02-19T14:10:15Z)
• Distributional Diffusion Models with Scoring Rules [83.38210785728994]
  拡散モデルは高品質な合成データを生成する。 高品質な出力を生成するには、多くの離散化ステップが必要です。 クリーンデータサンプルの後部エム分布を学習し,サンプル生成を実現することを提案する。
  論文  参考訳（メタデータ） (2025-02-04T16:59:03Z)
• LD-Pruner: Efficient Pruning of Latent Diffusion Models using Task-Agnostic Insights [2.8461446020965435]
  本稿では,遅延拡散モデル圧縮のための新しい性能保存型構造化プルーニング手法であるLD-Prunerを紹介する。 我々は,テキスト・トゥ・イメージ(T2I)生成,無条件画像生成(UIG),無条件音声生成(UAG)の3つのタスクに対するアプローチの有効性を実証する。
  論文  参考訳（メタデータ） (2024-04-18T06:35:37Z)
• Amortizing intractable inference in large language models [56.92471123778389]
  難治性後部分布のサンプルとして, 償却ベイズ推定を用いる。 我々は,LLMファインチューニングの分散マッチングパラダイムが,最大習熟の代替となることを実証的に実証した。 重要な応用として、チェーン・オブ・ソート推論を潜在変数モデリング問題として解釈する。
  論文  参考訳（メタデータ） (2023-10-06T16:36:08Z)
• Semi-Implicit Denoising Diffusion Models (SIDDMs) [50.30163684539586]
  Denoising Diffusion Probabilistic Models (DDPM)のような既存のモデルは、高品質で多様なサンプルを提供するが、本質的に多くの反復的なステップによって遅くなる。 暗黙的要因と明示的要因を一致させることにより、この問題に対処する新しいアプローチを導入する。 提案手法は拡散モデルに匹敵する生成性能と,少数のサンプリングステップを持つモデルに比較して非常に優れた結果が得られることを示す。
  論文  参考訳（メタデータ） (2023-06-21T18:49:22Z)
• Conditional Denoising Diffusion for Sequential Recommendation [62.127862728308045]
  GAN(Generative Adversarial Networks)とVAE(VAE)の2つの顕著な生成モデル GANは不安定な最適化に苦しむ一方、VAEは後続の崩壊と過度に平らな世代である。 本稿では,シーケンスエンコーダ,クロスアテンティブデノナイジングデコーダ,ステップワイズディフューザを含む条件付きデノナイジング拡散モデルを提案する。
  論文  参考訳（メタデータ） (2023-04-22T15:32:59Z)
• Latent Autoregressive Source Separation [5.871054749661012]
  本稿では,ベクトル量子化遅延自己回帰音源分離(入力信号を構成源にデミックスする)を導入する。 分離法は, 自己回帰モデルが先行するベイズ式に依拠し, 付加トークンの潜在和に対して離散的(非パラメトリック)確率関数を構築した。
  論文  参考訳（メタデータ） (2023-01-09T17:32:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。