論文の概要: Discrete Diffusion Models: Novel Analysis and New Sampler Guarantees

• arxiv url: http://arxiv.org/abs/2509.16756v1
• Date: Sat, 20 Sep 2025 17:42:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-23 18:58:15.961435
• Title: Discrete Diffusion Models: Novel Analysis and New Sampler Guarantees
• Title（参考訳）: 離散拡散モデル:新しい解析と新しいサンプリング保証
• Authors: Yuchen Liang, Yingbin Liang, Lifeng Lai, Ness Shroff,
• Abstract要約: 離散拡散モデルに対する新たな解析的アプローチを導入し,正規性仮定の必要性を排除した。 標準的な$tau$-leaping法では、語彙サイズとともに線形にスケールするKL発散の収束保証を確立する。 我々のアプローチはより広く適用可能であり、他の広く使われているサンプルに対して最初の収束保証を提供する。
• 参考スコア（独自算出の注目度）: 70.88473359544084
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Discrete diffusion models have recently gained significant prominence in applications involving natural language and graph data. A key factor influencing their effectiveness is the efficiency of discretized samplers. Among these, $\tau$-leaping samplers have become particularly popular due to their empirical success. However, existing theoretical analyses of $\tau$-leaping often rely on somewhat restrictive and difficult-to-verify regularity assumptions, and their convergence bounds contain quadratic dependence on the vocabulary size. In this work, we introduce a new analytical approach for discrete diffusion models that removes the need for such assumptions. For the standard $\tau$-leaping method, we establish convergence guarantees in KL divergence that scale linearly with vocabulary size, improving upon prior results with quadratic dependence. Our approach is also more broadly applicable: it provides the first convergence guarantees for other widely used samplers, including the Euler method and Tweedie $\tau$-leaping. Central to our approach is a novel technique based on differential inequalities, offering a more flexible alternative to the traditional Girsanov change-of-measure methods. This technique may also be of independent interest for the analysis of other stochastic processes.
• Abstract（参考訳）: 離散拡散モデルは最近、自然言語やグラフデータを含むアプリケーションで顕著に普及している。 有効性に影響を与える重要な要因は、識別されたサンプルの効率である。 このうち、$\tau$-leapingのサンプルは経験的成功によって特に人気を博している。 しかし、既存の$\tau$-leapingの理論解析は、しばしばある程度制限的かつ検証が難しい正則性仮定に依存し、それらの収束境界は語彙サイズに二次的依存を含む。 本研究では,離散拡散モデルに対する新たな解析的アプローチを導入し,そのような仮定の必要性を排除した。 標準的な$\tau$-leaping法では、KL分散における収束保証を確立し、語彙サイズとともに線形にスケールし、二次的依存を伴う事前結果を改善する。 これは、Euler法やTweedie $\tau$-leapingなど、他の広く使われているサンプルに対して、最初の収束保証を提供する。 我々のアプローチの中心は微分不等式に基づく新しい手法であり、従来のジラノフ測度変化法よりも柔軟な代替手段を提供する。 この手法は、他の確率過程の解析に独立した関心を持つこともある。

関連論文リスト

• Inference-Time Scaling of Diffusion Language Models with Particle Gibbs Sampling [62.640128548633946]
  離散拡散モデルに対する粒子ギブズサンプリングに基づく新しい推論時間スケーリング手法を提案する。 提案手法は,報酬誘導テキスト生成タスクにおける事前推定時間戦略を常に上回る。
  論文  参考訳（メタデータ） (2025-07-11T08:00:47Z)
• Generalized Interpolating Discrete Diffusion [65.74168524007484]
  仮面拡散はその単純さと有効性のために一般的な選択である。 ノイズ発生過程の設計において、より柔軟性の高い離散拡散(GIDD)を補間する新しいファミリを一般化する。 GIDDの柔軟性をエクスプロイトし、マスクと均一ノイズを組み合わせたハイブリッドアプローチを探索し、サンプル品質を向上する。
  論文  参考訳（メタデータ） (2025-03-06T14:30:55Z)
• Scalable Discrete Diffusion Samplers: Combinatorial Optimization and Statistical Physics [7.873510219469276]
  離散拡散サンプリングのための2つの新しいトレーニング手法を提案する。 これらの手法は、メモリ効率のトレーニングを行い、教師なし最適化の最先端結果を達成する。 SN-NISとニューラルチェインモンテカルロの適応を導入し,離散拡散モデルの適用を初めて可能とした。
  論文  参考訳（メタデータ） (2025-02-12T18:59:55Z)
• FEMDA: a unified framework for discriminant analysis [4.6040036610482655]
  非ガウスデータセットを扱うための新しいアプローチを提案する。 考慮されているモデルは、任意のスケールパラメータを持つクラスタ毎の任意の対称性(ES)分布である。 新しい決定規則を導出することにより,最大値のパラメータ推定と分類が,最先端手法と比較してシンプルで効率的で堅牢であることを示す。
  論文  参考訳（メタデータ） (2023-11-13T17:59:37Z)
• Towards Better Certified Segmentation via Diffusion Models [62.21617614504225]
  セグメンテーションモデルは敵の摂動に弱いため、医療や自動運転といった重要な意思決定システムでの使用を妨げます。 近年,理論的保証を得るためにガウス雑音を入力に加えることにより,セグメント化予測のランダム化が提案されている。 本稿では,ランダムな平滑化と拡散モデルを組み合わせたセグメンテーション予測の問題に対処する。
  論文  参考訳（メタデータ） (2023-06-16T16:30:39Z)
• Towards Faster Non-Asymptotic Convergence for Diffusion-Based Generative Models [49.81937966106691]
  我々は拡散モデルのデータ生成過程を理解するための非漸近理論のスイートを開発する。 従来の研究とは対照的に,本理論は基本的だが多目的な非漸近的アプローチに基づいて開発されている。
  論文  参考訳（メタデータ） (2023-06-15T16:30:08Z)
• Federated Variational Inference Methods for Structured Latent Variable Models [1.0312968200748118]
  フェデレートされた学習方法は、データが元の場所を離れることなく、分散データソースをまたいだモデルトレーニングを可能にする。 本稿では,ベイズ機械学習において広く用いられている構造的変分推論に基づく汎用的でエレガントな解を提案する。 また、標準FedAvgアルゴリズムに類似した通信効率のよい変種も提供する。
  論文  参考訳（メタデータ） (2023-02-07T08:35:04Z)
• Squared $\ell_2$ Norm as Consistency Loss for Leveraging Augmented Data to Learn Robust and Invariant Representations [76.85274970052762]
  元のサンプルと拡張されたサンプルの埋め込み/表現の距離を規則化することは、ニューラルネットワークの堅牢性を改善するための一般的なテクニックである。 本稿では、これらの様々な正規化選択について検討し、埋め込みの正規化方法の理解を深める。 私たちが特定したジェネリックアプローチ(squared $ell$ regularized augmentation)は、それぞれ1つのタスクのために特別に設計されたいくつかの手法より優れていることを示す。
  論文  参考訳（メタデータ） (2020-11-25T22:40:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。