論文の概要: Almost Linear Convergence under Minimal Score Assumptions: Quantized Transition Diffusion

• arxiv url: http://arxiv.org/abs/2505.21892v1
• Date: Wed, 28 May 2025 02:10:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-29 17:35:50.367944
• Title: Almost Linear Convergence under Minimal Score Assumptions: Quantized Transition Diffusion
• Title（参考訳）: 最小スコア推定下のほぼ線形収束:量子化遷移拡散
• Authors: Xunpeng Huang, Yingyu Lin, Nikki Lijing Kuang, Hanze Dong, Difan Zou, Yian Ma, Tong Zhang,
• Abstract要約: 本稿では,データ量子化と離散拡散力学を統合する新しい手法である量子化遷移拡散(QTD)を提案する。 提案手法はまず,連続データ分布の$p_*$をヒストグラム近似とバイナリ符号化により離散的な$q_*$に変換する。 逆時間サンプリングでは,逆CTMCをシミュレートするために,テクスティットランキャットによる一様化手法を導入する。
• 参考スコア（独自算出の注目度）: 25.542593757387095
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Continuous diffusion models have demonstrated remarkable performance in data generation across various domains, yet their efficiency remains constrained by two critical limitations: (1) the local adjacency structure of the forward Markov process, which restricts long-range transitions in the data space, and (2) inherent biases introduced during the simulation of time-inhomogeneous reverse denoising processes. To address these challenges, we propose Quantized Transition Diffusion (QTD), a novel approach that integrates data quantization with discrete diffusion dynamics. Our method first transforms the continuous data distribution $p_*$ into a discrete one $q_*$ via histogram approximation and binary encoding, enabling efficient representation in a structured discrete latent space. We then design a continuous-time Markov chain (CTMC) with Hamming distance-based transitions as the forward process, which inherently supports long-range movements in the original data space. For reverse-time sampling, we introduce a \textit{truncated uniformization} technique to simulate the reverse CTMC, which can provably provide unbiased generation from $q_*$ under minimal score assumptions. Through a novel KL dynamic analysis of the reverse CTMC, we prove that QTD can generate samples with $O(d\ln^2(d/\epsilon))$ score evaluations in expectation to approximate the $d$--dimensional target distribution $p_*$ within an $\epsilon$ error tolerance. Our method not only establishes state-of-the-art inference efficiency but also advances the theoretical foundations of diffusion-based generative modeling by unifying discrete and continuous diffusion paradigms.
• Abstract（参考訳）: 連続拡散モデルは、様々な領域にわたるデータ生成において顕著な性能を示したが、その効率は、(1)データ空間における長距離遷移を制限する前方マルコフ過程の局所的隣接構造、(2)時間的不均一な逆分解過程のシミュレーションで導入された固有バイアスの2つの限界によって制限されている。 これらの課題に対処するために、データ量子化と離散拡散力学を統合する新しいアプローチである量子化遷移拡散(QTD)を提案する。 提案手法はまず,連続データ分布の$p_*$をヒストグラム近似とバイナリ符号化により離散的な$q_*$に変換し,構造化された離散潜在空間における効率的な表現を可能にする。 次に、ハミング距離に基づく遷移をフォワードプロセスとする連続時間マルコフ連鎖(CTMC)を設計する。 逆時間サンプリングには,逆CTMCをシミュレートする‘textit{truncated uniformization} 技術を導入する。 逆CTMCのKL動的解析により、QTDが$O(d\ln^2(d/\epsilon))$スコアのサンプルを生成できることを示す。 我々の手法は、最先端の推論効率を確立するだけでなく、離散的かつ連続的な拡散パラダイムを統一することによって拡散に基づく生成モデリングの理論的基礎を前進させる。

関連論文リスト

• Convergence of Score-Based Discrete Diffusion Models: A Discrete-Time Analysis [56.442307356162864]
  連続時間マルコフ連鎖(CTMC)に基づくスコアベース離散拡散モデルの理論的側面について検討する。 本稿では,事前定義された時間点におけるスコア推定値を利用する離散時間サンプリングアルゴリズムを一般状態空間$[S]d$に導入する。 我々の収束解析はジルサノフ法を用いて離散スコア関数の重要な性質を確立する。
  論文  参考訳（メタデータ） (2024-10-03T09:07:13Z)
• Convergence Analysis of Discrete Diffusion Model: Exact Implementation through Uniformization [17.535229185525353]
  連続マルコフ連鎖の均一化を利用したアルゴリズムを導入し、ランダムな時間点の遷移を実装した。 我々の結果は、$mathbbRd$における拡散モデルの最先端の成果と一致し、さらに$mathbbRd$設定と比較して離散拡散モデルの利点を浮き彫りにする。
  論文  参考訳（メタデータ） (2024-02-12T22:26:52Z)
• Generative Fractional Diffusion Models [53.36835573822926]
  我々は,その基礎となる力学に分数拡散過程を利用する,最初の連続時間スコアベース生成モデルを導入する。 実画像データを用いた評価では,GFDMはFIDが低い値で示されるように,画素幅の多様性と画質の向上を実現している。
  論文  参考訳（メタデータ） (2023-10-26T17:53:24Z)
• Bayesian Flow Networks [4.197165999892042]
  本稿では,ベイジアン・フロー・ネットワーク(BFN)について述べる。ベイジアン・フロー・ネットワーク(BFN)は,独立分布の集合のパラメータをベイジアン推論で修正した新しい生成モデルである。 単純な事前および反復的な2つの分布の更新から始めると、拡散モデルの逆過程に似た生成手順が得られる。 BFNは動的にバイナライズされたMNISTとCIFAR-10で画像モデリングを行うために競合するログライクフレーションを実現し、text8文字レベルの言語モデリングタスクにおいて既知のすべての離散拡散モデルより優れている。
  論文  参考訳（メタデータ） (2023-08-14T09:56:35Z)
• Towards Faster Non-Asymptotic Convergence for Diffusion-Based Generative Models [49.81937966106691]
  我々は拡散モデルのデータ生成過程を理解するための非漸近理論のスイートを開発する。 従来の研究とは対照的に,本理論は基本的だが多目的な非漸近的アプローチに基づいて開発されている。
  論文  参考訳（メタデータ） (2023-06-15T16:30:08Z)
• Score-based Continuous-time Discrete Diffusion Models [102.65769839899315]
  連続時間マルコフ連鎖を介して逆過程が認知されるマルコフジャンププロセスを導入することにより、拡散モデルを離散変数に拡張する。 条件境界分布の単純なマッチングにより、偏りのない推定器が得られることを示す。 提案手法の有効性を,合成および実世界の音楽と画像のベンチマークで示す。
  論文  参考訳（メタデータ） (2022-11-30T05:33:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。