論文の概要: Bit-Level Discrete Diffusion with Markov Probabilistic Models: An Improved Framework with Sharp Convergence Bounds under Minimal Assumptions

• arxiv url: http://arxiv.org/abs/2502.07939v2
• Date: Wed, 08 Oct 2025 16:55:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-09 14:21:17.937637
• Title: Bit-Level Discrete Diffusion with Markov Probabilistic Models: An Improved Framework with Sharp Convergence Bounds under Minimal Assumptions
• Title（参考訳）: マルコフ確率モデルによるビットレベル離散拡散:最小の仮定の下でシャープ収束境界を持つ改善されたフレームワーク
• Authors: Le-Tuyet-Nhi Pham, Dario Shariatian, Antonio Ocello, Giovanni Conforti, Alain Durmus,
• Abstract要約: 本稿では離散データ生成のための離散マルコフ確率モデル(DMPM)を紹介する。 DMPMは離散ビット空間で動作し、ノイズ発生過程はランダムにラベルを反転させる連続時間マルコフ連鎖である。 この研究は理論の基礎と実践的応用を橋渡しし、効果的で理論的に基礎付けられた離散生成モデルの開発を進めた。
• 参考スコア（独自算出の注目度）: 14.04623086233189
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper introduces Discrete Markov Probabilistic Models (DMPMs), a novel discrete diffusion algorithm for discrete data generation. The algorithm operates in discrete bit space, where the noising process is a continuous-time Markov chain that flips labels uniformly at random. The time-reversal process, like the forward noise process, is a jump process with its intensity governed by a discrete analogue of the classical score function. Crucially, this intensity is proven to be the conditional expectation of a function of the forward process, underlining theoretical alignment with score-based generative models. We establish convergence bounds for the algorithm under minimal assumptions, ensuring robustness and efficiency, which we demonstrate through experiments on low-dimensional Bernoulli-distributed datasets and high-dimensional binary MNIST data. The results highlight competitive performance in generating discrete structures compared to the state-of-the-art. This work bridges theoretical foundations and practical applications, advancing the development of effective and theoretically grounded discrete generative modeling.
• Abstract（参考訳）: 本稿では離散データ生成のための新しい離散拡散アルゴリズムである離散マルコフ確率モデル(DMPM)を紹介する。 このアルゴリズムは離散ビット空間で動作し、ノイズ発生過程はランダムにラベルを反転させる連続時間マルコフ連鎖である。 時間反転過程はフォワードノイズ過程と同様にジャンプ過程であり、その強度は古典的なスコア関数の離散的な類似によって支配される。 重要なことに、この強度は前処理の関数の条件付き期待であると証明され、スコアベースの生成モデルと理論上の整合性を示す。 我々は,低次元ベルヌーイ分布データセットと高次元バイナリMNISTデータを用いた実験により,アルゴリズムの収束境界を最小限の仮定で確立し,ロバスト性と効率性を確保する。 その結果、最先端技術と比較して、離散構造の生成における競合性能が強調された。 この研究は理論の基礎と実践的応用を橋渡しし、効果的で理論的に基礎付けられた離散生成モデリングの開発を進めた。

関連論文リスト

• Sequential Regression Learning with Randomized Algorithms [0.0]
  本稿では,動的データを対象とした逐次機械学習アルゴリズムであるランダム化SINDyを提案する。 確率論的アプローチを採用し、そのPAC学習特性は関数解析の数学的理論を通じて厳密に証明されている。 このアルゴリズムの有効性は、実世界のデータを用いた回帰と二項分類の実験結果によって実証される。
  論文  参考訳（メタデータ） (2025-07-04T18:14:36Z)
• Overcoming Dimensional Factorization Limits in Discrete Diffusion Models through Quantum Joint Distribution Learning [79.65014491424151]
  量子離散化拡散確率モデル(QD3PM)を提案する。 これは、指数関数的に大きなヒルベルト空間における拡散と denoising を通じて合同確率学習を可能にする。 本稿では,共同分布学習における量子的優位性を生かして,生成モデルの新たな理論的パラダイムを確立する。
  論文  参考訳（メタデータ） (2025-05-08T11:48:21Z)
• Flow-based generative models as iterative algorithms in probability space [18.701755188870823]
  フローベースの生成モデルは、正確な推定、効率的なサンプリング、決定論的変換を提供する。 本チュートリアルでは,フローベース生成モデルのための直感的な数学的枠組みを提案する。 我々は,信号処理や機械学習にフローベース生成モデルを効果的に適用するために必要なツールを研究者や実践者に提供することを目的としている。
  論文  参考訳（メタデータ） (2025-02-19T03:09:18Z)
• RDPM: Solve Diffusion Probabilistic Models via Recurrent Token Prediction [17.005198258689035]
  拡散確率モデル(DPM)は、高忠実度画像合成のデファクトアプローチとして登場した。 本稿では, 再帰的拡散確率モデル(RDPM, Recurrent Diffusion Probabilistic Model)を提案する。
  論文  参考訳（メタデータ） (2024-12-24T12:28:19Z)
• Convergence of Score-Based Discrete Diffusion Models: A Discrete-Time Analysis [56.442307356162864]
  連続時間マルコフ連鎖(CTMC)に基づくスコアベース離散拡散モデルの理論的側面について検討する。 本稿では,事前定義された時間点におけるスコア推定値を利用する離散時間サンプリングアルゴリズムを一般状態空間$[S]d$に導入する。 我々の収束解析はジルサノフ法を用いて離散スコア関数の重要な性質を確立する。
  論文  参考訳（メタデータ） (2024-10-03T09:07:13Z)
• BGDB: Bernoulli-Gaussian Decision Block with Improved Denoising Diffusion Probabilistic Models [8.332734198630813]
  生成モデルは、複雑な特徴空間を構築することによって識別的分類器を強化することができる。 本稿では,Bernolli-Gaussian Decision Block (BGDB)を提案する。 具体的には,改良拡散確率モデル(IDDPM)を用いてベルヌーイ裁判の確率をモデル化する。
  論文  参考訳（メタデータ） (2024-09-19T22:52:55Z)
• On the Trajectory Regularity of ODE-based Diffusion Sampling [79.17334230868693]
  拡散に基づく生成モデルは微分方程式を用いて、複素データ分布と抽出可能な事前分布の間の滑らかな接続を確立する。 本稿では,拡散モデルのODEに基づくサンプリングプロセスにおいて,いくつかの興味深い軌道特性を同定する。
  論文  参考訳（メタデータ） (2024-05-18T15:59:41Z)
• Convergence Analysis of Discrete Diffusion Model: Exact Implementation through Uniformization [17.535229185525353]
  連続マルコフ連鎖の均一化を利用したアルゴリズムを導入し、ランダムな時間点の遷移を実装した。 我々の結果は、$mathbbRd$における拡散モデルの最先端の成果と一致し、さらに$mathbbRd$設定と比較して離散拡散モデルの利点を浮き彫りにする。
  論文  参考訳（メタデータ） (2024-02-12T22:26:52Z)
• Distributed Markov Chain Monte Carlo Sampling based on the Alternating Direction Method of Multipliers [143.6249073384419]
  本論文では,乗算器の交互方向法に基づく分散サンプリング手法を提案する。 我々は,アルゴリズムの収束に関する理論的保証と,その最先端性に関する実験的証拠の両方を提供する。 シミュレーションでは,線形回帰タスクとロジスティック回帰タスクにアルゴリズムを配置し,その高速収束を既存の勾配法と比較した。
  論文  参考訳（メタデータ） (2024-01-29T02:08:40Z)
• A Geometric Perspective on Diffusion Models [57.27857591493788]
  本稿では,人気のある分散拡散型SDEのODEに基づくサンプリングについて検討する。 我々は、最適なODEベースのサンプリングと古典的な平均シフト(モード探索)アルゴリズムの理論的関係を確立する。
  論文  参考訳（メタデータ） (2023-05-31T15:33:16Z)
• ChiroDiff: Modelling chirographic data with Diffusion Models [132.5223191478268]
  チャーログラフィーデータのための強力なモデルクラスである「拡散確率モデル(Denoising Diffusion Probabilistic Models)」やDDPMを導入している。 我々のモデルは「ChiroDiff」と呼ばれ、非自己回帰的であり、全体論的概念を捉えることを学び、したがって高い時間的サンプリングレートに回復する。
  論文  参考訳（メタデータ） (2023-04-07T15:17:48Z)
• Score-based Continuous-time Discrete Diffusion Models [102.65769839899315]
  連続時間マルコフ連鎖を介して逆過程が認知されるマルコフジャンププロセスを導入することにより、拡散モデルを離散変数に拡張する。 条件境界分布の単純なマッチングにより、偏りのない推定器が得られることを示す。 提案手法の有効性を,合成および実世界の音楽と画像のベンチマークで示す。
  論文  参考訳（メタデータ） (2022-11-30T05:33:29Z)
• The Boomerang Sampler [4.588028371034406]
  本稿では, 連続時間非可逆マルコフ連鎖モンテカルロアルゴリズムの新たなクラスとして, ブーメラン・サンプラーを導入する。 提案手法は実装が容易であることを実証し,既存のベンチマークを断片的決定論的マルコフプロセスより優れていることを示す。
  論文  参考訳（メタデータ） (2020-06-24T14:52:22Z)
• Multiplicative noise and heavy tails in stochastic optimization [62.993432503309485]
  経験的最適化は現代の機械学習の中心であるが、その成功における役割はまだ不明である。 分散による離散乗法雑音のパラメータによく現れることを示す。 最新のステップサイズやデータを含む重要な要素について、詳細な分析を行い、いずれも最先端のニューラルネットワークモデルで同様の結果を示す。
  論文  参考訳（メタデータ） (2020-06-11T09:58:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。