論文の概要: Discrete Markov Probabilistic Models

• arxiv url: http://arxiv.org/abs/2502.07939v1
• Date: Tue, 11 Feb 2025 20:36:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-13 13:50:10.478831
• Title: Discrete Markov Probabilistic Models
• Title（参考訳）: 離散マルコフ確率モデル
• Authors: Le-Tuyet-Nhi Pham, Dario Shariatian, Antonio Ocello, Giovanni Conforti, Alain Durmus,
• Abstract要約: 離散マルコフ確率モデル(DMPM)は離散データ生成のための新しいアルゴリズムである。 時間反転過程の強度は古典的なスコア関数の離散的なアナログによって制御される。 この研究は理論の基礎と実践的応用を橋渡しし、効果的で理論的に基礎付けられた離散生成モデリングの開発を進めた。
• 参考スコア（独自算出の注目度）: 8.206838934494513
• License:
• Abstract: This paper introduces the Discrete Markov Probabilistic Model (DMPM), a novel algorithm for discrete data generation. The algorithm operates in the space of bits $\{0,1\}^d$, where the noising process is a continuous-time Markov chain that can be sampled exactly via a Poissonian clock that flips labels uniformly at random. The time-reversal process, like the forward noise process, is a jump process, with its intensity governed by a discrete analogue of the classical score function. Crucially, this intensity is proven to be the conditional expectation of a function of the forward process, strengthening its theoretical alignment with score-based generative models while ensuring robustness and efficiency. We further establish convergence bounds for the algorithm under minimal assumptions and demonstrate its effectiveness through experiments on low-dimensional Bernoulli-distributed datasets and high-dimensional binary MNIST data. The results highlight its strong performance in generating discrete structures. This work bridges theoretical foundations and practical applications, advancing the development of effective and theoretically grounded discrete generative modeling.
• Abstract（参考訳）: 本稿では離散データ生成のための新しいアルゴリズムである離散マルコフ確率モデル(DMPM)を紹介する。 このアルゴリズムはビットの空間$\{0,1\}^d$で動作し、ノイズ発生過程は連続時間マルコフ連鎖であり、ポアソン時計で正確にサンプリングでき、ランダムにラベルを反転させる。 時間反転過程はフォワードノイズ過程と同様にジャンプ過程であり、その強度は古典的なスコア関数の離散的な類似によって支配される。 重要なことに、この強度は前処理の関数の条件付き期待であると証明され、その理論的アライメントをスコアベース生成モデルと強化し、堅牢性と効率性を確保する。 さらに、最小の仮定の下でアルゴリズムの収束境界を確立し、低次元ベルヌーイ分布データセットと高次元バイナリMNISTデータの実験を通してその効果を実証する。 結果は、離散構造の生成において、その強い性能を強調した。 この研究は理論の基礎と実践的応用を橋渡しし、効果的で理論的に基礎付けられた離散生成モデリングの開発を進めた。

関連論文リスト

• Convergence of Score-Based Discrete Diffusion Models: A Discrete-Time Analysis [56.442307356162864]
  連続時間マルコフ連鎖(CTMC)に基づくスコアベース離散拡散モデルの理論的側面について検討する。 本稿では,事前定義された時間点におけるスコア推定値を利用する離散時間サンプリングアルゴリズムを一般状態空間$[S]d$に導入する。 我々の収束解析はジルサノフ法を用いて離散スコア関数の重要な性質を確立する。
  論文  参考訳（メタデータ） (2024-10-03T09:07:13Z)
• BGDB: Bernoulli-Gaussian Decision Block with Improved Denoising Diffusion Probabilistic Models [8.332734198630813]
  生成モデルは、複雑な特徴空間を構築することによって識別的分類器を強化することができる。 本稿では,Bernolli-Gaussian Decision Block (BGDB)を提案する。 具体的には,改良拡散確率モデル(IDDPM)を用いてベルヌーイ裁判の確率をモデル化する。
  論文  参考訳（メタデータ） (2024-09-19T22:52:55Z)
• On the Trajectory Regularity of ODE-based Diffusion Sampling [79.17334230868693]
  拡散に基づく生成モデルは微分方程式を用いて、複素データ分布と抽出可能な事前分布の間の滑らかな接続を確立する。 本稿では,拡散モデルのODEに基づくサンプリングプロセスにおいて,いくつかの興味深い軌道特性を同定する。
  論文  参考訳（メタデータ） (2024-05-18T15:59:41Z)
• Characteristic Learning for Provable One Step Generation [3.0457054308731215]
  本稿では,GAN(Generative Adversarial Networks)におけるサンプリング効率とフローベースモデルの安定した性能を組み合わせた一段階生成モデルを提案する。 我々のモデルは、確率密度輸送を通常の微分方程式(ODE)で記述できる特性によって駆動される。 2-ワッサーシュタイン距離における特性発生器の非漸近収束速度を確立するために,速度マッチング,オイラー離散化,特性適合の誤差を解析した。
  論文  参考訳（メタデータ） (2024-05-09T02:41:42Z)
• Convergence Analysis of Discrete Diffusion Model: Exact Implementation through Uniformization [17.535229185525353]
  連続マルコフ連鎖の均一化を利用したアルゴリズムを導入し、ランダムな時間点の遷移を実装した。 我々の結果は、$mathbbRd$における拡散モデルの最先端の成果と一致し、さらに$mathbbRd$設定と比較して離散拡散モデルの利点を浮き彫りにする。
  論文  参考訳（メタデータ） (2024-02-12T22:26:52Z)
• Distributed Markov Chain Monte Carlo Sampling based on the Alternating Direction Method of Multipliers [143.6249073384419]
  本論文では,乗算器の交互方向法に基づく分散サンプリング手法を提案する。 我々は,アルゴリズムの収束に関する理論的保証と,その最先端性に関する実験的証拠の両方を提供する。 シミュレーションでは,線形回帰タスクとロジスティック回帰タスクにアルゴリズムを配置し,その高速収束を既存の勾配法と比較した。
  論文  参考訳（メタデータ） (2024-01-29T02:08:40Z)
• ChiroDiff: Modelling chirographic data with Diffusion Models [132.5223191478268]
  チャーログラフィーデータのための強力なモデルクラスである「拡散確率モデル(Denoising Diffusion Probabilistic Models)」やDDPMを導入している。 我々のモデルは「ChiroDiff」と呼ばれ、非自己回帰的であり、全体論的概念を捉えることを学び、したがって高い時間的サンプリングレートに回復する。
  論文  参考訳（メタデータ） (2023-04-07T15:17:48Z)
• Score-based Continuous-time Discrete Diffusion Models [102.65769839899315]
  連続時間マルコフ連鎖を介して逆過程が認知されるマルコフジャンププロセスを導入することにより、拡散モデルを離散変数に拡張する。 条件境界分布の単純なマッチングにより、偏りのない推定器が得られることを示す。 提案手法の有効性を,合成および実世界の音楽と画像のベンチマークで示す。
  論文  参考訳（メタデータ） (2022-11-30T05:33:29Z)
• A Continuous Time Framework for Discrete Denoising Models [43.135447812798155]
  離散データの拡散モデルを決定するための,最初の完全な連続時間フレームワークを提供する。 これは、連続時間マルコフ連鎖(CTMC)としてフォワードノイズ発生過程と対応する逆時間生成過程を定式化することによって達成される。
  論文  参考訳（メタデータ） (2022-05-30T10:37:41Z)
• The Boomerang Sampler [4.588028371034406]
  本稿では, 連続時間非可逆マルコフ連鎖モンテカルロアルゴリズムの新たなクラスとして, ブーメラン・サンプラーを導入する。 提案手法は実装が容易であることを実証し,既存のベンチマークを断片的決定論的マルコフプロセスより優れていることを示す。
  論文  参考訳（メタデータ） (2020-06-24T14:52:22Z)
• Multiplicative noise and heavy tails in stochastic optimization [62.993432503309485]
  経験的最適化は現代の機械学習の中心であるが、その成功における役割はまだ不明である。 分散による離散乗法雑音のパラメータによく現れることを示す。 最新のステップサイズやデータを含む重要な要素について、詳細な分析を行い、いずれも最先端のニューラルネットワークモデルで同様の結果を示す。
  論文  参考訳（メタデータ） (2020-06-11T09:58:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。