論文の概要: Categorical SDEs with Simplex Diffusion
- arxiv url: http://arxiv.org/abs/2210.14784v1
- Date: Wed, 26 Oct 2022 15:27:43 GMT
- ステータス: 翻訳完了
- システム内更新日: 2022-10-27 15:26:12.965629
- Title: Categorical SDEs with Simplex Diffusion
- Title（参考訳）: Simplex Diffusion を用いた分類SDE
- Abstract要約: この理論ノートは、n-次元確率単純点上のデータポイントを直接拡散する手段であるSimplex Diffusionを提案する。
多次元 Cox-Ingersoll-Ross プロセスにより, シンプレックス上のディリクレ分布と類似の SDE がどのように実現されるかを示す。
- 参考スコア（独自算出の注目度）: 25.488210663637265
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Diffusion models typically operate in the standard framework of generative
modelling by producing continuously-valued datapoints. To this end, they rely
on a progressive Gaussian smoothing of the original data distribution, which
admits an SDE interpretation involving increments of a standard Brownian
motion. However, some applications such as text generation or reinforcement
learning might naturally be better served by diffusing categorical-valued data,
i.e., lifting the diffusion to a space of probability distributions. To this
end, this short theoretical note proposes Simplex Diffusion, a means to
directly diffuse datapoints located on an n-dimensional probability simplex. We
show how this relates to the Dirichlet distribution on the simplex and how the
analogous SDE is realized thanks to a multi-dimensional Cox-Ingersoll-Ross
process (abbreviated as CIR), previously used in economics and mathematical
finance. Finally, we make remarks as to the numerical implementation of
trajectories of the CIR process, and discuss some limitations of our approach.
- Abstract（参考訳）: 拡散モデルは典型的には、連続値データポイントを生成することによって生成モデリングの標準的な枠組みで動作する。
この目的のために、彼らは原データ分布のプログレッシブガウス的滑らか化に依存しており、標準ブラウン運動の増分を含むSDE解釈が認められる。
しかし、テキスト生成や強化学習のような応用は、カテゴリ値データ、すなわち確率分布の空間への拡散を拡散させることによって、自然によりよく機能するかもしれない。
この目的のために、この短い理論ノートは、n-次元確率単純点上のデータポイントを直接拡散する手段であるSimplex Diffusionを提案する。
本研究は, 多次元Cox-Ingersoll-Rossプロセス(略してCIR)により, 単純度上のディリクレ分布と類似SDEがどのように実現されるかを示す。
最後に,CIRプロセスの軌跡の数値的実装について述べるとともに,提案手法のいくつかの限界について考察する。
関連論文リスト
- From Scores to Gibbs Correctors: Accelerating Uniform-Rate Discrete Diffusion Models [58.02657021435213]
我々は、Gibs-Accelerated Discrete Diffusion (GADD)と呼ばれる離散拡散モデルのための新しいGibsベースの修正器を提案する。
我々はGADDが$mathcalO(mathrmpolylog (varepsilon-1)$の総合的なサンプリング複雑性を達成し、均一レートの離散拡散モデルに対する拡散に基づくサンプリング者にとって最初のレートとなることを示す。
論文 参考訳（メタデータ） (2026-05-26T17:52:28Z) - A Tutorial on Diffusion Theory: From Differential Equations to Diffusion Models [15.927114890047035]
拡散モデルは、生成モデリングの主流のフレームワークとして現れてきた。
このチュートリアルは微分方程式の観点からこれらの視点を統一的で自己完結した説明を提供する。
このチュートリアルは、拡散過程の解析的基礎とそれらの上に構築された現代的な生成アルゴリズムの間の橋渡しとして意図されている。
論文 参考訳（メタデータ） (2026-05-21T14:59:12Z) - Learning Discrete Diffusion of Graphs via Free-Energy Gradient Flows [24.6419207456082]
勾配流に基づく並列理論の枠組みは、これらの設定に直接$W$距離を変換するという本質的な課題のために、まだ解明されていない。
本研究では,これらの課題に対処する最初の計算手法を提案する。
本稿では,離散空間上の拡散力学を学習するための新しい手法を提案する。
論文 参考訳（メタデータ） (2026-04-13T11:15:14Z) - Beyond Scores: Proximal Diffusion Models [10.27283386401996]
対数密度の近似演算子を学習するために, 近似拡散モデル (ProxDM) を開発した。
ProxDMの2つの変種は,従来のスコアマッチング法と比較して,わずか数ステップで大幅に高速化された。
論文 参考訳（メタデータ） (2025-07-11T18:30:09Z) - Physics-Informed Distillation of Diffusion Models for PDE-Constrained Generation [19.734778762515468]
拡散モデルは、物理系のモデリング、特に偏微分方程式(PDE)によって支配されるものにおいて、注目を集めている。
本稿では, PDE 制約を直接拡散過程に注入するのではなく, ポストホック蒸留段階において適用する, 単純かつ効果的なポストホック蒸留法を提案する。
論文 参考訳（メタデータ） (2025-05-28T14:17:58Z) - Identifying Drift, Diffusion, and Causal Structure from Temporal Snapshots [10.018568337210876]
本稿では,SDEの時空間からのドリフトと拡散を共同で推定する,最初の包括的アプローチを提案する。
これらのステップのそれぞれが、Kullback-Leiblerデータセットに関して常に最適であることを示す。
論文 参考訳（メタデータ） (2024-10-30T06:28:21Z) - A Sharp Convergence Theory for The Probability Flow ODEs of Diffusion Models [45.60426164657739]
拡散型サンプリング器の非漸近収束理論を開発する。
我々は、$d/varepsilon$がターゲット分布を$varepsilon$トータル偏差距離に近似するのに十分であることを証明した。
我々の結果は、$ell$のスコア推定誤差がデータ生成プロセスの品質にどのように影響するかも特徴付ける。
論文 参考訳（メタデータ） (2024-08-05T09:02:24Z) - On the Trajectory Regularity of ODE-based Diffusion Sampling [79.17334230868693]
拡散に基づく生成モデルは微分方程式を用いて、複素データ分布と抽出可能な事前分布の間の滑らかな接続を確立する。
本稿では,拡散モデルのODEに基づくサンプリングプロセスにおいて,いくつかの興味深い軌道特性を同定する。
論文 参考訳（メタデータ） (2024-05-18T15:59:41Z) - Convergence Analysis of Discrete Diffusion Model: Exact Implementation
through Uniformization [17.535229185525353]
連続マルコフ連鎖の均一化を利用したアルゴリズムを導入し、ランダムな時間点の遷移を実装した。
我々の結果は、$mathbbRd$における拡散モデルの最先端の成果と一致し、さらに$mathbbRd$設定と比較して離散拡散モデルの利点を浮き彫りにする。
論文 参考訳（メタデータ） (2024-02-12T22:26:52Z) - Diffusion on the Probability Simplex [24.115365081118604]
拡散モデルは、データ分布のプログレッシブノイズ化を逆転させ、生成モデルを作成する。
本稿では,確率単純度上で拡散を行う手法を提案する。
本手法は,有界画像生成に適用可能な単位立方体上の拡散を含むように自然に拡張されている。
論文 参考訳（メタデータ） (2023-09-05T18:52:35Z) - A Geometric Perspective on Diffusion Models [57.27857591493788]
本稿では,人気のある分散拡散型SDEのODEに基づくサンプリングについて検討する。
我々は、最適なODEベースのサンプリングと古典的な平均シフト(モード探索)アルゴリズムの理論的関係を確立する。
論文 参考訳（メタデータ） (2023-05-31T15:33:16Z) - Reflected Diffusion Models [93.26107023470979]
本稿では,データのサポートに基づいて進化する反射微分方程式を逆転する反射拡散モデルを提案する。
提案手法は,一般化されたスコアマッチング損失を用いてスコア関数を学習し,標準拡散モデルの主要成分を拡張する。
論文 参考訳（メタデータ） (2023-04-10T17:54:38Z) - Score-based Continuous-time Discrete Diffusion Models [102.65769839899315]
連続時間マルコフ連鎖を介して逆過程が認知されるマルコフジャンププロセスを導入することにより、拡散モデルを離散変数に拡張する。
条件境界分布の単純なマッチングにより、偏りのない推定器が得られることを示す。
提案手法の有効性を,合成および実世界の音楽と画像のベンチマークで示す。
論文 参考訳（メタデータ） (2022-11-30T05:33:29Z) - GANs with Conditional Independence Graphs: On Subadditivity of
Probability Divergences [70.30467057209405]
GAN(Generative Adversarial Networks)は、データセットの基盤となる分布を学習するための現代的な手法である。
GANは、基礎となるディストリビューションに関する追加情報がないモデルフリーで設計されている。
本稿では,ベイズネット/MRFの近傍に単純な識別器群を用いたモデルベースGANの設計を提案する。
論文 参考訳（メタデータ） (2020-03-02T04:31:22Z) - Stein Variational Inference for Discrete Distributions [70.19352762933259]
離散分布を等価なピースワイズ連続分布に変換する単純な一般フレームワークを提案する。
提案手法は,ギブスサンプリングや不連続ハミルトニアンモンテカルロといった従来のアルゴリズムよりも優れている。
我々は,この手法がバイナライズニューラルネットワーク(BNN)のアンサンブルを学習するための有望なツールであることを実証した。
さらに、そのような変換は、勾配のないカーネル化されたStein差分に簡単に適用でき、離散分布の良性(GoF)テストを実行することができる。
論文 参考訳（メタデータ） (2020-03-01T22:45:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。