論文の概要: Categorical SDEs with Simplex Diffusion
- arxiv url: http://arxiv.org/abs/2210.14784v1
- Date: Wed, 26 Oct 2022 15:27:43 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-27 15:26:12.965629
- Title: Categorical SDEs with Simplex Diffusion
- Title（参考訳）: Simplex Diffusion を用いた分類SDE
- Authors: Pierre H. Richemond, Sander Dieleman, Arnaud Doucet
- Abstract要約: この理論ノートは、n-次元確率単純点上のデータポイントを直接拡散する手段であるSimplex Diffusionを提案する。
多次元 Cox-Ingersoll-Ross プロセスにより, シンプレックス上のディリクレ分布と類似の SDE がどのように実現されるかを示す。
- 参考スコア（独自算出の注目度）: 25.488210663637265
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Diffusion models typically operate in the standard framework of generative
modelling by producing continuously-valued datapoints. To this end, they rely
on a progressive Gaussian smoothing of the original data distribution, which
admits an SDE interpretation involving increments of a standard Brownian
motion. However, some applications such as text generation or reinforcement
learning might naturally be better served by diffusing categorical-valued data,
i.e., lifting the diffusion to a space of probability distributions. To this
end, this short theoretical note proposes Simplex Diffusion, a means to
directly diffuse datapoints located on an n-dimensional probability simplex. We
show how this relates to the Dirichlet distribution on the simplex and how the
analogous SDE is realized thanks to a multi-dimensional Cox-Ingersoll-Ross
process (abbreviated as CIR), previously used in economics and mathematical
finance. Finally, we make remarks as to the numerical implementation of
trajectories of the CIR process, and discuss some limitations of our approach.
- Abstract（参考訳）: 拡散モデルは典型的には、連続値データポイントを生成することによって生成モデリングの標準的な枠組みで動作する。
この目的のために、彼らは原データ分布のプログレッシブガウス的滑らか化に依存しており、標準ブラウン運動の増分を含むSDE解釈が認められる。
しかし、テキスト生成や強化学習のような応用は、カテゴリ値データ、すなわち確率分布の空間への拡散を拡散させることによって、自然によりよく機能するかもしれない。
この目的のために、この短い理論ノートは、n-次元確率単純点上のデータポイントを直接拡散する手段であるSimplex Diffusionを提案する。
本研究は, 多次元Cox-Ingersoll-Rossプロセス(略してCIR)により, 単純度上のディリクレ分布と類似SDEがどのように実現されるかを示す。
最後に,CIRプロセスの軌跡の数値的実装について述べるとともに,提案手法のいくつかの限界について考察する。
関連論文リスト
- Identifying Drift, Diffusion, and Causal Structure from Temporal Snapshots [10.018568337210876]
本稿では,SDEの時空間からのドリフトと拡散を共同で推定する,最初の包括的アプローチを提案する。
これらのステップのそれぞれが、Kullback-Leiblerデータセットに関して常に最適であることを示す。
論文 参考訳（メタデータ） (2024-10-30T06:28:21Z) - A Sharp Convergence Theory for The Probability Flow ODEs of Diffusion Models [45.60426164657739]
拡散型サンプリング器の非漸近収束理論を開発する。
我々は、$d/varepsilon$がターゲット分布を$varepsilon$トータル偏差距離に近似するのに十分であることを証明した。
我々の結果は、$ell$のスコア推定誤差がデータ生成プロセスの品質にどのように影響するかも特徴付ける。
論文 参考訳（メタデータ） (2024-08-05T09:02:24Z) - On the Trajectory Regularity of ODE-based Diffusion Sampling [79.17334230868693]
拡散に基づく生成モデルは微分方程式を用いて、複素データ分布と抽出可能な事前分布の間の滑らかな接続を確立する。
本稿では,拡散モデルのODEに基づくサンプリングプロセスにおいて,いくつかの興味深い軌道特性を同定する。
論文 参考訳（メタデータ） (2024-05-18T15:59:41Z) - Convergence Analysis of Discrete Diffusion Model: Exact Implementation
through Uniformization [17.535229185525353]
連続マルコフ連鎖の均一化を利用したアルゴリズムを導入し、ランダムな時間点の遷移を実装した。
我々の結果は、$mathbbRd$における拡散モデルの最先端の成果と一致し、さらに$mathbbRd$設定と比較して離散拡散モデルの利点を浮き彫りにする。
論文 参考訳（メタデータ） (2024-02-12T22:26:52Z) - Diffusion on the Probability Simplex [24.115365081118604]
拡散モデルは、データ分布のプログレッシブノイズ化を逆転させ、生成モデルを作成する。
本稿では,確率単純度上で拡散を行う手法を提案する。
本手法は,有界画像生成に適用可能な単位立方体上の拡散を含むように自然に拡張されている。
論文 参考訳（メタデータ） (2023-09-05T18:52:35Z) - A Geometric Perspective on Diffusion Models [57.27857591493788]
本稿では,人気のある分散拡散型SDEのODEに基づくサンプリングについて検討する。
我々は、最適なODEベースのサンプリングと古典的な平均シフト(モード探索)アルゴリズムの理論的関係を確立する。
論文 参考訳（メタデータ） (2023-05-31T15:33:16Z) - Reflected Diffusion Models [93.26107023470979]
本稿では,データのサポートに基づいて進化する反射微分方程式を逆転する反射拡散モデルを提案する。
提案手法は,一般化されたスコアマッチング損失を用いてスコア関数を学習し,標準拡散モデルの主要成分を拡張する。
論文 参考訳（メタデータ） (2023-04-10T17:54:38Z) - Score-based Continuous-time Discrete Diffusion Models [102.65769839899315]
連続時間マルコフ連鎖を介して逆過程が認知されるマルコフジャンププロセスを導入することにより、拡散モデルを離散変数に拡張する。
条件境界分布の単純なマッチングにより、偏りのない推定器が得られることを示す。
提案手法の有効性を,合成および実世界の音楽と画像のベンチマークで示す。
論文 参考訳（メタデータ） (2022-11-30T05:33:29Z) - GANs with Conditional Independence Graphs: On Subadditivity of
Probability Divergences [70.30467057209405]
GAN(Generative Adversarial Networks)は、データセットの基盤となる分布を学習するための現代的な手法である。
GANは、基礎となるディストリビューションに関する追加情報がないモデルフリーで設計されている。
本稿では,ベイズネット/MRFの近傍に単純な識別器群を用いたモデルベースGANの設計を提案する。
論文 参考訳（メタデータ） (2020-03-02T04:31:22Z) - Stein Variational Inference for Discrete Distributions [70.19352762933259]
離散分布を等価なピースワイズ連続分布に変換する単純な一般フレームワークを提案する。
提案手法は,ギブスサンプリングや不連続ハミルトニアンモンテカルロといった従来のアルゴリズムよりも優れている。
我々は,この手法がバイナライズニューラルネットワーク(BNN)のアンサンブルを学習するための有望なツールであることを実証した。
さらに、そのような変換は、勾配のないカーネル化されたStein差分に簡単に適用でき、離散分布の良性(GoF)テストを実行することができる。
論文 参考訳（メタデータ） (2020-03-01T22:45:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。