論文の概要: Diffusion Variational Inference: Diffusion Models as Expressive
Variational Posteriors
- arxiv url: http://arxiv.org/abs/2401.02739v1
- Date: Fri, 5 Jan 2024 10:27:44 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-08 15:16:33.733389
- Title: Diffusion Variational Inference: Diffusion Models as Expressive
Variational Posteriors
- Title(参考訳): 拡散変分推論:表現的変分後流としての拡散モデル
- Authors: Top Piriyakulkij, Yingheng Wang, Volodymyr Kuleshov
- Abstract要約: 本稿では,表現的変動後部として拡散モデルに依存する潜在変数モデルの近似推論アルゴリズムを提案する。
提案手法は,潜在空間内で拡散するモデルの表現型クラスを生成する補助潜在空間を用いて変動後部を増強する。
我々はこのアルゴリズムを、ヒトゲノムから潜伏する祖先を推定する生物学の動機づけタスクに利用し、数千のゲノムデータセットの強いベースラインを上回ります。
- 参考スコア(独自算出の注目度): 12.380863420871071
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We propose denoising diffusion variational inference (DDVI), an approximate
inference algorithm for latent variable models which relies on diffusion models
as expressive variational posteriors. Our method augments variational
posteriors with auxiliary latents, which yields an expressive class of models
that perform diffusion in latent space by reversing a user-specified noising
process. We fit these models by optimizing a novel lower bound on the marginal
likelihood inspired by the wake-sleep algorithm. Our method is easy to
implement (it fits a regularized extension of the ELBO), is compatible with
black-box variational inference, and outperforms alternative classes of
approximate posteriors based on normalizing flows or adversarial networks. When
applied to deep latent variable models, our method yields the denoising
diffusion VAE (DD-VAE) algorithm. We use this algorithm on a motivating task in
biology -- inferring latent ancestry from human genomes -- outperforming strong
baselines on the Thousand Genomes dataset.
- Abstract(参考訳): 本研究では,拡散モデルを表現的変動後方として依存する潜在変数モデルの近似推論アルゴリズムであるdenoising diffusion variational inference (ddvi)を提案する。
本手法は,ユーザが特定したノージング過程を逆転させることにより,潜在空間で拡散するモデル群を表現的に生成する。
我々は、ウェイク・スリープアルゴリズムに触発された限界確率の新たな下限を最適化することで、これらのモデルに適合する。
本手法は実装が容易であり(elboの正規化拡張に適合する)、ブラックボックス変分推論と互換性があり、流れの正規化や逆ネットワークに基づく近似後流の代替クラスを上回る。
深層潜伏変数モデルに適用すると, DD-VAE (denoising diffusion VAE) アルゴリズムが生成される。
我々はこのアルゴリズムを、ヒトゲノムから潜伏する祖先を推定する生物学の動機づけタスクに利用し、数千のゲノムデータセットの強いベースラインを上回ります。
関連論文リスト
- Improving Diffusion Models for Inverse Problems Using Optimal Posterior
Covariance [54.70569748637465]
最近の拡散モデルは、ノイズのある線形逆問題に対する有望なゼロショット解を提供する。
既存のゼロショット法に対する最初の統一的解釈を提案する。
近年の手法は, 等方性ガウス近似を導出可能な後部分布に置き換えることと等価であることを示す。
論文 参考訳(メタデータ) (2024-02-03T13:35:39Z) - Unsupervised Discovery of Interpretable Directions in h-space of
Pre-trained Diffusion Models [63.1637853118899]
本稿では,事前学習した拡散モデルのh空間における解釈可能な方向を特定するための,教師なしおよび学習に基づく最初の手法を提案する。
我々は、事前訓練された拡散モデルのh-スペースで動作するシフト制御モジュールを用いて、サンプルをシフトしたバージョンに操作する。
それらを共同で最適化することで、モデルは自然に絡み合った、解釈可能な方向を発見する。
論文 参考訳(メタデータ) (2023-10-15T18:44:30Z) - Fast Diffusion EM: a diffusion model for blind inverse problems with
application to deconvolution [0.0]
現在の手法では、劣化が知られており、復元と多様性の点で印象的な結果をもたらすと仮定している。
本研究では、これらのモデルの効率を活用し、復元された画像と未知のパラメータを共同で推定する。
本手法は,拡散モデルから抽出したサンプルを用いて,問題の対数類似度を近似し,未知のモデルパラメータを推定する方法とを交互に比較する。
論文 参考訳(メタデータ) (2023-09-01T06:47:13Z) - Variational Gaussian Process Diffusion Processes [17.716059928867345]
拡散過程(英: Diffusion process)は、微分方程式(SDE)のクラスであり、表現的モデルの豊富な族を提供する。
非線型拡散過程が先行する潜在過程を持つ生成モデルの下での確率的推論と学習は難解な問題である。
本研究では, 線形拡散過程として後続過程を近似し, アプローチの病理を指摘する。
論文 参考訳(メタデータ) (2023-06-03T09:43:59Z) - A Geometric Perspective on Diffusion Models [60.69328526215776]
本稿では,人気のある分散拡散型SDEのODEに基づくサンプリングを検証し,そのサンプリングダイナミクスの興味深い構造を明らかにした。
我々は、最適なODEベースのサンプリングと古典的な平均シフト(モード探索)アルゴリズムの理論的関係を確立する。
論文 参考訳(メタデータ) (2023-05-31T15:33:16Z) - CamoDiffusion: Camouflaged Object Detection via Conditional Diffusion
Models [72.93652777646233]
カモフラーゲ型物体検出(COD)は、カモフラーゲ型物体とその周囲の類似性が高いため、コンピュータビジョンにおいて難しい課題である。
本研究では,CODを拡散モデルを利用した条件付きマスク生成タスクとして扱う新しいパラダイムを提案する。
カモ拡散(CamoDiffusion)と呼ばれる本手法では,拡散モデルのデノナイズプロセスを用いてマスクの雑音を反復的に低減する。
論文 参考訳(メタデータ) (2023-05-29T07:49:44Z) - A Variational Perspective on Solving Inverse Problems with Diffusion
Models [101.831766524264]
逆タスクは、データ上の後続分布を推測するものとして定式化することができる。
しかし、拡散過程の非線形的かつ反復的な性質が後部を引き付けるため、拡散モデルではこれは困難である。
そこで我々は,真の後続分布を近似する設計手法を提案する。
論文 参考訳(メタデータ) (2023-05-07T23:00:47Z) - Information-Theoretic Diffusion [18.356162596599436]
拡散モデルのデノイングは密度モデリングや画像生成において大きな進歩をもたらした。
情報理論における古典的な結果にインスパイアされた拡散モデルのための新しい数学的基礎を導入する。
論文 参考訳(メタデータ) (2023-02-07T23:03:07Z) - Variational Laplace Autoencoders [53.08170674326728]
変分オートエンコーダは、遅延変数の後部を近似するために、償却推論モデルを用いる。
完全分解ガウス仮定の限定的後部表現性に対処する新しい手法を提案する。
また、深部生成モデルのトレーニングのための変分ラプラスオートエンコーダ(VLAE)という一般的なフレームワークも提示する。
論文 参考訳(メタデータ) (2022-11-30T18:59:27Z) - A Variational Perspective on Diffusion-Based Generative Models and Score
Matching [8.93483643820767]
連続時間生成拡散の確率推定のための変分フレームワークを導出する。
本研究は,プラグイン逆SDEの可能性の低い境界を最大化することと,スコアマッチング損失の最小化が等価であることを示す。
論文 参考訳(メタデータ) (2021-06-05T05:50:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。