論文の概要: Langevin Diffusion Variational Inference
- arxiv url: http://arxiv.org/abs/2208.07743v1
- Date: Tue, 16 Aug 2022 13:33:19 GMT
- ステータス: 処理完了
- システム内更新日: 2022-08-17 12:50:08.202460
- Title: Langevin Diffusion Variational Inference
- Title(参考訳): ランゲヴィン拡散変動推定
- Authors: Tomas Geffner and Justin Domke
- Abstract要約: 既存の手法を統一し一般化する単一の分析を行う。
主な考え方は、アンダーダムのランゲヴィン拡散過程を数値シミュレーションすることで目標と変動を増大させることである。
本稿では,既存のアルゴリズムの強みを組み合わせた新しい手法を提案する。
- 参考スコア(独自算出の注目度): 38.73307745906571
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Many methods that build powerful variational distributions based on
unadjusted Langevin transitions exist. Most of these were developed using a
wide range of different approaches and techniques. Unfortunately, the lack of a
unified analysis and derivation makes developing new methods and reasoning
about existing ones a challenging task. We address this giving a single
analysis that unifies and generalizes these existing techniques. The main idea
is to augment the target and variational by numerically simulating the
underdamped Langevin diffusion process and its time reversal. The benefits of
this approach are twofold: it provides a unified formulation for many existing
methods, and it simplifies the development of new ones. In fact, using our
formulation we propose a new method that combines the strengths of previously
existing algorithms; it uses underdamped Langevin transitions and powerful
augmentations parameterized by a score network. Our empirical evaluation shows
that our proposed method consistently outperforms relevant baselines in a wide
range of tasks.
- Abstract(参考訳): 無調整ランゲヴィン転移に基づく強力な変分分布を構築する多くの方法が存在する。
これらの多くは、幅広い異なるアプローチと技術を用いて開発された。
残念ながら、統一的な分析と導出の欠如は、新しいメソッドの開発と既存のメソッドに対する推論を困難なタスクにする。
我々は、これらの既存のテクニックを統一し、一般化する単一の分析を提供する。
主な考え方は、アンダーダムのランゲヴィン拡散過程とその時間反転を数値シミュレーションすることで目標と変動を増大させることである。
このアプローチの利点は2つある: 既存の多くのメソッドに統一的な定式化を提供し、新しいメソッドの開発を単純化する。
実際、我々の定式化を用いて、既存のアルゴリズムの強みを組み合わせた新しい手法を提案する。
我々の経験的評価は,提案手法が幅広いタスクにおいて,関連するベースラインを一貫して上回ることを示す。
関連論文リスト
- Improving Diffusion Models for Inverse Problems Using Optimal Posterior
Covariance [54.70569748637465]
最近の拡散モデルは、ノイズのある線形逆問題に対する有望なゼロショット解を提供する。
既存のゼロショット法に対する最初の統一的解釈を提案する。
近年の手法は, 等方性ガウス近似を導出可能な後部分布に置き換えることと等価であることを示す。
論文 参考訳(メタデータ) (2024-02-03T13:35:39Z) - Denoising Diffusion Variational Inference: Diffusion Models as
Expressive Variational Posteriors [12.380863420871071]
DDVIは、フレキシブルな変動後部として拡散モデルに依存する潜在変数モデルの近似推論アルゴリズムである。
DDVIは、ヒトゲノムから潜伏する祖先を推定する生物学のモチベーションタスクで使われており、数千のゲノムデータセットの強いベースラインを上回ります。
論文 参考訳(メタデータ) (2024-01-05T10:27:44Z) - Improved sampling via learned diffusions [9.518010235273783]
近年,非正規化対象密度からの深層学習に基づくアプローチが提案されている。
本研究では,これらの手法をシュリンガー橋問題(Schr"odinger bridge problem)の特別な場合とみなす。
我々は、時間反転拡散過程の経路空間測度間のばらつきに基づく変分定式化を導入することにより、この枠組みを一般化する。
論文 参考訳(メタデータ) (2023-07-03T17:58:26Z) - Sublinear Convergence Rates of Extragradient-Type Methods: A Survey on
Classical and Recent Developments [12.995632804090198]
外部分解性(EG)は、サドルポイント問題の解を近似するためのよく知られた方法である。
近年,機械学習の新たな応用やロバストな最適化により,これらの手法が普及している。
アルゴリズムの異なるクラスに対する統一収束解析を提供し、サブ線形のベストイテレートとラストイテレート収束率に重点を置いている。
論文 参考訳(メタデータ) (2023-03-30T07:04:22Z) - Decomposed Diffusion Sampler for Accelerating Large-Scale Inverse
Problems [64.29491112653905]
本稿では, 拡散サンプリング法とクリロフ部分空間法を相乗的に組み合わせた, 新規で効率的な拡散サンプリング手法を提案する。
具体的には、ツイーディの公式による分母化標本における接空間がクリロフ部分空間を成すならば、その分母化データによるCGは、接空間におけるデータの整合性更新を確実に維持する。
提案手法は,従来の最先端手法よりも80倍以上高速な推論時間を実現する。
論文 参考訳(メタデータ) (2023-03-10T07:42:49Z) - Making Substitute Models More Bayesian Can Enhance Transferability of
Adversarial Examples [89.85593878754571]
ディープニューラルネットワークにおける敵の例の転送可能性は多くのブラックボックス攻撃の欠如である。
我々は、望ましい転送可能性を達成するためにベイズモデルを攻撃することを提唱する。
我々の手法は近年の最先端を大きなマージンで上回る。
論文 参考訳(メタデータ) (2023-02-10T07:08:13Z) - Improving Diffusion Models for Inverse Problems using Manifold
Constraints [35.50393732825064]
我々は,現在の解法がデータ多様体からサンプルパスを逸脱し,エラーが蓄積することを示す。
この問題に対処するため、多様体の制約に着想を得た追加の補正項を提案する。
本手法は理論上も経験上も従来の方法よりも優れていることを示す。
論文 参考訳(メタデータ) (2022-06-02T09:06:10Z) - Stochastic Gradient Descent-Ascent: Unified Theory and New Efficient
Methods [73.35353358543507]
SGDA(Gradient Descent-Ascent)は、min-max最適化と変分不等式問題(VIP)を解くための最も顕著なアルゴリズムの1つである。
本稿では,多種多様な降下指数法を網羅した統合収束解析を提案する。
本研究では,新しい分散化手法 (L-SVRGDA) や,新しい分散圧縮方式 (QSGDA, DIANA-SGDA, VR-DIANA-SGDA) ,座標ランダム化方式 (SEGA-SGDA) など,SGDAの新しい変種を開発した。
論文 参考訳(メタデータ) (2022-02-15T09:17:39Z) - A Discrete Variational Derivation of Accelerated Methods in Optimization [68.8204255655161]
最適化のための異なる手法を導出できる変分法を導入する。
我々は1対1の対応において最適化手法の2つのファミリを導出する。
自律システムのシンプレクティシティの保存は、ここでは繊維のみに行われる。
論文 参考訳(メタデータ) (2021-06-04T20:21:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。