論文の概要: Langevin Diffusion Variational Inference

• arxiv url: http://arxiv.org/abs/2208.07743v1
• Date: Tue, 16 Aug 2022 13:33:19 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-17 12:50:08.202460
• Title: Langevin Diffusion Variational Inference
• Title（参考訳）: ランゲヴィン拡散変動推定
• Authors: Tomas Geffner and Justin Domke
• Abstract要約: 既存の手法を統一し一般化する単一の分析を行う。 主な考え方は、アンダーダムのランゲヴィン拡散過程を数値シミュレーションすることで目標と変動を増大させることである。 本稿では,既存のアルゴリズムの強みを組み合わせた新しい手法を提案する。
• 参考スコア（独自算出の注目度）: 38.73307745906571
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Many methods that build powerful variational distributions based on unadjusted Langevin transitions exist. Most of these were developed using a wide range of different approaches and techniques. Unfortunately, the lack of a unified analysis and derivation makes developing new methods and reasoning about existing ones a challenging task. We address this giving a single analysis that unifies and generalizes these existing techniques. The main idea is to augment the target and variational by numerically simulating the underdamped Langevin diffusion process and its time reversal. The benefits of this approach are twofold: it provides a unified formulation for many existing methods, and it simplifies the development of new ones. In fact, using our formulation we propose a new method that combines the strengths of previously existing algorithms; it uses underdamped Langevin transitions and powerful augmentations parameterized by a score network. Our empirical evaluation shows that our proposed method consistently outperforms relevant baselines in a wide range of tasks.
• Abstract（参考訳）: 無調整ランゲヴィン転移に基づく強力な変分分布を構築する多くの方法が存在する。 これらの多くは、幅広い異なるアプローチと技術を用いて開発された。 残念ながら、統一的な分析と導出の欠如は、新しいメソッドの開発と既存のメソッドに対する推論を困難なタスクにする。 我々は、これらの既存のテクニックを統一し、一般化する単一の分析を提供する。 主な考え方は、アンダーダムのランゲヴィン拡散過程とその時間反転を数値シミュレーションすることで目標と変動を増大させることである。 このアプローチの利点は2つある: 既存の多くのメソッドに統一的な定式化を提供し、新しいメソッドの開発を単純化する。 実際、我々の定式化を用いて、既存のアルゴリズムの強みを組み合わせた新しい手法を提案する。 我々の経験的評価は,提案手法が幅広いタスクにおいて,関連するベースラインを一貫して上回ることを示す。

関連論文リスト

• Adversarial Schrödinger Bridge Matching [66.39774923893103]
  反復マルコフフィッティング(IMF)手順は、マルコフ過程の相互射影と相互射影を交互に交互に行う。 本稿では、プロセスの学習を離散時間でほんの少しの遷移確率の学習に置き換える新しい離散時間IMF(D-IMF)手順を提案する。 D-IMFの手続きは、数百ではなく数世代のステップで、IMFと同じ品質の未完成のドメイン翻訳を提供できることを示す。
  論文  参考訳（メタデータ） (2024-05-23T11:29:33Z)
• ODE Discovery for Longitudinal Heterogeneous Treatment Effects Inference [69.24516189971929]
  本稿では, 閉形式常微分方程式(ODE)という, 縦条件下での新しい解法を提案する。 私たちはまだODEを学ぶために継続的な最適化に依存していますが、結果として生じる推論マシンはもはやニューラルネットワークではありません。
  論文  参考訳（メタデータ） (2024-03-16T02:07:45Z)
• Implicit Variational Inference for High-Dimensional Posteriors [7.924706533725115]
  変分推論において、ベイズモデルの利点は、真の後続分布を正確に捉えることに依存する。 複雑な多重モーダルおよび相関後部を近似するのに適した暗黙分布を特定するニューラルサンプリング手法を提案する。 提案手法では,ニューラルネットワークを局所的に線形化することにより,暗黙分布を用いた近似推論の新たなバウンダリを導入する。
  論文  参考訳（メタデータ） (2023-10-10T14:06:56Z)
• Improved sampling via learned diffusions [8.916420423563478]
  近年,制御拡散過程を用いた対象分布からの深層学習に基づくアプローチが提案されている。 我々はこれらのアプローチを一般化されたシュリンガー橋問題(英語版)の特別な場合とみなす。 時間反転拡散過程の経路空間測度間のばらつきに基づく変分定式化を提案する。
  論文  参考訳（メタデータ） (2023-07-03T17:58:26Z)
• Sublinear Convergence Rates of Extragradient-Type Methods: A Survey on Classical and Recent Developments [12.995632804090198]
  外部分解性(EG)は、サドルポイント問題の解を近似するためのよく知られた方法である。 近年,機械学習の新たな応用やロバストな最適化により,これらの手法が普及している。 アルゴリズムの異なるクラスに対する統一収束解析を提供し、サブ線形のベストイテレートとラストイテレート収束率に重点を置いている。
  論文  参考訳（メタデータ） (2023-03-30T07:04:22Z)
• Making Substitute Models More Bayesian Can Enhance Transferability of Adversarial Examples [89.85593878754571]
  ディープニューラルネットワークにおける敵の例の転送可能性は多くのブラックボックス攻撃の欠如である。 我々は、望ましい転送可能性を達成するためにベイズモデルを攻撃することを提唱する。 我々の手法は近年の最先端を大きなマージンで上回る。
  論文  参考訳（メタデータ） (2023-02-10T07:08:13Z)
• Improving Diffusion Models for Inverse Problems using Manifold Constraints [55.91148172752894]
  我々は,現在の解法がデータ多様体からサンプルパスを逸脱し,エラーが蓄積することを示す。 この問題に対処するため、多様体の制約に着想を得た追加の補正項を提案する。 本手法は理論上も経験上も従来の方法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-06-02T09:06:10Z)
• Stochastic Gradient Descent-Ascent: Unified Theory and New Efficient Methods [73.35353358543507]
  SGDA(Gradient Descent-Ascent)は、min-max最適化と変分不等式問題(VIP)を解くための最も顕著なアルゴリズムの1つである。 本稿では,多種多様な降下指数法を網羅した統合収束解析を提案する。 本研究では,新しい分散化手法 (L-SVRGDA) や,新しい分散圧縮方式 (QSGDA, DIANA-SGDA, VR-DIANA-SGDA) ,座標ランダム化方式 (SEGA-SGDA) など,SGDAの新しい変種を開発した。
  論文  参考訳（メタデータ） (2022-02-15T09:17:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。