論文の概要: Langevin Diffusion Variational Inference

• arxiv url: http://arxiv.org/abs/2208.07743v2
• Date: Thu, 23 Mar 2023 13:54:52 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-24 18:38:55.153824
• Title: Langevin Diffusion Variational Inference
• Title（参考訳）: ランゲヴィン拡散変動推定
• Authors: Tomas Geffner and Justin Domke
• Abstract要約: 既存の手法を統一し一般化する単一の分析を行う。 主な考え方は、アンダーダムのランゲヴィン拡散過程を数値シミュレーションすることで目標と変動を増大させることである。 本稿では,既存のアルゴリズムの強みを組み合わせた新しい手法を提案する。
• 参考スコア（独自算出の注目度）: 38.73307745906571
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Many methods that build powerful variational distributions based on unadjusted Langevin transitions exist. Most of these were developed using a wide range of different approaches and techniques. Unfortunately, the lack of a unified analysis and derivation makes developing new methods and reasoning about existing ones a challenging task. We address this giving a single analysis that unifies and generalizes these existing techniques. The main idea is to augment the target and variational by numerically simulating the underdamped Langevin diffusion process and its time reversal. The benefits of this approach are twofold: it provides a unified formulation for many existing methods, and it simplifies the development of new ones. In fact, using our formulation we propose a new method that combines the strengths of previously existing algorithms; it uses underdamped Langevin transitions and powerful augmentations parameterized by a score network. Our empirical evaluation shows that our proposed method consistently outperforms relevant baselines in a wide range of tasks.
• Abstract（参考訳）: 無調整ランゲヴィン転移に基づく強力な変分分布を構築する多くの方法が存在する。 これらの多くは、幅広い異なるアプローチと技術を用いて開発された。 残念ながら、統一的な分析と導出の欠如は、新しいメソッドの開発と既存のメソッドに対する推論を困難なタスクにする。 我々は、これらの既存のテクニックを統一し、一般化する単一の分析を提供する。 主な考え方は、アンダーダムのランゲヴィン拡散過程とその時間反転を数値シミュレーションすることで目標と変動を増大させることである。 このアプローチの利点は2つある: 既存の多くのメソッドに統一的な定式化を提供し、新しいメソッドの開発を単純化する。 実際、我々の定式化を用いて、既存のアルゴリズムの強みを組み合わせた新しい手法を提案する。 我々の経験的評価は,提案手法が幅広いタスクにおいて,関連するベースラインを一貫して上回ることを示す。

関連論文リスト

• Variational empirical Bayes variable selection in high-dimensional logistic regression [2.4032899110671955]
  我々は,その新しい,計算効率の良い変分近似を開発した。 そのようなノベルティの1つは、回帰係数自身ではなく、モデル空間上の辺分布に対してこの近似を直接発展させることである。 シミュレーションにおいて,本手法の強い性能を実証し,我々の変分近似が近似している後部分布で満たされる強い選択整合性を引き継ぐことを証明した。
  論文  参考訳（メタデータ） (2025-02-14T19:57:13Z)
• Diffusing Differentiable Representations [60.72992910766525]
  本稿では,事前学習した拡散モデルを用いて,微分可能な表現(拡散)をサンプリングする,新しい学習自由な手法を提案する。 差分によって引き起こされるサンプルに対する暗黙の制約を特定し、この制約に対処することで、生成されたオブジェクトの一貫性と詳細が大幅に改善されることを示す。
  論文  参考訳（メタデータ） (2024-12-09T20:42:58Z)
• Adversarial Schrödinger Bridge Matching [66.39774923893103]
  反復マルコフフィッティング(IMF)手順は、マルコフ過程の相互射影と相互射影を交互に交互に行う。 本稿では、プロセスの学習を離散時間でほんの少しの遷移確率の学習に置き換える新しい離散時間IMF(D-IMF)手順を提案する。 D-IMFの手続きは、数百ではなく数世代のステップで、IMFと同じ品質の未完成のドメイン翻訳を提供できることを示す。
  論文  参考訳（メタデータ） (2024-05-23T11:29:33Z)
• ODE Discovery for Longitudinal Heterogeneous Treatment Effects Inference [69.24516189971929]
  本稿では, 閉形式常微分方程式(ODE)という, 縦条件下での新しい解法を提案する。 私たちはまだODEを学ぶために継続的な最適化に依存していますが、結果として生じる推論マシンはもはやニューラルネットワークではありません。
  論文  参考訳（メタデータ） (2024-03-16T02:07:45Z)
• Improved sampling via learned diffusions [8.916420423563478]
  近年,制御拡散過程を用いた対象分布からの深層学習に基づくアプローチが提案されている。 我々はこれらのアプローチを一般化されたシュリンガー橋問題(英語版)の特別な場合とみなす。 時間反転拡散過程の経路空間測度間のばらつきに基づく変分定式化を提案する。
  論文  参考訳（メタデータ） (2023-07-03T17:58:26Z)
• Sublinear Convergence Rates of Extragradient-Type Methods: A Survey on Classical and Recent Developments [12.995632804090198]
  外部分解性(EG)は、サドルポイント問題の解を近似するためのよく知られた方法である。 近年,機械学習の新たな応用やロバストな最適化により,これらの手法が普及している。 アルゴリズムの異なるクラスに対する統一収束解析を提供し、サブ線形のベストイテレートとラストイテレート収束率に重点を置いている。
  論文  参考訳（メタデータ） (2023-03-30T07:04:22Z)
• Improving Diffusion Models for Inverse Problems using Manifold Constraints [55.91148172752894]
  我々は,現在の解法がデータ多様体からサンプルパスを逸脱し,エラーが蓄積することを示す。 この問題に対処するため、多様体の制約に着想を得た追加の補正項を提案する。 本手法は理論上も経験上も従来の方法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-06-02T09:06:10Z)
• Stochastic Gradient Descent-Ascent: Unified Theory and New Efficient Methods [73.35353358543507]
  SGDA(Gradient Descent-Ascent)は、min-max最適化と変分不等式問題(VIP)を解くための最も顕著なアルゴリズムの1つである。 本稿では,多種多様な降下指数法を網羅した統合収束解析を提案する。 本研究では,新しい分散化手法 (L-SVRGDA) や,新しい分散圧縮方式 (QSGDA, DIANA-SGDA, VR-DIANA-SGDA) ,座標ランダム化方式 (SEGA-SGDA) など,SGDAの新しい変種を開発した。
  論文  参考訳（メタデータ） (2022-02-15T09:17:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。