論文の概要: Amortized Variational Inference: A Systematic Review

• arxiv url: http://arxiv.org/abs/2209.10888v2
• Date: Tue, 24 Oct 2023 07:26:52 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-26 03:40:38.426220
• Title: Amortized Variational Inference: A Systematic Review
• Title（参考訳）: Amortized Variational Inference: A Systematic Review
• Authors: Ankush Ganguly, Sanjana Jain, and Ukrit Watchareeruetai
• Abstract要約: 変分推論(VI)の中核となる原理は、複雑な後続確率密度の統計的推論問題を、トラクタブルな最適化問題に変換することである。 従来のVIアルゴリズムは大規模データセットには拡張性がなく、データポイントのアウトオブバウンドを容易に推測できない。 ブラックボックスやアモールタイズVIのようなこの分野の最近の進歩は、これらの問題に対処するのに役立っている。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The core principle of Variational Inference (VI) is to convert the statistical inference problem of computing complex posterior probability densities into a tractable optimization problem. This property enables VI to be faster than several sampling-based techniques. However, the traditional VI algorithm is not scalable to large data sets and is unable to readily infer out-of-bounds data points without re-running the optimization process. Recent developments in the field, like stochastic-, black box-, and amortized-VI, have helped address these issues. Generative modeling tasks nowadays widely make use of amortized VI for its efficiency and scalability, as it utilizes a parameterized function to learn the approximate posterior density parameters. In this paper, we review the mathematical foundations of various VI techniques to form the basis for understanding amortized VI. Additionally, we provide an overview of the recent trends that address several issues of amortized VI, such as the amortization gap, generalization issues, inconsistent representation learning, and posterior collapse. Finally, we analyze alternate divergence measures that improve VI optimization.
• Abstract（参考訳）: 変分推論(VI)の中核となる原理は、複雑な後続確率密度の統計的推論問題をトラクタブルな最適化問題に変換することである。 この特性により、VIは複数のサンプリングベース技術よりも高速になる。 しかし、従来のVIアルゴリズムは大規模データセットには拡張性がなく、最適化プロセスを再実行することなく容易に境界外データポイントを推測できない。 ストーシャスティック、ブラックボックス、アモールタイズVIといったこの分野の最近の発展は、これらの問題に対処するのに役立っている。 生成的モデリングタスクは、パラメータ化関数を用いて近似後続密度パラメータを学習するため、その効率と拡張性にアモータイズVIを広く利用している。 本稿では、様々なVI技法の数学的基礎を概観し、VIの解釈の基礎を形成する。 さらに, 償却ギャップ, 一般化問題, 不整合表現学習, 後方崩壊など, 償却viの諸問題に対処した最近の傾向について概説する。 最後に、VI 最適化を改善するための交互分散手法を解析する。

関連論文リスト

• ASPIRE: Iterative Amortized Posterior Inference for Bayesian Inverse Problems [0.974963895316339]
  機械学習と変分推論(VI)の新たな進歩は、例から学ぶことによって計算障壁を下げた。 異なるトレードオフを表す2つのVIパラダイムが登場した。 我々は,同じネットワークアーキテクチャとトレーニングデータを用いて,償却後部を反復的に改善するソリューションを提案する。
  論文  参考訳（メタデータ） (2024-05-08T20:03:12Z)
• Efficient Training of Probabilistic Neural Networks for Survival Analysis [0.6437284704257459]
  変分推論(VI)は、ディープラーニングモデルにおけるベイズ推定と不確実性推定によく用いられる手法である。 これは、不確実性を表すためにトレーニング可能なパラメータの数を2倍にするため、計算コストがかかる。 本研究では,モデル複雑性のオーバーヘッドを増大させることなく,大規模データセットの深層確率的生存モデルをトレーニングする方法を検討する。
  論文  参考訳（メタデータ） (2024-04-09T16:10:39Z)
• Functional Graphical Models: Structure Enables Offline Data-Driven Optimization [121.57202302457135]
  構造がサンプル効率のよいデータ駆動最適化を実現する方法を示す。 また、FGM構造自体を推定するデータ駆動最適化アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-01-08T22:33:14Z)
• PAVI: Plate-Amortized Variational Inference [55.975832957404556]
  数百人の被験者のコホート上で何百万もの計測が行われる大集団研究において、推論は困難である。 この大きな濃度は、オフザシェルフ変分推論(VI)を計算的に非現実的である。 本研究では,大集団研究に効率よく取り組む構造VIファミリーを設計する。
  論文  参考訳（メタデータ） (2023-08-30T13:22:20Z)
• Manifold Gaussian Variational Bayes on the Precision Matrix [70.44024861252554]
  複雑なモデルにおける変分推論(VI)の最適化アルゴリズムを提案する。 本研究では,変分行列上の正定値制約を満たすガウス変分推論の効率的なアルゴリズムを開発した。 MGVBPはブラックボックスの性質のため、複雑なモデルにおけるVIのための準備が整ったソリューションである。
  論文  参考訳（メタデータ） (2022-10-26T10:12:31Z)
• Bernstein Flows for Flexible Posteriors in Variational Bayes [0.0]
  変分推論(VI)は、最適化によって後部を計算するのが難しい手法である。 本稿では,Bernstein Flow Variational Inference (BF-VI)を提案する。
  論文  参考訳（メタデータ） (2022-02-11T14:45:52Z)
• Relay Variational Inference: A Method for Accelerated Encoderless VI [47.72653430712088]
  Relay VIは、エンコーダレスVIの収束と性能を劇的に改善するフレームワークである。 本稿では、収束速度、損失、表現力、欠落データ計算におけるRVIの有効性について検討する。
  論文  参考訳（メタデータ） (2021-10-26T05:48:00Z)
• Regularizing Variational Autoencoder with Diversity and Uncertainty Awareness [61.827054365139645]
  変分オートエンコーダ(VAE)は、償却変分推論に基づいて潜伏変数の後部を近似する。 よりディバースで不確実な潜在空間を学習するための代替モデルDU-VAEを提案する。
  論文  参考訳（メタデータ） (2021-10-24T07:58:13Z)
• An Introduction to Variational Inference [0.0]
  本稿では,変分推論(VI)の概念を紹介する。 VIは、最適化技術を用いて複雑な確率密度を推定する機械学習で一般的な方法である。 可変オートエンコーダ(VAE)とVAE-Generative Adversarial Network(VAE-GAN)へのVIの適用について論じる。
  論文  参考訳（メタデータ） (2021-08-30T09:40:04Z)
• Meta-Learning Divergences of Variational Inference [49.164944557174294]
  変分推論(VI)は、近似ベイズ推論において重要な役割を果たす。 本稿では,興味ある課題に適した分散度を学習するためのメタ学習アルゴリズムを提案する。 提案手法はガウス混合分布近似の標準VIより優れていることを示す。
  論文  参考訳（メタデータ） (2020-07-06T17:43:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。