論文の概要: Advances in Black-Box VI: Normalizing Flows, Importance Weighting, and Optimization

• arxiv url: http://arxiv.org/abs/2006.10343v2
• Date: Fri, 23 Oct 2020 21:39:50 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-19 12:40:17.056112
• Title: Advances in Black-Box VI: Normalizing Flows, Importance Weighting, and Optimization
• Title（参考訳）: Black-Box VI: フローの正規化、重要度、最適化
• Authors: Abhinav Agrawal, Daniel Sheldon, and Justin Domke
• Abstract要約: Stanモデルライブラリの30モデルのベンチマークで,最適化,フロー,モンテカルロ法に関連するコンポーネントを評価した。 これらのアルゴリズムコンポーネントの組み合わせは、最先端の"アウト・オブ・ザ・ボックス(out of the box)"変分推論を著しく向上させる。
• 参考スコア（独自算出の注目度）: 29.129337508312076
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent research has seen several advances relevant to black-box VI, but the current state of automatic posterior inference is unclear. One such advance is the use of normalizing flows to define flexible posterior densities for deep latent variable models. Another direction is the integration of Monte-Carlo methods to serve two purposes; first, to obtain tighter variational objectives for optimization, and second, to define enriched variational families through sampling. However, both flows and variational Monte-Carlo methods remain relatively unexplored for black-box VI. Moreover, on a pragmatic front, there are several optimization considerations like step-size scheme, parameter initialization, and choice of gradient estimators, for which there are no clear guidance in the existing literature. In this paper, we postulate that black-box VI is best addressed through a careful combination of numerous algorithmic components. We evaluate components relating to optimization, flows, and Monte-Carlo methods on a benchmark of 30 models from the Stan model library. The combination of these algorithmic components significantly advances the state-of-the-art "out of the box" variational inference.
• Abstract（参考訳）: 近年,ブラックボックスVIに関連するいくつかの進歩が報告されているが,自動後部推論の現状は不明である。 そのような進歩の1つは、深い潜伏変数モデルに対するフレキシブルな後続密度を定義するためにフローを正規化することである。 もう一つの方向はモンテカルロ法の統合であり、第一に最適化のためのより厳密な変分目的を得るため、第二にサンプリングを通してリッチな変分族を定義するためである。 しかし、ブラックボックスVIでは、フローと変分モンテカルロ法の両方が比較的研究されていない。 さらに, 現実的な観点からは, ステップサイズスキーム, パラメータ初期化, 勾配推定器の選択など, 既存の文献に明確なガイダンスが存在しない最適化がいくつかある。 本稿では,ブラックボックスVIが,多数のアルゴリズム成分を慎重に組み合わせることで,最適に対処できることを仮定する。 stanモデルライブラリの30モデルのベンチマークにおいて,最適化,フロー,モンテカルロ法に関連するコンポーネントを評価した。 これらのアルゴリズムコンポーネントの組み合わせは、最先端の"アウト・オブ・ザ・ボックス"変分推論を著しく前進させる。

関連論文リスト

• Recursive Learning of Asymptotic Variational Objectives [49.69399307452126]
  一般状態空間モデル(英: General State-space Model, SSM)は、統計機械学習において広く用いられ、時系列データに対して最も古典的な生成モデルの一つである。 オンラインシーケンシャルIWAE(OSIWAE)は、潜在状態の推測のためのモデルパラメータとマルコフ認識モデルの両方のオンライン学習を可能にする。 このアプローチは、最近提案されたオンライン変分SMC法よりも理論的によく確立されている。
  論文  参考訳（メタデータ） (2024-11-04T16:12:37Z)
• Annealed Stein Variational Gradient Descent for Improved Uncertainty Estimation in Full-Waveform Inversion [25.714206592953545]
  変分推論 (VI) は、パラメトリックまたは非パラメトリックな提案分布の形で後部分布に近似的な解を与える。 本研究は、フルウェーブフォーム・インバージョンにおけるVIの性能向上を目的としている。
  論文  参考訳（メタデータ） (2024-10-17T06:15:26Z)
• You Only Accept Samples Once: Fast, Self-Correcting Stochastic Variational Inference [0.0]
  YOASOVI(ヨアソビ)は、ベイズ系大規模モデルにおける変分推論(VI)の高速で自己補正的な直観最適化を行うアルゴリズムである。 これを実現するために、各イテレーションで VI に使用される目的関数について利用可能な情報を活用し、通常のモンテカルロサンプリングを受け入れサンプリングに置き換える。
  論文  参考訳（メタデータ） (2024-06-05T01:28:53Z)
• Model Ensembling for Constrained Optimization [7.4351710906830375]
  下流最適化に使用される多次元出力予測のためのモデルを組み立てたいという設定について検討する。 より正確には、状態空間を多次元実数値予測にマッピングする多くのモデルが与えられていると想像する。 これらの予測は、指定された制約の下で最適化したい線形対象の係数を形成する。 証明可能かつ収束性の高い2つのアルゴリズムに導かれる多重校正手法を適用した。
  論文  参考訳（メタデータ） (2024-05-27T01:48:07Z)
• PMBO: Enhancing Black-Box Optimization through Multivariate Polynomial Surrogates [0.0]
  我々は、PMBO(Polynomial-based Optimization)と呼ばれるサロゲートベースのブラックボックス最適化手法を導入する。 PMBOの性能を解析的テスト関数の集合に対するいくつかの最適化手法と比較する。 興味深いことに、PMBOは最先端の進化アルゴリズムと互換性がある。
  論文  参考訳（メタデータ） (2024-03-12T10:21:21Z)
• Moreau Envelope ADMM for Decentralized Weakly Convex Optimization [55.2289666758254]
  本稿では,分散最適化のための乗算器の交互方向法(ADMM)の近位変種を提案する。 数値実験の結果,本手法は広く用いられている手法よりも高速かつ堅牢であることが示された。
  論文  参考訳（メタデータ） (2023-08-31T14:16:30Z)
• Variational Laplace Autoencoders [53.08170674326728]
  変分オートエンコーダは、遅延変数の後部を近似するために、償却推論モデルを用いる。 完全分解ガウス仮定の限定的後部表現性に対処する新しい手法を提案する。 また、深部生成モデルのトレーニングのための変分ラプラスオートエンコーダ(VLAE)という一般的なフレームワークも提示する。
  論文  参考訳（メタデータ） (2022-11-30T18:59:27Z)
• Manifold Gaussian Variational Bayes on the Precision Matrix [70.44024861252554]
  複雑なモデルにおける変分推論(VI)の最適化アルゴリズムを提案する。 本研究では,変分行列上の正定値制約を満たすガウス変分推論の効率的なアルゴリズムを開発した。 MGVBPはブラックボックスの性質のため、複雑なモデルにおけるVIのための準備が整ったソリューションである。
  論文  参考訳（メタデータ） (2022-10-26T10:12:31Z)
• Quasi Black-Box Variational Inference with Natural Gradients for Bayesian Learning [84.90242084523565]
  複素モデルにおけるベイズ学習に適した最適化アルゴリズムを開発した。 我々のアプローチは、モデル固有導出に制限のある効率的なトレーニングのための一般的なブラックボックスフレームワーク内の自然な勾配更新に依存している。
  論文  参考訳（メタデータ） (2022-05-23T18:54:27Z)
• Robust, Accurate Stochastic Optimization for Variational Inference [68.83746081733464]
  また, 共通最適化手法は, 問題が適度に大きい場合, 変分近似の精度が低下することを示した。 これらの結果から,基礎となるアルゴリズムをマルコフ連鎖の生成とみなして,より堅牢で正確な最適化フレームワークを開発する。
  論文  参考訳（メタデータ） (2020-09-01T19:12:11Z)
• dMFEA-II: An Adaptive Multifactorial Evolutionary Algorithm for Permutation-based Discrete Optimization Problems [6.943742860591444]
  本稿では、最近導入されたMFEA-II(Multifactorial Evolutionary Algorithm II)を、置換に基づく離散環境に適用する。 提案手法の性能を5種類のマルチタスク設定で評価した。
  論文  参考訳（メタデータ） (2020-04-14T14:42:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。