論文の概要: Robust, Automated, and Accurate Black-box Variational Inference
- arxiv url: http://arxiv.org/abs/2203.15945v1
- Date: Tue, 29 Mar 2022 23:05:40 GMT
- ステータス: 処理完了
- システム内更新日: 2022-03-31 14:22:51.108128
- Title: Robust, Automated, and Accurate Black-box Variational Inference
- Title(参考訳): ブラックボックス変分推論のロバスト、自動、高精度化
- Authors: Manushi Welandawe, Michael Riis Andersen, Aki Vehtari, Jonathan H.
Huggins
- Abstract要約: Black-box Variational Inference (BBVI)は、機械学習と統計学で広く使われている。
信頼性のあるBBVI最適化のためのフレームワークであるRSABBVIを提案する。
- 参考スコア(独自算出の注目度): 14.057115803109253
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Black-box variational inference (BBVI) now sees widespread use in machine
learning and statistics as a fast yet flexible alternative to Markov chain
Monte Carlo methods for approximate Bayesian inference. However, stochastic
optimization methods for BBVI remain unreliable and require substantial
expertise and hand-tuning to apply effectively. In this paper, we propose
Robust, Automated, and Accurate BBVI (RAABBVI), a framework for reliable BBVI
optimization. RAABBVI is based on rigorously justified automation techniques,
includes just a small number of intuitive tuning parameters, and detects
inaccurate estimates of the optimal variational approximation. RAABBVI
adaptively decreases the learning rate by detecting convergence of the
fixed--learning-rate iterates, then estimates the symmetrized Kullback--Leiber
(KL) divergence between the current variational approximation and the optimal
one. It also employs a novel optimization termination criterion that enables
the user to balance desired accuracy against computational cost by comparing
(i) the predicted relative decrease in the symmetrized KL divergence if a
smaller learning were used and (ii) the predicted computation required to
converge with the smaller learning rate. We validate the robustness and
accuracy of RAABBVI through carefully designed simulation studies and on a
diverse set of real-world model and data examples.
- Abstract(参考訳): Black-box Variational Inference (BBVI) は、マルコフ連鎖モンテカルロ法の高速かつ柔軟な代替手段として機械学習や統計学で広く使われている。
しかし、BBVIの確率的最適化手法は信頼性が低く、効果的に適用するにはかなりの専門知識と手作業が必要である。
本稿では,信頼性のあるBBVI最適化フレームワークであるRobust, Automated, and Accurate BBVI (RAABBVI)を提案する。
raabbviは厳密に正当化された自動化技術に基づいており、少数の直感的なチューニングパラメータを含み、最適な変分近似の不正確な推定を検出する。
RAABBVIは、固定学習率の反復率の収束を検出して学習率を適応的に減少させ、次に、現在の変動近似と最適な近似との対称性を推定する。
また、ユーザが求める精度と計算コストのバランスを比較できる、新しい最適化終了基準も採用している。
(i)より小さな学習を用いた場合の対称性kl発散の相対的減少の予測と予測
(ii)より少ない学習率で収束するために必要な予測計算。
本研究では, RAABBVIのロバスト性および精度を, 慎重に設計したシミュレーション研究と, 実世界モデルとデータ例の多種多様なセットに基づいて検証する。
関連論文リスト
- Towards Understanding Variants of Invariant Risk Minimization through
the Lens of Calibration [0.8158530638728501]
実世界のアプリケーションでは、テスト分布はトレーニングとは異なることが多い。
不変リスク最小化(Invariant Risk Minimization)は、異なる環境間で不変な特徴を特定し、アウト・オブ・ディストリビューションを強化することを目的としている。
本研究では,これらの近似IRM手法について検討し,予測誤差(ECE)を指標として検討した。
論文 参考訳(メタデータ) (2024-01-31T02:08:43Z) - Adaptive operator learning for infinite-dimensional Bayesian inverse
problems [8.672948020721945]
本研究では,局所的に精度の高いサロゲートを強制することによって,モデリングエラーを段階的に低減できる適応型演算子学習フレームワークを開発した。
UKIフレームワークを用いて線形の場合において厳密な収束を保証する。
その結果,逆精度を維持しながら計算コストを大幅に削減できることがわかった。
論文 参考訳(メタデータ) (2023-10-27T01:50:33Z) - Calibrating Neural Simulation-Based Inference with Differentiable
Coverage Probability [50.44439018155837]
ニューラルモデルのトレーニング目的に直接キャリブレーション項を含めることを提案する。
古典的なキャリブレーション誤差の定式化を緩和することにより、エンドツーエンドのバックプロパゲーションを可能にする。
既存の計算パイプラインに直接適用でき、信頼性の高いブラックボックス後部推論が可能である。
論文 参考訳(メタデータ) (2023-10-20T10:20:45Z) - Boosted Control Functions [10.503777692702952]
本研究の目的は,因果効果推定と予測タスクのギャップを埋めることである。
我々は,機械学習の分布場と同時方程式モデル,およびエコノメティクスの制御関数との新たな接続を確立する。
このフレームワーク内では、予測モデルに対する不変性の強い概念を提案し、それを既存の(ウィーカー)バージョンと比較する。
論文 参考訳(メタデータ) (2023-10-09T15:43:46Z) - Learning to Estimate Without Bias [57.82628598276623]
ガウスの定理は、重み付き最小二乗推定器は線形モデルにおける線形最小分散アンバイアスド推定(MVUE)であると述べている。
本稿では、バイアス制約のあるディープラーニングを用いて、この結果を非線形設定に拡張する第一歩を踏み出す。
BCEの第二の動機は、同じ未知の複数の推定値が平均化されてパフォーマンスが向上するアプリケーションにおいてである。
論文 参考訳(メタデータ) (2021-10-24T10:23:51Z) - Variational Inference with NoFAS: Normalizing Flow with Adaptive
Surrogate for Computationally Expensive Models [7.217783736464403]
マルコフ連鎖モンテカルロのようなサンプリングに基づくアプローチの使用は、それぞれの可能性評価が計算的に高価であるときに難解になる可能性がある。
変分推論と正規化フローを組み合わせた新しいアプローチは、潜在変数空間の次元と線形にしか成長しない計算コストによって特徴づけられる。
本稿では,ニューラルネットワークサロゲートモデルの正規化フローパラメータと重みを代わりに更新する最適化戦略である,適応サロゲートを用いた正規化フロー(NoFAS)を提案する。
論文 参考訳(メタデータ) (2021-08-28T14:31:45Z) - Variational Refinement for Importance Sampling Using the Forward
Kullback-Leibler Divergence [77.06203118175335]
変分推論(VI)はベイズ推論における正確なサンプリングの代替として人気がある。
重要度サンプリング(IS)は、ベイズ近似推論手順の推定を微調整し、偏りを逸脱するためにしばしば用いられる。
近似ベイズ推論のための最適化手法とサンプリング手法の新たな組み合わせを提案する。
論文 参考訳(メタデータ) (2021-06-30T11:00:24Z) - Learning Prediction Intervals for Regression: Generalization and
Calibration [12.576284277353606]
不確実性定量のための回帰における予測間隔の生成について検討する。
我々は一般学習理論を用いて、リプシッツ連続性とVC-サブグラフクラスを含む最適性と実現可能性のトレードオフを特徴づける。
我々は既存のベンチマークと比べてテスト性能の点で、区間生成とキャリブレーションアルゴリズムの強みを実証的に示している。
論文 参考訳(メタデータ) (2021-02-26T17:55:30Z) - Amortized Conditional Normalized Maximum Likelihood: Reliable Out of
Distribution Uncertainty Estimation [99.92568326314667]
本研究では,不確実性推定のための拡張性のある汎用的アプローチとして,償却条件正規化最大値(ACNML)法を提案する。
提案アルゴリズムは条件付き正規化最大度(CNML)符号化方式に基づいており、最小記述長の原理に従って最小値の最適特性を持つ。
我々は、ACNMLが、分布外入力のキャリブレーションの観点から、不確実性推定のための多くの手法と好意的に比較することを示した。
論文 参考訳(メタデータ) (2020-11-05T08:04:34Z) - Evaluating Prediction-Time Batch Normalization for Robustness under
Covariate Shift [81.74795324629712]
我々は予測時間バッチ正規化と呼び、共変量シフト時のモデル精度とキャリブレーションを大幅に改善する。
予測時間バッチ正規化は、既存の最先端アプローチに相補的な利点をもたらし、ロバスト性を向上させることを示します。
この手法は、事前トレーニングと併用して使用すると、さまざまな結果が得られるが、より自然なタイプのデータセットシフトでは、パフォーマンスが良くないようだ。
論文 参考訳(メタデータ) (2020-06-19T05:08:43Z) - Instability, Computational Efficiency and Statistical Accuracy [101.32305022521024]
我々は,人口レベルでのアルゴリズムの決定論的収束率と,$n$サンプルに基づく経験的対象に適用した場合の(不安定性)の間の相互作用に基づいて,統計的精度を得るフレームワークを開発する。
本稿では,ガウス混合推定,非線形回帰モデル,情報的非応答モデルなど,いくつかの具体的なモデルに対する一般結果の応用について述べる。
論文 参考訳(メタデータ) (2020-05-22T22:30:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。