論文の概要: A Framework for Improving the Reliability of Black-box Variational Inference
- arxiv url: http://arxiv.org/abs/2203.15945v2
- Date: Thu, 16 May 2024 16:06:36 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-17 20:01:05.374509
- Title: A Framework for Improving the Reliability of Black-box Variational Inference
- Title（参考訳）: ブラックボックス変分推論の信頼性向上のためのフレームワーク
- Authors: Manushi Welandawe, Michael Riis Andersen, Aki Vehtari, Jonathan H. Huggins,
- Abstract要約: Black-box Variational Inference (BBVI)は、機械学習と統計学で広く使われている。
本稿では,BBVI最適化の信頼性向上のためのフレームワークであるRobust and Automated Black-box VI (RABVI)を提案する。
RABVIは、厳格に正当化された自動化技術に基づいており、少数の直感的なチューニングパラメータを含み、最適な変分近似の不正確な推定を検出する。
- 参考スコア（独自算出の注目度）: 9.621959865172549
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Black-box variational inference (BBVI) now sees widespread use in machine learning and statistics as a fast yet flexible alternative to Markov chain Monte Carlo methods for approximate Bayesian inference. However, stochastic optimization methods for BBVI remain unreliable and require substantial expertise and hand-tuning to apply effectively. In this paper, we propose Robust and Automated Black-box VI (RABVI), a framework for improving the reliability of BBVI optimization. RABVI is based on rigorously justified automation techniques, includes just a small number of intuitive tuning parameters, and detects inaccurate estimates of the optimal variational approximation. RABVI adaptively decreases the learning rate by detecting convergence of the fixed--learning-rate iterates, then estimates the symmetrized Kullback--Leibler (KL) divergence between the current variational approximation and the optimal one. It also employs a novel optimization termination criterion that enables the user to balance desired accuracy against computational cost by comparing (i) the predicted relative decrease in the symmetrized KL divergence if a smaller learning were used and (ii) the predicted computation required to converge with the smaller learning rate. We validate the robustness and accuracy of RABVI through carefully designed simulation studies and on a diverse set of real-world model and data examples.
- Abstract（参考訳）: Black-box Variational Inference (BBVI) は、マルコフ連鎖モンテカルロ法の高速かつ柔軟な代替手段として機械学習や統計学で広く使われている。
しかし、BBVIの確率的最適化手法は信頼性が低く、効果的に適用するにはかなりの専門知識と手作業が必要である。
本稿では,BBVI最適化の信頼性向上のためのフレームワークであるRobust and Automated Black-box VI (RABVI)を提案する。
RABVIは、厳格に正当化された自動化技術に基づいており、少数の直感的なチューニングパラメータを含み、最適な変分近似の不正確な推定を検出する。
RABVIは、固定学習率の反復率の収束を検出して学習率を適応的に減少させ、次に、現在の変動近似と最適な近似との対称性付きKullback--Leibler(KL)の偏差を推定する。
また、ユーザが求める精度と計算コストのバランスをとることができる新しい最適化終端基準も採用している。
i) 学習が小さい場合, 対称性付きKL分岐の相対的減少が予測される。
(2)より少ない学習率に収束するために必要な予測計算。
本研究では,RABVIのロバスト性と精度を,慎重に設計したシミュレーション研究と,実世界モデルとデータ例の多種多様なセットに基づいて検証する。
関連論文リスト
- A Stochastic Approach to Bi-Level Optimization for Hyperparameter Optimization and Meta Learning [74.80956524812714]
我々は,現代のディープラーニングにおいて広く普及している一般的なメタ学習問題に対処する。
これらの問題は、しばしばBi-Level Optimizations (BLO)として定式化される。
我々は,与えられたBLO問題を,内部損失関数が滑らかな分布となり,外損失が内部分布に対する期待損失となるようなii最適化に変換することにより,新たな視点を導入する。
論文 参考訳（メタデータ） (2024-10-14T12:10:06Z) - A constrained optimization approach to improve robustness of neural networks [1.2338729811609355]
クリーンなデータに対する精度を維持しつつ、敵攻撃に対する堅牢性を向上させるために、ファインチューン事前学習ニューラルネットワークに対する非線形プログラミングに基づく新しいアプローチを提案する。
論文 参考訳（メタデータ） (2024-09-18T18:37:14Z) - Gradient-free variational learning with conditional mixture networks [39.827869318925494]
条件付き混合ネットワーク(CMN)は、高速で勾配のない推論に適しており、複雑な分類タスクを解くことができる。
UCIレポジトリから標準ベンチマークで2層CMNをトレーニングすることで、このアプローチを検証する。
提案手法であるCAVI-CMNは,バックプロパゲーションを伴う最大推定値(MLE)と比較して,競合的かつしばしば優れた予測精度を実現する。
論文 参考訳（メタデータ） (2024-08-29T10:43:55Z) - Calibrating Neural Simulation-Based Inference with Differentiable
Coverage Probability [50.44439018155837]
ニューラルモデルのトレーニング目的に直接キャリブレーション項を含めることを提案する。
古典的なキャリブレーション誤差の定式化を緩和することにより、エンドツーエンドのバックプロパゲーションを可能にする。
既存の計算パイプラインに直接適用でき、信頼性の高いブラックボックス後部推論が可能である。
論文 参考訳（メタデータ） (2023-10-20T10:20:45Z) - Manifold Gaussian Variational Bayes on the Precision Matrix [70.44024861252554]
複雑なモデルにおける変分推論(VI)の最適化アルゴリズムを提案する。
本研究では,変分行列上の正定値制約を満たすガウス変分推論の効率的なアルゴリズムを開発した。
MGVBPはブラックボックスの性質のため、複雑なモデルにおけるVIのための準備が整ったソリューションである。
論文 参考訳（メタデータ） (2022-10-26T10:12:31Z) - Scalable Stochastic Parametric Verification with Stochastic Variational
Smoothed Model Checking [1.5293427903448025]
平滑モデル検査 (smMC) は, パラメータ空間全体の満足度関数を, 限られた観測値から推定することを目的としている。
本稿では,確率論的機械学習の最近の進歩を利用して,この限界を推し進める。
構成された満足度関数のスケーラビリティ,計算効率,精度を調べた結果,smMCとSV-smMCの性能を比較した。
論文 参考訳（メタデータ） (2022-05-11T10:43:23Z) - A Free Lunch with Influence Functions? Improving Neural Network
Estimates with Concepts from Semiparametric Statistics [41.99023989695363]
ニューラルネットワークや機械学習アルゴリズムの改善に使用される半パラメトリック理論の可能性を探る。
本稿では,単一アーキテクチャを用いてアンサンブルの柔軟性と多様性を求めるニューラルネットワーク手法であるMultiNetを提案する。
論文 参考訳（メタデータ） (2022-02-18T09:35:51Z) - Learning to Estimate Without Bias [57.82628598276623]
ガウスの定理は、重み付き最小二乗推定器は線形モデルにおける線形最小分散アンバイアスド推定(MVUE)であると述べている。
本稿では、バイアス制約のあるディープラーニングを用いて、この結果を非線形設定に拡張する第一歩を踏み出す。
BCEの第二の動機は、同じ未知の複数の推定値が平均化されてパフォーマンスが向上するアプリケーションにおいてである。
論文 参考訳（メタデータ） (2021-10-24T10:23:51Z) - Variational Refinement for Importance Sampling Using the Forward
Kullback-Leibler Divergence [77.06203118175335]
変分推論(VI)はベイズ推論における正確なサンプリングの代替として人気がある。
重要度サンプリング(IS)は、ベイズ近似推論手順の推定を微調整し、偏りを逸脱するためにしばしば用いられる。
近似ベイズ推論のための最適化手法とサンプリング手法の新たな組み合わせを提案する。
論文 参考訳（メタデータ） (2021-06-30T11:00:24Z) - Learning Prediction Intervals for Regression: Generalization and
Calibration [12.576284277353606]
不確実性定量のための回帰における予測間隔の生成について検討する。
我々は一般学習理論を用いて、リプシッツ連続性とVC-サブグラフクラスを含む最適性と実現可能性のトレードオフを特徴づける。
我々は既存のベンチマークと比べてテスト性能の点で、区間生成とキャリブレーションアルゴリズムの強みを実証的に示している。
論文 参考訳（メタデータ） (2021-02-26T17:55:30Z) - Evaluating probabilistic classifiers: Reliability diagrams and score
decompositions revisited [68.8204255655161]
確率的に統計的に一貫性があり、最適に結合し、再現可能な信頼性図を自動生成するCORP手法を導入する。
コーパスは非パラメトリックアイソトニック回帰に基づいており、プール・アジャセント・ヴァイオレータ(PAV)アルゴリズムによって実装されている。
論文 参考訳（メタデータ） (2020-08-07T08:22:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。