論文の概要: Projective Integral Updates for High-Dimensional Variational Inference
- arxiv url: http://arxiv.org/abs/2301.08374v2
- Date: Fri, 8 Sep 2023 21:41:31 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-12 22:30:50.002073
- Title: Projective Integral Updates for High-Dimensional Variational Inference
- Title(参考訳): 高次元変分推論のための射影積分更新
- Authors: Jed A. Duersch
- Abstract要約: 変分推論は、完全な後部に立つパラメータの簡易分布を最適化することにより、予測の不確実性を改善することを目指している。
この研究は、任意の可能なログ密度を与えられた基底から関数の線形結合として表現できる場合に適用可能な変分推論のための固定点最適化を導入する。
QNVBのPyTorch実装は、競合する方法よりも訓練中のモデルの不確実性をよりよく制御できる。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Variational inference is an approximation framework for Bayesian inference
that seeks to improve quantified uncertainty in predictions by optimizing a
simplified distribution over parameters to stand in for the full posterior.
Capturing model variations that remain consistent with training data enables
more robust predictions by reducing parameter sensitivity. This work introduces
a fixed-point optimization for variational inference that is applicable when
every feasible log density can be expressed as a linear combination of
functions from a given basis. In such cases, the optimizer becomes a
fixed-point of projective integral updates. When the basis spans univariate
quadratics in each parameter, feasible densities are Gaussian and the
projective integral updates yield quasi-Newton variational Bayes (QNVB). Other
bases and updates are also possible. As these updates require high-dimensional
integration, this work first proposes an efficient quasirandom quadrature
sequence for mean-field distributions. Each iterate of the sequence contains
two evaluation points that combine to correctly integrate all univariate
quadratics and, if the mean-field factors are symmetric, all univariate cubics.
More importantly, averaging results over short subsequences achieves periodic
exactness on a much larger space of multivariate quadratics. The corresponding
variational updates require 4 loss evaluations with standard (not second-order)
backpropagation to eliminate error terms from over half of all multivariate
quadratic basis functions. This integration technique is motivated by first
proposing stochastic blocked mean-field quadratures, which may be useful in
other contexts. A PyTorch implementation of QNVB allows for better control over
model uncertainty during training than competing methods. Experiments
demonstrate superior generalizability for multiple learning problems and
architectures.
- Abstract(参考訳): 変分推論(英: variational inference)は、ベイズ推論の近似フレームワークであり、予測の量化の不確実性を改善するために、完全な後方に立つパラメータに対する単純な分布を最適化する。
トレーニングデータに一貫性のあるモデルのバリエーションをキャプチャすることで、パラメータの感度を下げることで、より堅牢な予測が可能になる。
本研究は,任意の対数密度を与えられた基底から関数の線形結合として表現できる場合に適用可能な変分推論のための不動点最適化を導入する。
そのような場合、オプティマイザは射影積分更新の固定点となる。
基底が各パラメータの単変分数にまたがるとき、実現可能な密度はガウスであり、射影積分の更新によって準ニュートン変分ベイズ(QNVB)が得られる。
その他のベースやアップデートも可能だ。
これらの更新は高次元積分を必要とするため、まず平均場分布に対する効率的な準ランダム二次列を提案する。
列の各イテレートは、2つの評価点を含み、すべての不定二次を正しく積分し、平均場因子が対称であればすべての不定立方体を含む。
より重要なことに、短い部分列上の平均的な結果は、多変量二次のより広い空間上の周期的完全性を達成する。
対応する変分更新は、すべての多変量基底関数の半分以上の誤差項を除去するために、標準(二階ではない)のバックプロパゲーションによる4つの損失評価を必要とする。
この積分法は、他の文脈で有用な確率的ブロックされた平均場二次体を最初に提案することによって動機付けられる。
QNVBのPyTorch実装は、競合する方法よりも訓練中のモデルの不確実性をよりよく制御できる。
実験は、複数の学習問題やアーキテクチャに対して優れた一般化性を示す。
関連論文リスト
- Structured Radial Basis Function Network: Modelling Diversity for
Multiple Hypotheses Prediction [51.82628081279621]
多重モード回帰は非定常過程の予測や分布の複雑な混合において重要である。
構造的放射基底関数ネットワークは回帰問題に対する複数の仮説予測器のアンサンブルとして提示される。
この構造モデルにより, このテッセルレーションを効率よく補間し, 複数の仮説対象分布を近似することが可能であることが証明された。
論文 参考訳(メタデータ) (2023-09-02T01:27:53Z) - Robust scalable initialization for Bayesian variational inference with
multi-modal Laplace approximations [0.0]
フル共分散構造を持つ変分混合は、パラメータ数による変動パラメータによる二次的な成長に苦しむ。
本稿では,変分推論のウォームスタートに使用できる初期ガウスモデル近似を構築する方法を提案する。
論文 参考訳(メタデータ) (2023-07-12T19:30:04Z) - Learning Unnormalized Statistical Models via Compositional Optimization [73.30514599338407]
実データと人工雑音のロジスティックな損失として目的を定式化することにより, ノイズコントラスト推定(NCE)を提案する。
本稿では,非正規化モデルの負の対数類似度を最適化するための直接的アプローチについて検討する。
論文 参考訳(メタデータ) (2023-06-13T01:18:16Z) - Exact Manifold Gaussian Variational Bayes [76.95091121622674]
複雑なモデルにおける変分推論(VI)の最適化アルゴリズムを提案する。
本研究では,変分行列上の正定値制約を暗黙的に満足するガウス変分推論の効率的なアルゴリズムを開発する。
ブラックボックスの性質のため、EMGVBは複雑なモデルにおけるVIのための準備が整ったソリューションである。
論文 参考訳(メタデータ) (2022-10-26T10:12:31Z) - Distributed Estimation and Inference for Semi-parametric Binary Response
Models [10.719978332351621]
本稿では,分散コンピューティング環境下での半パラメトリック二値選択モデルの最大スコア推定について検討する。
直感的な分割・対数推定器は計算コストが高く、機械数に対する非正規制約によって制限される。
論文 参考訳(メタデータ) (2022-10-15T23:06:46Z) - Communication-Efficient Distributed Quantile Regression with Optimal
Statistical Guarantees [2.064612766965483]
本稿では,分散量子レグレッションにおいて,厳密なスケーリング条件を伴わずに最適な推論を実現する方法の課題に対処する。
この問題は、ローカル(各データソース)とグローバルな目的関数に適用される二重平滑化アプローチによって解決される。
局所的および大域的滑らか化パラメータの微妙な組み合わせに依存するにもかかわらず、量子回帰モデルは完全にパラメトリックである。
論文 参考訳(メタデータ) (2021-10-25T17:09:59Z) - Near-Optimal High Probability Complexity Bounds for Non-Smooth
Stochastic Optimization with Heavy-Tailed Noise [63.304196997102494]
アルゴリズムが高い確率で小さな客観的残差を与えることを理論的に保証することが不可欠である。
既存の非滑らか凸最適化法は、負のパワーまたは対数的な信頼度に依存する境界の複雑さを持つ。
クリッピングを用いた2つの勾配法に対して, 新たなステップサイズルールを提案する。
論文 参考訳(メタデータ) (2021-06-10T17:54:21Z) - Multivariate Probabilistic Regression with Natural Gradient Boosting [63.58097881421937]
多変量予測分布の条件パラメータを非パラメトリックにモデル化したNatural Gradient Boosting (NGBoost) 手法を提案する。
提案手法は頑健で, 広範囲なチューニングを伴わず, 推定対象分布に対してモジュール構造であり, 既存の手法と比較して競争力がある。
論文 参考訳(メタデータ) (2021-06-07T17:44:49Z) - Last iterate convergence of SGD for Least-Squares in the Interpolation
regime [19.05750582096579]
基本最小二乗構成におけるノイズレスモデルについて検討する。
最適予測器が完全に入力に適合すると仮定し、$langletheta_*, phi(X) rangle = Y$, ここで$phi(X)$は無限次元の非線型特徴写像を表す。
論文 参考訳(メタデータ) (2021-02-05T14:02:20Z) - Reducing the Amortization Gap in Variational Autoencoders: A Bayesian
Random Function Approach [38.45568741734893]
GPモデルの推論は、セミアモタイズ法よりもはるかに高速な1つのフィードフォワードパスによって行われる。
提案手法は,複数のベンチマークデータセットの最先端データよりも高い確率でテストデータが得られることを示す。
論文 参考訳(メタデータ) (2021-02-05T13:01:12Z) - Optimal Change-Point Detection with Training Sequences in the Large and
Moderate Deviations Regimes [72.68201611113673]
本稿では,情報理論の観点から,新しいオフライン変化点検出問題について検討する。
基礎となる事前および変更後分布の知識は分かっておらず、利用可能なトレーニングシーケンスからのみ学習できると仮定する。
論文 参考訳(メタデータ) (2020-03-13T23:39:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。