論文の概要: Projective Integral Updates for High-Dimensional Variational Inference
- arxiv url: http://arxiv.org/abs/2301.08374v2
- Date: Fri, 8 Sep 2023 21:41:31 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-12 22:30:50.002073
- Title: Projective Integral Updates for High-Dimensional Variational Inference
- Title（参考訳）: 高次元変分推論のための射影積分更新
- Authors: Jed A. Duersch
- Abstract要約: 変分推論は、完全な後部に立つパラメータの簡易分布を最適化することにより、予測の不確実性を改善することを目指している。
この研究は、任意の可能なログ密度を与えられた基底から関数の線形結合として表現できる場合に適用可能な変分推論のための固定点最適化を導入する。
QNVBのPyTorch実装は、競合する方法よりも訓練中のモデルの不確実性をよりよく制御できる。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Variational inference is an approximation framework for Bayesian inference
that seeks to improve quantified uncertainty in predictions by optimizing a
simplified distribution over parameters to stand in for the full posterior.
Capturing model variations that remain consistent with training data enables
more robust predictions by reducing parameter sensitivity. This work introduces
a fixed-point optimization for variational inference that is applicable when
every feasible log density can be expressed as a linear combination of
functions from a given basis. In such cases, the optimizer becomes a
fixed-point of projective integral updates. When the basis spans univariate
quadratics in each parameter, feasible densities are Gaussian and the
projective integral updates yield quasi-Newton variational Bayes (QNVB). Other
bases and updates are also possible. As these updates require high-dimensional
integration, this work first proposes an efficient quasirandom quadrature
sequence for mean-field distributions. Each iterate of the sequence contains
two evaluation points that combine to correctly integrate all univariate
quadratics and, if the mean-field factors are symmetric, all univariate cubics.
More importantly, averaging results over short subsequences achieves periodic
exactness on a much larger space of multivariate quadratics. The corresponding
variational updates require 4 loss evaluations with standard (not second-order)
backpropagation to eliminate error terms from over half of all multivariate
quadratic basis functions. This integration technique is motivated by first
proposing stochastic blocked mean-field quadratures, which may be useful in
other contexts. A PyTorch implementation of QNVB allows for better control over
model uncertainty during training than competing methods. Experiments
demonstrate superior generalizability for multiple learning problems and
architectures.
- Abstract（参考訳）: 変分推論(英: variational inference)は、ベイズ推論の近似フレームワークであり、予測の量化の不確実性を改善するために、完全な後方に立つパラメータに対する単純な分布を最適化する。
トレーニングデータに一貫性のあるモデルのバリエーションをキャプチャすることで、パラメータの感度を下げることで、より堅牢な予測が可能になる。
本研究は,任意の対数密度を与えられた基底から関数の線形結合として表現できる場合に適用可能な変分推論のための不動点最適化を導入する。
そのような場合、オプティマイザは射影積分更新の固定点となる。
基底が各パラメータの単変分数にまたがるとき、実現可能な密度はガウスであり、射影積分の更新によって準ニュートン変分ベイズ(QNVB)が得られる。
その他のベースやアップデートも可能だ。
これらの更新は高次元積分を必要とするため、まず平均場分布に対する効率的な準ランダム二次列を提案する。
列の各イテレートは、2つの評価点を含み、すべての不定二次を正しく積分し、平均場因子が対称であればすべての不定立方体を含む。
より重要なことに、短い部分列上の平均的な結果は、多変量二次のより広い空間上の周期的完全性を達成する。
対応する変分更新は、すべての多変量基底関数の半分以上の誤差項を除去するために、標準(二階ではない)のバックプロパゲーションによる4つの損失評価を必要とする。
この積分法は、他の文脈で有用な確率的ブロックされた平均場二次体を最初に提案することによって動機付けられる。
QNVBのPyTorch実装は、競合する方法よりも訓練中のモデルの不確実性をよりよく制御できる。
実験は、複数の学習問題やアーキテクチャに対して優れた一般化性を示す。
関連論文リスト
- Accelerated zero-order SGD under high-order smoothness and overparameterized regime [79.85163929026146]
凸最適化問題を解くための新しい勾配のないアルゴリズムを提案する。
このような問題は医学、物理学、機械学習で発生する。
両種類の雑音下で提案アルゴリズムの収束保証を行う。
論文 参考訳（メタデータ） (2024-11-21T10:26:17Z) - Multivariate root-n-consistent smoothing parameter free matching estimators and estimators of inverse density weighted expectations [51.000851088730684]
我々は、パラメトリックな$sqrt n $-rateで収束する、最も近い隣人の新しい修正とマッチング推定器を開発する。
我々は,非パラメトリック関数推定器は含まないこと,特に標本サイズ依存パラメータの平滑化には依存していないことを強調する。
論文 参考訳（メタデータ） (2024-07-11T13:28:34Z) - Structured Radial Basis Function Network: Modelling Diversity for
Multiple Hypotheses Prediction [51.82628081279621]
多重モード回帰は非定常過程の予測や分布の複雑な混合において重要である。
構造的放射基底関数ネットワークは回帰問題に対する複数の仮説予測器のアンサンブルとして提示される。
この構造モデルにより, このテッセルレーションを効率よく補間し, 複数の仮説対象分布を近似することが可能であることが証明された。
論文 参考訳（メタデータ） (2023-09-02T01:27:53Z) - Robust scalable initialization for Bayesian variational inference with
multi-modal Laplace approximations [0.0]
フル共分散構造を持つ変分混合は、パラメータ数による変動パラメータによる二次的な成長に苦しむ。
本稿では,変分推論のウォームスタートに使用できる初期ガウスモデル近似を構築する方法を提案する。
論文 参考訳（メタデータ） (2023-07-12T19:30:04Z) - Manifold Gaussian Variational Bayes on the Precision Matrix [70.44024861252554]
複雑なモデルにおける変分推論(VI)の最適化アルゴリズムを提案する。
本研究では,変分行列上の正定値制約を満たすガウス変分推論の効率的なアルゴリズムを開発した。
MGVBPはブラックボックスの性質のため、複雑なモデルにおけるVIのための準備が整ったソリューションである。
論文 参考訳（メタデータ） (2022-10-26T10:12:31Z) - Distributed Estimation and Inference for Semi-parametric Binary Response Models [8.309294338998539]
本稿では,分散コンピューティング環境下での半パラメトリック二値選択モデルの最大スコア推定について検討する。
直感的な分割・対数推定器は計算コストが高く、機械数に対する非正規制約によって制限される。
論文 参考訳（メタデータ） (2022-10-15T23:06:46Z) - Communication-Efficient Distributed Quantile Regression with Optimal
Statistical Guarantees [2.064612766965483]
本稿では,分散量子レグレッションにおいて,厳密なスケーリング条件を伴わずに最適な推論を実現する方法の課題に対処する。
この問題は、ローカル(各データソース)とグローバルな目的関数に適用される二重平滑化アプローチによって解決される。
局所的および大域的滑らか化パラメータの微妙な組み合わせに依存するにもかかわらず、量子回帰モデルは完全にパラメトリックである。
論文 参考訳（メタデータ） (2021-10-25T17:09:59Z) - Multivariate Probabilistic Regression with Natural Gradient Boosting [63.58097881421937]
多変量予測分布の条件パラメータを非パラメトリックにモデル化したNatural Gradient Boosting (NGBoost) 手法を提案する。
提案手法は頑健で, 広範囲なチューニングを伴わず, 推定対象分布に対してモジュール構造であり, 既存の手法と比較して競争力がある。
論文 参考訳（メタデータ） (2021-06-07T17:44:49Z) - Last iterate convergence of SGD for Least-Squares in the Interpolation
regime [19.05750582096579]
基本最小二乗構成におけるノイズレスモデルについて検討する。
最適予測器が完全に入力に適合すると仮定し、$langletheta_*, phi(X) rangle = Y$, ここで$phi(X)$は無限次元の非線型特徴写像を表す。
論文 参考訳（メタデータ） (2021-02-05T14:02:20Z) - Reducing the Amortization Gap in Variational Autoencoders: A Bayesian
Random Function Approach [38.45568741734893]
GPモデルの推論は、セミアモタイズ法よりもはるかに高速な1つのフィードフォワードパスによって行われる。
提案手法は,複数のベンチマークデータセットの最先端データよりも高い確率でテストデータが得られることを示す。
論文 参考訳（メタデータ） (2021-02-05T13:01:12Z) - Optimal Change-Point Detection with Training Sequences in the Large and
Moderate Deviations Regimes [72.68201611113673]
本稿では,情報理論の観点から,新しいオフライン変化点検出問題について検討する。
基礎となる事前および変更後分布の知識は分かっておらず、利用可能なトレーニングシーケンスからのみ学習できると仮定する。
論文 参考訳（メタデータ） (2020-03-13T23:39:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。