論文の概要: Adaptive variational Bayes: Optimality, computation and applications

• arxiv url: http://arxiv.org/abs/2109.03204v4
• Date: Mon, 11 Mar 2024 04:29:15 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-13 18:15:44.961225
• Title: Adaptive variational Bayes: Optimality, computation and applications
• Title（参考訳）: 適応変分ベイズ:最適性、計算および応用
• Authors: Ilsang Ohn, Lizhen Lin
• Abstract要約: 本稿では,モデル集合上で動作可能な適応型変分ベイズフレームワークを提案する。 適応変分ベイズは非常に一般的な条件下で最適な収縮率が得られることを示す。
• 参考スコア（独自算出の注目度）: 2.4022340214033915
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this paper, we explore adaptive inference based on variational Bayes. Although several studies have been conducted to analyze the contraction properties of variational posteriors, there is still a lack of a general and computationally tractable variational Bayes method that performs adaptive inference. To fill this gap, we propose a novel adaptive variational Bayes framework, which can operate on a collection of models. The proposed framework first computes a variational posterior over each individual model separately and then combines them with certain weights to produce a variational posterior over the entire model. It turns out that this combined variational posterior is the closest member to the posterior over the entire model in a predefined family of approximating distributions. We show that the adaptive variational Bayes attains optimal contraction rates adaptively under very general conditions. We also provide a methodology to maintain the tractability and adaptive optimality of the adaptive variational Bayes even in the presence of an enormous number of individual models, such as sparse models. We apply the general results to several examples, including deep learning and sparse factor models, and derive new and adaptive inference results. In addition, we characterize an implicit regularization effect of variational Bayes and show that the adaptive variational posterior can utilize this.
• Abstract（参考訳）: 本稿では,変分ベイズに基づく適応推論について検討する。 変分後部の収縮特性を解析するためにいくつかの研究が行われてきたが、適応的推論を行う一般かつ計算可能な変分ベイズ法がまだ存在しない。 このギャップを埋めるために,モデルの集合上で動作可能な適応型変分ベイズフレームワークを提案する。 提案手法はまず,各モデル上の変動後部を個別に計算し,それを一定の重みと組み合わせてモデル全体の変動後部を生成する。 この複合変分後縁は、事前定義された分布の族において、モデル全体よりも後縁に最も近いことが判明した。 適応変分ベイズは非常に一般的な条件下で最適な収縮率が得られることを示す。 また, スパースモデルなど多数の個別モデルが存在する場合でも, 適応変分ベイズの移動性と適応的最適性を維持する手法を提案する。 ディープラーニングやスパースファクタモデルなど,いくつかの例に一般的な結果を適用し,新しい適応的推論結果から導出する。 さらに,変分ベイズの暗黙の正則化効果を特徴付け,適応変分後方がこれを利用できることを示す。

関連論文リスト

• Scaling and renormalization in high-dimensional regression [72.59731158970894]
  本稿では,様々な高次元リッジ回帰モデルの訓練および一般化性能の簡潔な導出について述べる。 本稿では,物理と深層学習の背景を持つ読者を対象に,これらのトピックに関する最近の研究成果の紹介とレビューを行う。
  論文  参考訳（メタデータ） (2024-05-01T15:59:00Z)
• Quasi Black-Box Variational Inference with Natural Gradients for Bayesian Learning [84.90242084523565]
  複素モデルにおけるベイズ学習に適した最適化アルゴリズムを開発した。 我々のアプローチは、モデル固有導出に制限のある効率的なトレーニングのための一般的なブラックボックスフレームワーク内の自然な勾配更新に依存している。
  論文  参考訳（メタデータ） (2022-05-23T18:54:27Z)
• Loss function based second-order Jensen inequality and its application to particle variational inference [112.58907653042317]
  粒子変分推論(PVI)は、後部分布の実験的近似としてモデルのアンサンブルを用いる。 PVIは、最適化されたモデルの多様性を保証するために、各モデルを反発力で反復的に更新する。 我々は,新たな一般化誤差を導出し,モデルの多様性を高めて低減できることを示す。
  論文  参考訳（メタデータ） (2021-06-09T12:13:51Z)
• Transformation Models for Flexible Posteriors in Variational Bayes [0.0]
  ニューラルネットワークでは、変分推論は、計算が難しい後部を近似するために広く使われている。 変換モデルは任意の分布に適合するほど柔軟です。 TM-VIは、1つのパラメータを持つモデルの複雑な後部を正確に近似することができる。
  論文  参考訳（メタデータ） (2021-06-01T14:43:47Z)
• A variational inference framework for inverse problems [0.39373541926236766]
  変分ベイズ近似を用いて逆問題モデルに適合するフレームワークを提示する。 この方法論は、幅広いアプリケーションに対する統計モデル仕様への柔軟性を保証する。 バイオメディカルな問題に動機づけられた画像処理アプリケーションとシミュレーションエクササイズは、変分ベイズによって提供される計算上の利点を明らかにする。
  論文  参考訳（メタデータ） (2021-03-10T07:37:20Z)
• Sparse Bayesian Causal Forests for Heterogeneous Treatment Effects Estimation [0.0]
  本稿では,ベイジアン因果樹林のスパース性誘導型を考案する。 観察データを用いて不均一な治療効果を推定する。
  論文  参考訳（メタデータ） (2021-02-12T15:24:50Z)
• Robust, Accurate Stochastic Optimization for Variational Inference [68.83746081733464]
  また, 共通最適化手法は, 問題が適度に大きい場合, 変分近似の精度が低下することを示した。 これらの結果から,基礎となるアルゴリズムをマルコフ連鎖の生成とみなして,より堅牢で正確な最適化フレームワークを開発する。
  論文  参考訳（メタデータ） (2020-09-01T19:12:11Z)
• Variational Variance: Simple, Reliable, Calibrated Heteroscedastic Noise Variance Parameterization [3.553493344868413]
  本稿では,予測平均と分散キャリブレーションを検証し,予測分布が有意義なデータを生成する能力を評価するための批評を提案する。 ヘテロセダスティックな分散を多変量に処理するためには、これらのPPCを通過させるために分散を十分に規則化する必要がある。
  論文  参考訳（メタデータ） (2020-06-08T19:58:35Z)
• Bayesian Deep Learning and a Probabilistic Perspective of Generalization [56.69671152009899]
  ディープアンサンブルはベイズ辺化を近似する有効なメカニズムであることを示す。 また,アトラクションの流域内での辺縁化により,予測分布をさらに改善する関連手法を提案する。
  論文  参考訳（メタデータ） (2020-02-20T15:13:27Z)
• Decision-Making with Auto-Encoding Variational Bayes [71.44735417472043]
  変分分布とは異なる後部近似を用いて意思決定を行うことが示唆された。 これらの理論的な結果から,最適モデルに関するいくつかの近似的提案を学習することを提案する。 おもちゃの例に加えて,単細胞RNAシークエンシングのケーススタディも紹介する。
  論文  参考訳（メタデータ） (2020-02-17T19:23:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。