論文の概要: Adaptive variational Bayes: Optimality, computation and applications

• arxiv url: http://arxiv.org/abs/2109.03204v1
• Date: Tue, 7 Sep 2021 17:18:28 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-08 15:26:55.674200
• Title: Adaptive variational Bayes: Optimality, computation and applications
• Title（参考訳）: 適応変分ベイズ:最適性、計算および応用
• Authors: Ilsang Ohn, Lizhen Lin
• Abstract要約: 本稿では適応変分ベイズと呼ばれる新しい変分ベイズフレームワークを提案する。 提案手法は,個々のモデル上の変動後部と一定の重みを結合し,モデル全体の変動後部を求める。 提案した変分後部は,非常に一般的な条件下で適応的に最適収縮率を達成することを示す。
• 参考スコア（独自算出の注目度）: 3.0712335337791288
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this paper, we explore adaptive inference based on variational Bayes. Although a number of studies have been conducted to analyze contraction properties of variational posteriors, there is still a lack of a general and computationally tractable variational Bayes method that can achieve adaptive optimal contraction of the variational posterior. We propose a novel variational Bayes framework, called adaptive variational Bayes, which can operate on a collection of models with varying dimensions and structures. The proposed framework combines variational posteriors over individual models with certain weights to obtain a variational posterior over the entire model. It turns out that this combined variational posterior minimizes the Kullback-Leibler divergence to the original posterior distribution. We show that the proposed variational posterior achieves optimal contraction rates adaptively under very general conditions and attains model selection consistency when the true model structure exists. We apply the general results obtained for the adaptive variational Bayes to several examples including deep learning models and derive some new and adaptive inference results. Moreover, we consider the use of quasi-likelihood in our framework. We formulate conditions on the quasi-likelihood to ensure the adaptive optimality and discuss specific applications to stochastic block models and nonparametric regression with sub-Gaussian errors.
• Abstract（参考訳）: 本稿では,変分ベイズに基づく適応推論について検討する。 変動後方の収縮特性を解析するために多くの研究が行われてきたが、変動後方の最適収縮を達成するための汎用的かつ計算可能な変分ベイズ法がいまだ欠如している。 本稿では,次元や構造の異なるモデルの集合上で動作可能な,適応型変分ベイズと呼ばれる新しい変分ベイズフレームワークを提案する。 提案手法は,個々のモデル上の変動後部と一定の重みを結合し,モデル全体の変動後部を求める。 この組み合わせにより、Kulback-Leibler の元々の後方分布への発散を最小限に抑えることが判明した。 提案した変分後部は,非常に一般的な条件下で適応的に最適収縮率を達成し,真のモデル構造が存在する場合のモデル選択整合性を実現する。 適応変分ベイズに対して得られた一般的な結果を、ディープラーニングモデルを含むいくつかの例に適用し、新しい適応的推論結果を導出する。 さらに,フレームワークにおける準類似性についても検討する。 準類似性に関する条件を定式化し、適応最適性を確保し、確率的ブロックモデルや非パラメトリック回帰に対するサブガウシアン誤差の具体的応用について論じる。

関連論文リスト

• Scaling and renormalization in high-dimensional regression [72.59731158970894]
  本稿では,様々な高次元リッジ回帰モデルの訓練および一般化性能の簡潔な導出について述べる。 本稿では,物理と深層学習の背景を持つ読者を対象に,これらのトピックに関する最近の研究成果の紹介とレビューを行う。
  論文  参考訳（メタデータ） (2024-05-01T15:59:00Z)
• Quasi Black-Box Variational Inference with Natural Gradients for Bayesian Learning [84.90242084523565]
  複素モデルにおけるベイズ学習に適した最適化アルゴリズムを開発した。 我々のアプローチは、モデル固有導出に制限のある効率的なトレーニングのための一般的なブラックボックスフレームワーク内の自然な勾配更新に依存している。
  論文  参考訳（メタデータ） (2022-05-23T18:54:27Z)
• Loss function based second-order Jensen inequality and its application to particle variational inference [112.58907653042317]
  粒子変分推論(PVI)は、後部分布の実験的近似としてモデルのアンサンブルを用いる。 PVIは、最適化されたモデルの多様性を保証するために、各モデルを反発力で反復的に更新する。 我々は,新たな一般化誤差を導出し,モデルの多様性を高めて低減できることを示す。
  論文  参考訳（メタデータ） (2021-06-09T12:13:51Z)
• Transformation Models for Flexible Posteriors in Variational Bayes [0.0]
  ニューラルネットワークでは、変分推論は、計算が難しい後部を近似するために広く使われている。 変換モデルは任意の分布に適合するほど柔軟です。 TM-VIは、1つのパラメータを持つモデルの複雑な後部を正確に近似することができる。
  論文  参考訳（メタデータ） (2021-06-01T14:43:47Z)
• A variational inference framework for inverse problems [0.39373541926236766]
  変分ベイズ近似を用いて逆問題モデルに適合するフレームワークを提示する。 この方法論は、幅広いアプリケーションに対する統計モデル仕様への柔軟性を保証する。 バイオメディカルな問題に動機づけられた画像処理アプリケーションとシミュレーションエクササイズは、変分ベイズによって提供される計算上の利点を明らかにする。
  論文  参考訳（メタデータ） (2021-03-10T07:37:20Z)
• Sparse Bayesian Causal Forests for Heterogeneous Treatment Effects Estimation [0.0]
  本稿では,ベイジアン因果樹林のスパース性誘導型を考案する。 観察データを用いて不均一な治療効果を推定する。
  論文  参考訳（メタデータ） (2021-02-12T15:24:50Z)
• Robust, Accurate Stochastic Optimization for Variational Inference [68.83746081733464]
  また, 共通最適化手法は, 問題が適度に大きい場合, 変分近似の精度が低下することを示した。 これらの結果から,基礎となるアルゴリズムをマルコフ連鎖の生成とみなして,より堅牢で正確な最適化フレームワークを開発する。
  論文  参考訳（メタデータ） (2020-09-01T19:12:11Z)
• Variational Variance: Simple, Reliable, Calibrated Heteroscedastic Noise Variance Parameterization [3.553493344868413]
  本稿では,予測平均と分散キャリブレーションを検証し,予測分布が有意義なデータを生成する能力を評価するための批評を提案する。 ヘテロセダスティックな分散を多変量に処理するためには、これらのPPCを通過させるために分散を十分に規則化する必要がある。
  論文  参考訳（メタデータ） (2020-06-08T19:58:35Z)
• Bayesian Deep Learning and a Probabilistic Perspective of Generalization [56.69671152009899]
  ディープアンサンブルはベイズ辺化を近似する有効なメカニズムであることを示す。 また,アトラクションの流域内での辺縁化により,予測分布をさらに改善する関連手法を提案する。
  論文  参考訳（メタデータ） (2020-02-20T15:13:27Z)
• Decision-Making with Auto-Encoding Variational Bayes [71.44735417472043]
  変分分布とは異なる後部近似を用いて意思決定を行うことが示唆された。 これらの理論的な結果から,最適モデルに関するいくつかの近似的提案を学習することを提案する。 おもちゃの例に加えて,単細胞RNAシークエンシングのケーススタディも紹介する。
  論文  参考訳（メタデータ） (2020-02-17T19:23:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。