論文の概要: Predictive variational inference: Learn the predictively optimal posterior distribution

• arxiv url: http://arxiv.org/abs/2410.14843v1
• Date: Fri, 18 Oct 2024 19:44:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-22 13:19:51.462466
• Title: Predictive variational inference: Learn the predictively optimal posterior distribution
• Title（参考訳）: 予測的変動推定:予測的最適後部分布の学習
• Authors: Jinlin Lai, Yuling Yao,
• Abstract要約: バニラ変量推論はベイズ後部分布に最適な近似を求めるが、正確なベイズ後部分布でさえモデル的不特定の下では意味がないことが多い。 本稿では,最適後続密度から標本を探索する一般推論フレームワークである予測変分推論(PVI)を提案する。 この枠組みは、可能性エクササイズモデルと可能性フリーモデルの両方に適用できる。
• 参考スコア（独自算出の注目度）: 1.7648680700685022
• License:
• Abstract: Vanilla variational inference finds an optimal approximation to the Bayesian posterior distribution, but even the exact Bayesian posterior is often not meaningful under model misspecification. We propose predictive variational inference (PVI): a general inference framework that seeks and samples from an optimal posterior density such that the resulting posterior predictive distribution is as close to the true data generating process as possible, while this this closeness is measured by multiple scoring rules. By optimizing the objective, the predictive variational inference is generally not the same as, or even attempting to approximate, the Bayesian posterior, even asymptotically. Rather, we interpret it as implicit hierarchical expansion. Further, the learned posterior uncertainty detects heterogeneity of parameters among the population, enabling automatic model diagnosis. This framework applies to both likelihood-exact and likelihood-free models. We demonstrate its application in real data examples.
• Abstract（参考訳）: バニラ変量推論はベイズ後部分布に最適な近似を求めるが、正確なベイズ後部分布でさえモデル的不特定の下では意味がないことが多い。 予測変動推論(PVI: predictive variational inference)は、最適後続密度から、結果として得られる後続の予測分布が、可能な限り真のデータ生成プロセスに近くなるような一般的な推論フレームワークであり、この近さは複数のスコアリングルールによって測定される。 目的を最適化することによって、予測的変分推論は一般的にベイズの後部、あるいは漸近的にも等しく、あるいは近似しようとするものと同じではない。 むしろ、我々はそれを暗黙の階層展開と解釈する。 さらに、学習後の不確実性は、集団間のパラメータの不均一性を検知し、自動モデル診断を可能にする。 この枠組みは、可能性エクササイズモデルと可能性フリーモデルの両方に適用できる。 実データ例でその応用例を示す。

関連論文リスト

• Rejection via Learning Density Ratios [50.91522897152437]
  拒絶による分類は、モデルを予測しないことを許容する学習パラダイムとして現れます。 そこで我々は,事前学習したモデルの性能を最大化する理想的なデータ分布を求める。 私たちのフレームワークは、クリーンでノイズの多いデータセットで実証的にテストされます。
  論文  参考訳（メタデータ） (2024-05-29T01:32:17Z)
• Generalized Laplace Approximation [23.185126261153236]
  我々は、ベイズ的不整合を不特定性をモデル化し、不適切な先行をモデル化するために、統一された理論的枠組みを導入する。 正規化損失関数のヘッセン行列に対する簡単な調整を含む一般化ラプラス近似を提案する。 我々は、最先端のニューラルネットワークと実世界のデータセット上での一般化されたLaplace近似の性能と特性を評価する。
  論文  参考訳（メタデータ） (2024-05-22T11:11:42Z)
• Variational Prediction [95.00085314353436]
  本稿では,変動境界を用いた後部予測分布に対する変動近似の学習手法を提案する。 このアプローチは、テスト時間の限界化コストを伴わずに、優れた予測分布を提供することができる。
  論文  参考訳（メタデータ） (2023-07-14T18:19:31Z)
• Function-Space Regularization for Deep Bayesian Classification [33.63495888167032]
  予測空間にディリクレを前もって適用し、近似関数空間変分推論を行う。 推論を適用することで、モデルアーキテクチャやサイズに影響を与えることなく、同じ関数空間を異なるモデルと組み合わせることができる。
  論文  参考訳（メタデータ） (2023-07-12T10:17:54Z)
• Bayesian Hierarchical Models for Counterfactual Estimation [12.159830463756341]
  本稿では,多種多様なカウンターファクトの集合を推定する確率的パラダイムを提案する。 摂動を事前分布関数によるランダム変数として扱う。 収束特性の優れた勾配ベースサンプリング器は、後方サンプルを効率的に計算する。
  論文  参考訳（メタデータ） (2023-01-21T00:21:11Z)
• On the detrimental effect of invariances in the likelihood for variational inference [21.912271882110986]
  変分ベイズ後部推論は、トラクタビリティを確保するために平均場パラメトリゼーションのような近似を単純化する必要があることが多い。 これまでの研究は、ベイズニューラルネットワークの変動平均場近似と、小さなデータセットや大きなモデルサイズの場合の不適合を関連付けてきた。
  論文  参考訳（メタデータ） (2022-09-15T09:13:30Z)
• Variational Refinement for Importance Sampling Using the Forward Kullback-Leibler Divergence [77.06203118175335]
  変分推論(VI)はベイズ推論における正確なサンプリングの代替として人気がある。 重要度サンプリング(IS)は、ベイズ近似推論手順の推定を微調整し、偏りを逸脱するためにしばしば用いられる。 近似ベイズ推論のための最適化手法とサンプリング手法の新たな組み合わせを提案する。
  論文  参考訳（メタデータ） (2021-06-30T11:00:24Z)
• Loss function based second-order Jensen inequality and its application to particle variational inference [112.58907653042317]
  粒子変分推論(PVI)は、後部分布の実験的近似としてモデルのアンサンブルを用いる。 PVIは、最適化されたモデルの多様性を保証するために、各モデルを反発力で反復的に更新する。 我々は,新たな一般化誤差を導出し,モデルの多様性を高めて低減できることを示す。
  論文  参考訳（メタデータ） (2021-06-09T12:13:51Z)
• Bayesian Deep Learning and a Probabilistic Perspective of Generalization [56.69671152009899]
  ディープアンサンブルはベイズ辺化を近似する有効なメカニズムであることを示す。 また,アトラクションの流域内での辺縁化により,予測分布をさらに改善する関連手法を提案する。
  論文  参考訳（メタデータ） (2020-02-20T15:13:27Z)
• Decision-Making with Auto-Encoding Variational Bayes [71.44735417472043]
  変分分布とは異なる後部近似を用いて意思決定を行うことが示唆された。 これらの理論的な結果から,最適モデルに関するいくつかの近似的提案を学習することを提案する。 おもちゃの例に加えて,単細胞RNAシークエンシングのケーススタディも紹介する。
  論文  参考訳（メタデータ） (2020-02-17T19:23:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。