論文の概要: Discovering Inductive Bias with Gibbs Priors: A Diagnostic Tool for Approximate Bayesian Inference

• arxiv url: http://arxiv.org/abs/2203.03353v1
• Date: Mon, 7 Mar 2022 13:03:16 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-08 15:26:40.583229
• Title: Discovering Inductive Bias with Gibbs Priors: A Diagnostic Tool for Approximate Bayesian Inference
• Title（参考訳）: Gibbsによる誘導バイアスの発見:近似ベイズ推論のための診断ツール
• Authors: Luca Rendsburg, Agustinus Kristiadi, Philipp Hennig, Ulrike von Luxburg
• Abstract要約: 近似ミスマッチは帰納バイアスの変化に起因すると考えられる。 この問題は一見すると複雑で、解は一般に観測に依存するためである。 結果として得られた診断は擬似ギブスサンプリングに基づいており、広く適用可能で実装が容易である。
• 参考スコア（独自算出の注目度）: 36.626121247196934
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Full Bayesian posteriors are rarely analytically tractable, which is why real-world Bayesian inference heavily relies on approximate techniques. Approximations generally differ from the true posterior and require diagnostic tools to assess whether the inference can still be trusted. We investigate a new approach to diagnosing approximate inference: the approximation mismatch is attributed to a change in the inductive bias by treating the approximations as exact and reverse-engineering the corresponding prior. We show that the problem is more complicated than it appears to be at first glance, because the solution generally depends on the observation. By reframing the problem in terms of incompatible conditional distributions we arrive at a natural solution: the Gibbs prior. The resulting diagnostic is based on pseudo-Gibbs sampling, which is widely applicable and easy to implement. We illustrate how the Gibbs prior can be used to discover the inductive bias in a controlled Gaussian setting and for a variety of Bayesian models and approximations.
• Abstract（参考訳）: 完全なベイズ後部は解析的に解析可能であることは滅多になく、実世界のベイズ推定は近似技術に大きく依存している。 近似は一般に真の後方と異なり、推論がまだ信頼できるかどうかを評価する診断ツールが必要である。 近似ミスマッチは,近似を厳密に扱い,対応する事前をリバースエンジニアリングすることにより,帰納バイアスの変化に起因する。 この問題は一見したところより複雑である。なぜなら解は一般に観察に依存するからである。 非互換条件分布の観点で問題を再フレーミングすることで、自然解(gibbs prior)に到達する。 その結果得られた診断は擬似ギブスサンプリングに基づいており、広く適用可能で実装が容易である。 ギブズ・プリアー(gibbs prior)は、制御ガウス系および様々なベイズモデルおよび近似系における帰納的バイアスの発見にどのように用いられるかを示す。

関連論文リスト

• Predictive variational inference: Learn the predictively optimal posterior distribution [1.7648680700685022]
  バニラ変量推論はベイズ後部分布に最適な近似を求めるが、正確なベイズ後部分布でさえモデル的不特定の下では意味がないことが多い。 本稿では,最適後続密度から標本を探索する一般推論フレームワークである予測変分推論(PVI)を提案する。 この枠組みは、可能性エクササイズモデルと可能性フリーモデルの両方に適用できる。
  論文  参考訳（メタデータ） (2024-10-18T19:44:57Z)
• Amortized Variational Inference for Deep Gaussian Processes [0.0]
  ディープガウス過程(DGP)はガウス過程(GP)の多層一般化である 本稿では,DGPに対して,各観測を変動パラメータにマッピングする推論関数を学習するアモータライズされた変分推論を導入する。 本手法は, 計算コストの低い従来の手法よりも, 同様に, あるいはより優れた性能を示す。
  論文  参考訳（メタデータ） (2024-09-18T20:23:27Z)
• Generative Posterior Networks for Approximately Bayesian Epistemic Uncertainty Estimation [11.66240919177989]
  本稿では,ラベルのないデータを用いて高次元問題における不確実性を推定するGPN(Generative Posterior Networks)を提案する。 GPNは、関数上の事前分布を与えられた後続分布を直接近似する生成モデルである。
  論文  参考訳（メタデータ） (2023-12-29T00:43:41Z)
• Calibrating Neural Simulation-Based Inference with Differentiable Coverage Probability [50.44439018155837]
  ニューラルモデルのトレーニング目的に直接キャリブレーション項を含めることを提案する。 古典的なキャリブレーション誤差の定式化を緩和することにより、エンドツーエンドのバックプロパゲーションを可能にする。 既存の計算パイプラインに直接適用でき、信頼性の高いブラックボックス後部推論が可能である。
  論文  参考訳（メタデータ） (2023-10-20T10:20:45Z)
• Sequential Gibbs Posteriors with Applications to Principal Component Analysis [8.90721241624138]
  ギブス後部は、確率自由ベイズ推論の原理的な枠組みを提供する。 しかし、単一のチューニングパラメータを含む多くの状況では、必然的に不確かさの定量化につながる。 この問題に対処するため,ギブス後方への逐次拡張を提案する。
  論文  参考訳（メタデータ） (2023-10-19T16:36:18Z)
• Approximating Counterfactual Bounds while Fusing Observational, Biased and Randomised Data Sources [64.96984404868411]
  我々は、複数の、偏見のある、観察的、介入的な研究からのデータを統合するという問題に対処する。 利用可能なデータの可能性は局所的な最大値を持たないことを示す。 次に、同じアプローチが複数のデータセットの一般的なケースにどのように対処できるかを示す。
  論文  参考訳（メタデータ） (2023-07-31T11:28:24Z)
• Sobolev Space Regularised Pre Density Models [51.558848491038916]
  本研究では,ソボレフ法則の正則化に基づく非パラメトリック密度推定法を提案する。 この方法は統計的に一貫したものであり、帰納的検証モデルを明確かつ一貫したものにしている。
  論文  参考訳（メタデータ） (2023-07-25T18:47:53Z)
• Learning to solve Bayesian inverse problems: An amortized variational inference approach using Gaussian and Flow guides [0.0]
  本研究では,ベイズ逆写像,すなわちデータから後部への写像を学習することで,リアルタイムな推論を可能にする手法を開発する。 我々のアプローチは、ニューラルネットワークの前方通過のコストで、所定の観測のための後部分布を提供する。
  論文  参考訳（メタデータ） (2023-05-31T16:25:07Z)
• Near-optimal inference in adaptive linear regression [60.08422051718195]
  最小二乗法のような単純な方法でさえ、データが適応的に収集されるときの非正規な振る舞いを示すことができる。 我々は,これらの分布異常を少なくとも2乗推定で補正するオンラインデバイアス推定器のファミリーを提案する。 我々は,マルチアームバンディット,自己回帰時系列推定,探索による能動的学習などの応用を通して,我々の理論の有用性を実証する。
  論文  参考訳（メタデータ） (2021-07-05T21:05:11Z)
• SLEIPNIR: Deterministic and Provably Accurate Feature Expansion for Gaussian Process Regression with Derivatives [86.01677297601624]
  本稿では,2次フーリエ特徴に基づく導関数によるGP回帰のスケーリング手法を提案する。 我々は、近似されたカーネルと近似された後部の両方に適用される決定論的、非漸近的、指数関数的に高速な崩壊誤差境界を証明した。
  論文  参考訳（メタデータ） (2020-03-05T14:33:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。