論文の概要: Understanding Approximation for Bayesian Inference in Neural Networks
- arxiv url: http://arxiv.org/abs/2211.06139v1
- Date: Fri, 11 Nov 2022 11:31:13 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-14 15:38:07.433806
- Title: Understanding Approximation for Bayesian Inference in Neural Networks
- Title（参考訳）: ニューラルネットワークにおけるベイズ推論の近似の理解
- Authors: Sebastian Farquhar
- Abstract要約: ベイズニューラルネットワークにおける近似推論について検討する。
近似後部の期待効用は推論品質を測定することができる。
継続的かつ活発な学習セットは、後部品質とは無関係な課題を引き起こします。
- 参考スコア（独自算出の注目度）: 7.081604594416339
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Bayesian inference has theoretical attractions as a principled framework for
reasoning about beliefs. However, the motivations of Bayesian inference which
claim it to be the only 'rational' kind of reasoning do not apply in practice.
They create a binary split in which all approximate inference is equally
'irrational'. Instead, we should ask ourselves how to define a spectrum of
more- and less-rational reasoning that explains why we might prefer one
Bayesian approximation to another. I explore approximate inference in Bayesian
neural networks and consider the unintended interactions between the
probabilistic model, approximating distribution, optimization algorithm, and
dataset. The complexity of these interactions highlights the difficulty of any
strategy for evaluating Bayesian approximations which focuses entirely on the
method, outside the context of specific datasets and decision-problems. For
given applications, the expected utility of the approximate posterior can
measure inference quality. To assess a model's ability to incorporate different
parts of the Bayesian framework we can identify desirable characteristic
behaviours of Bayesian reasoning and pick decision-problems that make heavy use
of those behaviours. Here, we use continual learning (testing the ability to
update sequentially) and active learning (testing the ability to represent
credence). But existing continual and active learning set-ups pose challenges
that have nothing to do with posterior quality which can distort their ability
to evaluate Bayesian approximations. These unrelated challenges can be removed
or reduced, allowing better evaluation of approximate inference methods.
- Abstract（参考訳）: ベイズ推論は、信念を推論するための原理的枠組みとして理論的に魅力的である。
しかし、それが唯一の「合理的な」推論であると主張するベイズ推論の動機は、実際には適用されない。
それらは、全ての近似推論が等しく「非合理的」な二分分割を生成する。
代わりに我々は、なぜベイズ近似を別のベイズ近似に好むのかを説明する、より合理的でない推論のスペクトルをどのように定義するかを自問すべきである。
ベイズニューラルネットワークの近似推論について検討し,確率モデル,近似分布,最適化アルゴリズム,データセット間の意図しない相互作用について考察する。
これらの相互作用の複雑さは、特定のデータセットや意思決定問題のコンテキスト外の手法に完全に焦点を絞ったベイズ近似を評価するためのあらゆる戦略の難しさを浮き彫りにしている。
任意の応用の場合、近似後部の期待効用は推論品質を測定することができる。
ベイズフレームワークの異なる部分を組み込むモデルの能力を評価するために、ベイズ推論の望ましい特徴的振る舞いを識別し、それらの振る舞いを多用する意思決定を選択できる。
ここでは,連続学習(連続的に更新する能力をテストする)とアクティブ学習(信頼を表す能力をテストする)を用いる。
しかし、既存の連続的およびアクティブな学習セットアップは、ベイズ近似を評価する能力を歪ませる後方品質とは無関係な課題をもたらす。
これらの無関係な課題は取り除くことも減らすこともでき、近似推論法をより良く評価できる。
関連論文リスト
- In-Context Parametric Inference: Point or Distribution Estimators? [66.22308335324239]
償却点推定器は一般に後部推論より優れているが、後者は低次元問題では競争力がある。
実験の結果, 償却点推定器は一般に後部推定より優れているが, 後者は低次元問題では競争力があることがわかった。
論文 参考訳（メタデータ） (2025-02-17T10:00:24Z) - Calibrating Neural Simulation-Based Inference with Differentiable
Coverage Probability [50.44439018155837]
ニューラルモデルのトレーニング目的に直接キャリブレーション項を含めることを提案する。
古典的なキャリブレーション誤差の定式化を緩和することにより、エンドツーエンドのバックプロパゲーションを可能にする。
既存の計算パイプラインに直接適用でき、信頼性の高いブラックボックス後部推論が可能である。
論文 参考訳（メタデータ） (2023-10-20T10:20:45Z) - Advancing Counterfactual Inference through Nonlinear Quantile Regression [77.28323341329461]
ニューラルネットワークで実装された効率的かつ効果的な対実的推論のためのフレームワークを提案する。
提案手法は、推定された反事実結果から見つからないデータまでを一般化する能力を高める。
複数のデータセットで実施した実証実験の結果は、我々の理論的な主張に対する説得力のある支持を提供する。
論文 参考訳（メタデータ） (2023-06-09T08:30:51Z) - Adversarial robustness of amortized Bayesian inference [3.308743964406687]
償却ベイズ推論は、当初シミュレーションデータ上の推論ネットワークのトレーニングに計算コストを投資することを目的としている。
観測対象のほとんど認識不能な摂動は、予測された後部および非現実的な後部予測標本に劇的な変化をもたらす可能性があることを示す。
本研究では,条件密度推定器のフィッシャー情報をペナライズした計算効率の高い正規化手法を提案する。
論文 参考訳（メタデータ） (2023-05-24T10:18:45Z) - Semantic Strengthening of Neuro-Symbolic Learning [85.6195120593625]
ニューロシンボリックアプローチは一般に確率論的目的のファジィ近似を利用する。
トラクタブル回路において,これを効率的に計算する方法を示す。
我々は,Warcraftにおける最小コストパスの予測,最小コスト完全マッチングの予測,スドクパズルの解法という3つの課題に対して,アプローチを検証した。
論文 参考訳（メタデータ） (2023-02-28T00:04:22Z) - Bayesian Hierarchical Models for Counterfactual Estimation [12.159830463756341]
本稿では,多種多様なカウンターファクトの集合を推定する確率的パラダイムを提案する。
摂動を事前分布関数によるランダム変数として扱う。
収束特性の優れた勾配ベースサンプリング器は、後方サンプルを効率的に計算する。
論文 参考訳（メタデータ） (2023-01-21T00:21:11Z) - Neural Causal Models for Counterfactual Identification and Estimation [62.30444687707919]
本稿では,ニューラルモデルによる反事実文の評価について検討する。
まず、神経因果モデル(NCM)が十分に表現可能であることを示す。
第2に,反事実分布の同時同定と推定を行うアルゴリズムを開発する。
論文 参考訳（メタデータ） (2022-09-30T18:29:09Z) - Hybrid Predictive Coding: Inferring, Fast and Slow [62.997667081978825]
本稿では,反復型と償却型の両方を原則的に組み合わせたハイブリッド予測符号化ネットワークを提案する。
我々は,本モデルが本質的に不確実性に敏感であり,最小計算費用を用いて正確な信念を得るためにバランスを適応的にバランスさせることを実証した。
論文 参考訳（メタデータ） (2022-04-05T12:52:45Z) - Handling Epistemic and Aleatory Uncertainties in Probabilistic Circuits [18.740781076082044]
確率的推論の大規模クラスを扱うアプローチの背後にある独立性の仮定を克服する手法を提案する。
ベイズ学習のアルゴリズムは、完全な観察にもかかわらず、スパースから提供します。
そのような回路の各リーフは、不確実な確率を表すエレガントなフレームワークを提供するベータ分散ランダム変数でラベル付けされています。
論文 参考訳（メタデータ） (2021-02-22T10:03:15Z) - Ramifications of Approximate Posterior Inference for Bayesian Deep
Learning in Adversarial and Out-of-Distribution Settings [7.476901945542385]
ベイジアン深層学習モデルが従来のニューラルネットワークよりわずかに優れていることを示す。
予備的な調査は、初期化、アーキテクチャ、アクティベーション関数の選択によるバイアスの潜在的固有の役割を示している。
論文 参考訳（メタデータ） (2020-09-03T16:58:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。