論文の概要: Towards Improved Variational Inference for Deep Bayesian Models
- arxiv url: http://arxiv.org/abs/2401.12418v1
- Date: Tue, 23 Jan 2024 00:40:20 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-24 17:17:58.102891
- Title: Towards Improved Variational Inference for Deep Bayesian Models
- Title（参考訳）: 深ベイズモデルの変分推論の改良に向けて
- Authors: Sebastian W. Ober
- Abstract要約: 本論では,変分推論(VI)を近似として用いることを検討する。
VI は後部を同時に近似し、限界度に低い境界を与えるという点で特異である。
本稿ではベイズニューラルネットワークと深いガウス過程における推論の統一的なビューを提供する変分後部を提案する。
- 参考スコア（独自算出の注目度）: 7.841254447222393
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deep learning has revolutionized the last decade, being at the forefront of
extraordinary advances in a wide range of tasks including computer vision,
natural language processing, and reinforcement learning, to name but a few.
However, it is well-known that deep models trained via maximum likelihood
estimation tend to be overconfident and give poorly-calibrated predictions.
Bayesian deep learning attempts to address this by placing priors on the model
parameters, which are then combined with a likelihood to perform posterior
inference. Unfortunately, for deep models, the true posterior is intractable,
forcing the user to resort to approximations. In this thesis, we explore the
use of variational inference (VI) as an approximation, as it is unique in
simultaneously approximating the posterior and providing a lower bound to the
marginal likelihood. If tight enough, this lower bound can be used to optimize
hyperparameters and to facilitate model selection. However, this capacity has
rarely been used to its full extent for Bayesian neural networks, likely
because the approximate posteriors typically used in practice can lack the
flexibility to effectively bound the marginal likelihood. We therefore explore
three aspects of Bayesian learning for deep models: 1) we ask whether it is
necessary to perform inference over as many parameters as possible, or whether
it is reasonable to treat many of them as optimizable hyperparameters; 2) we
propose a variational posterior that provides a unified view of inference in
Bayesian neural networks and deep Gaussian processes; 3) we demonstrate how VI
can be improved in certain deep Gaussian process models by analytically
removing symmetries from the posterior, and performing inference on Gram
matrices instead of features. We hope that our contributions will provide a
stepping stone to fully realize the promises of VI in the future.
- Abstract（参考訳）: ディープラーニングは、コンピュータビジョン、自然言語処理、強化学習など、さまざまなタスクにおける並外れた進歩の最前線にあり、過去10年間に革命を起こしてきた。
しかしながら、最大確率推定によって訓練された深層モデルは、自信過剰であり、不十分な予測を与える傾向があることはよく知られている。
ベイズ深層学習は、モデルパラメータに事前を配置してこの問題に対処し、後部推論を行う可能性と組み合わせる。
残念ながら、深いモデルでは、真の後方は難解であり、ユーザーは近似に頼ることになる。
本論では,後部を同時に近似し,限界確率に下限を与えるという点で,変分推論(VI)を近似として用いることを検討する。
十分に厳密であれば、この下限はハイパーパラメータを最適化し、モデル選択を容易にするために使用できる。
しかし、この能力がベイズニューラルネットワークに十分使われることは滅多にない。なぜなら、一般的に使用される近似後縁は、限界の確率を効果的に制限する柔軟性を欠く可能性があるからである。
したがって、深層モデルに対するベイズ学習の3つの側面を探求する。
1) できるだけ多くのパラメータを推測する必要があるか, あるいはこれらの多くを最適化可能なハイパーパラメータとして扱うのが妥当かどうかを問う。
2)ベイズニューラルネットワークと深いガウス過程における推論の統一的なビューを提供する変分後部を提案する。
3) 奥深いガウス過程モデルにおいて, 後部から対称性を解析的に除去し, 特徴量ではなく文法行列で推論を行うことにより, VI をどのように改善できるかを示す。
私たちは、将来VIの約束を完全に実現するために、私たちの貢献が足掛かりになることを期待しています。
関連論文リスト
- Scalable Bayesian Learning with posteriors [0.856335408411906]
ベイズ学習の汎用実装をホストするPyTorchライブラリであるPostorsを導入する。
実験によりベイズ近似の有効性を実証・比較し,寒冷後部効果と大規模言語モデルを用いた応用について検討した。
論文 参考訳（メタデータ） (2024-05-31T18:00:12Z) - Scalable Bayesian Inference in the Era of Deep Learning: From Gaussian Processes to Deep Neural Networks [0.5827521884806072]
大規模なデータセットでトレーニングされた大規模なニューラルネットワークは、マシンラーニングの主要なパラダイムになっています。
この論文は、モデル不確実性を持つニューラルネットワークを装備するためのスケーラブルな手法を開発する。
論文 参考訳（メタデータ） (2024-04-29T23:38:58Z) - Fast post-process Bayesian inference with Variational Sparse Bayesian Quadrature [13.36200518068162]
本稿では,既存の目標密度評価から高速な後続近似を得る手段として,プロセス後ベイズ推定の枠組みを提案する。
この枠組みでは,ブラックボックスと潜在的ノイズの可能性のあるモデルに対して,プロセス後近似推定法である変分スパースベイズ近似(VSBQ)を導入する。
本手法は,計算神経科学による難解な合成シナリオと実世界の応用について検証する。
論文 参考訳（メタデータ） (2023-03-09T13:58:35Z) - Flat Seeking Bayesian Neural Networks [32.61417343756841]
我々は、シャープネスを意識した後部における理論、ベイズ的設定、および変分推論アプローチを開発する。
具体的には、シャープネス認識後部から採取したモデルと、このシャープネス認識後部を推定する最適な近似後部モデルにより、平坦性が向上した。
我々は最先端のベイズニューラルネットワークによるシャープネス認識後部を応用して実験を行う。
論文 参考訳（メタデータ） (2023-02-06T11:40:44Z) - Bayesian Neural Network Inference via Implicit Models and the Posterior
Predictive Distribution [0.8122270502556371]
本稿では,ベイズニューラルネットワークのような複雑なモデルにおいて,近似ベイズ推論を行うための新しい手法を提案する。
このアプローチはMarkov Chain Monte Carloよりも大規模データに対してスケーラブルである。
これは、サロゲートや物理モデルのような応用に有用であると考えています。
論文 参考訳（メタデータ） (2022-09-06T02:43:19Z) - Quasi Black-Box Variational Inference with Natural Gradients for
Bayesian Learning [84.90242084523565]
複素モデルにおけるベイズ学習に適した最適化アルゴリズムを開発した。
我々のアプローチは、モデル固有導出に制限のある効率的なトレーニングのための一般的なブラックボックスフレームワーク内の自然な勾配更新に依存している。
論文 参考訳（メタデータ） (2022-05-23T18:54:27Z) - Probabilistic Modeling for Human Mesh Recovery [73.11532990173441]
本稿では,2次元の証拠から3次元の人体復元の問題に焦点を当てた。
我々は,この問題を,入力から3Dポーズの分布へのマッピング学習として再考した。
論文 参考訳（メタデータ） (2021-08-26T17:55:11Z) - Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。
本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
論文 参考訳（メタデータ） (2021-06-17T17:26:31Z) - Challenges and Opportunities in High-dimensional Variational Inference [65.53746326245059]
低次元後肢に対する近似家族と多様性に関する直観が高次元後肢に失敗する理由を示す。
高次元後方に対しては、最適化が最も容易かつ安定な排他的KL発散を用いることを推奨する。
低から中程度の次元では、重尾の変異族と質量被覆の分岐は、重要サンプリングによって近似を改善できる可能性を高めることができる。
論文 参考訳（メタデータ） (2021-03-01T15:53:34Z) - A Bayesian Perspective on Training Speed and Model Selection [51.15664724311443]
モデルのトレーニング速度の測定値を用いて,その限界確率を推定できることを示す。
線形モデルと深部ニューラルネットワークの無限幅限界に対するモデル選択タスクの結果を検証する。
以上の結果から、勾配勾配勾配で訓練されたニューラルネットワークが、一般化する関数に偏りがある理由を説明するための、有望な新たな方向性が示唆された。
論文 参考訳（メタデータ） (2020-10-27T17:56:14Z) - Bayesian Deep Learning and a Probabilistic Perspective of Generalization [56.69671152009899]
ディープアンサンブルはベイズ辺化を近似する有効なメカニズムであることを示す。
また,アトラクションの流域内での辺縁化により,予測分布をさらに改善する関連手法を提案する。
論文 参考訳（メタデータ） (2020-02-20T15:13:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。