論文の概要: A Rigorous Link between Deep Ensembles and (Variational) Bayesian
Methods
- arxiv url: http://arxiv.org/abs/2305.15027v2
- Date: Sun, 22 Oct 2023 14:44:18 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-25 11:15:59.858189
- Title: A Rigorous Link between Deep Ensembles and (Variational) Bayesian
Methods
- Title(参考訳): ディープアンサンブルと(変数)ベイズ法による厳密なリンク
- Authors: Veit David Wild, Sahra Ghalebikesabi, Dino Sejdinovic, Jeremias
Knoblauch
- Abstract要約: ベイズ的,変分的ベイズ的,アンサンブル法の間の数学的に厳密な関係を確立した。
技術的なレベルでは、ワッサーシュタインフローのレンズを通して一般化された変分推論に寄与する。
- 参考スコア(独自算出の注目度): 14.845158804951552
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We establish the first mathematically rigorous link between Bayesian,
variational Bayesian, and ensemble methods. A key step towards this it to
reformulate the non-convex optimisation problem typically encountered in deep
learning as a convex optimisation in the space of probability measures. On a
technical level, our contribution amounts to studying generalised variational
inference through the lense of Wasserstein gradient flows. The result is a
unified theory of various seemingly disconnected approaches that are commonly
used for uncertainty quantification in deep learning -- including deep
ensembles and (variational) Bayesian methods. This offers a fresh perspective
on the reasons behind the success of deep ensembles over procedures based on
parameterised variational inference, and allows the derivation of new
ensembling schemes with convergence guarantees. We showcase this by proposing a
family of interacting deep ensembles with direct parallels to the interactions
of particle systems in thermodynamics, and use our theory to prove the
convergence of these algorithms to a well-defined global minimiser on the space
of probability measures.
- Abstract(参考訳): ベイズ法,変分ベイズ法,アンサンブル法の数学的に厳密な関係を確立する。
これに向けた重要なステップは、確率測度の空間における凸最適化として一般的にディープラーニングで発生する非凸最適化問題を再構築することである。
技術的なレベルでは、ワッサーシュタイン勾配流のレンズを通して一般化された変分推論を研究することに貢献した。
その結果、深層学習における不確かさの定量化に一般的に用いられる様々な非分離なアプローチの統一理論が生まれ、深層アンサンブルや(可変的な)ベイズ法などが含まれる。
これはパラメータ化された変分推論に基づく手続きよりも深いアンサンブルが成功した理由に関する新たな見解を提供し、収束保証を持つ新しいセンスリングスキームの導出を可能にする。
熱力学における粒子系の相互作用と直接平行に相互作用するディープアンサンブルの族を提案し、この理論を用いてこれらのアルゴリズムの収束を確率測度の空間上の明確に定義された大域最小化器に証明する。
関連論文リスト
- Robust probabilistic inference via a constrained transport metric [8.85031165304586]
我々は、パラメトリックな分布の族の近くに集中するように慎重に設計された指数関数的に傾いた経験的確に構築することで、新しい代替手段を提供する。
提案手法は,多種多様なロバストな推論問題に応用し,中心分布に付随するパラメータを推論する。
我々は,最先端の頑健なベイズ推論手法と比較した場合,提案手法の優れた性能を示す。
論文 参考訳(メタデータ) (2023-03-17T16:10:06Z) - On Representations of Mean-Field Variational Inference [2.4316550366482357]
平均場変動推論(MFVI)アルゴリズムを解析するためのフレームワークを提案する。
提案手法により,MFVI問題を3つの異なる方法で表現できる。
厳密な保証は、座標の漸進的変分推論アルゴリズムの時分割的な実装が限界の勾配フローをもたらすことを示すために確立される。
論文 参考訳(メタデータ) (2022-10-20T16:26:22Z) - Guaranteed Conservation of Momentum for Learning Particle-based Fluid
Dynamics [96.9177297872723]
本稿では,学習物理シミュレーションにおける線形運動量を保証する新しい手法を提案する。
我々は、強い制約で運動量の保存を強制し、反対称的な連続的な畳み込み層を通して実現する。
提案手法により,学習シミュレータの物理的精度を大幅に向上させることができる。
論文 参考訳(メタデータ) (2022-10-12T09:12:59Z) - The Dynamics of Riemannian Robbins-Monro Algorithms [101.29301565229265]
本稿では,Robins と Monro のセミナル近似フレームワークを一般化し拡張するリーマンアルゴリズムの族を提案する。
ユークリッドのそれと比較すると、リーマンのアルゴリズムは多様体上の大域線型構造が欠如しているため、はるかに理解されていない。
ユークリッド・ロビンス=モンロスキームの既存の理論を反映し拡張するほぼ確実な収束結果の一般的なテンプレートを提供する。
論文 参考訳(メタデータ) (2022-06-14T12:30:11Z) - Counting Phases and Faces Using Bayesian Thermodynamic Integration [77.34726150561087]
本稿では,2パラメータ統計力学系における熱力学関数と位相境界の再構成手法を提案する。
提案手法を用いて,IsingモデルとTASEPの分割関数と位相図を正確に再構成する。
論文 参考訳(メタデータ) (2022-05-18T17:11:23Z) - Harnessing Heterogeneity: Learning from Decomposed Feedback in Bayesian
Modeling [68.69431580852535]
サブグループフィードバックを取り入れた新しいGPレグレッションを導入する。
我々の修正された回帰は、以前のアプローチと比べて、明らかにばらつきを減らし、したがってより正確な後続を減らした。
我々は2つの異なる社会問題に対してアルゴリズムを実行する。
論文 参考訳(メタデータ) (2021-07-07T03:57:22Z) - A Discrete Variational Derivation of Accelerated Methods in Optimization [68.8204255655161]
最適化のための異なる手法を導出できる変分法を導入する。
我々は1対1の対応において最適化手法の2つのファミリを導出する。
自律システムのシンプレクティシティの保存は、ここでは繊維のみに行われる。
論文 参考訳(メタデータ) (2021-06-04T20:21:53Z) - Acceleration Methods [87.07695512525717]
まず,二次最適化問題を用いて,モメンタムとネスト正則性最適化スキームという2つの主要な手法を導入する。
我々は、ネステロフの精巧な研究から始まる運動量法を詳細に論じる。
次に、emphCatalystとemphAccelerated Hybrid Proximal Extragradientフレームワークの中心にある加速度技術をカバーする。
論文 参考訳(メタデータ) (2021-01-23T17:58:25Z) - Distributed Variational Bayesian Algorithms Over Sensor Networks [6.572330981878818]
一般ベイズ推論問題に対する2つの新しい分散VBアルゴリズムを提案する。
提案アルゴリズムは、核融合センターで利用可能な全データに依存する集中型VBアルゴリズムとほぼ同等の性能を有する。
論文 参考訳(メタデータ) (2020-11-27T08:12:18Z) - A Variational View on Bootstrap Ensembles as Bayesian Inference [24.55506395666038]
本稿では,各モデル/粒子がパラメトリックブートストラップと先行の摂動によりデータの摂動に対応するアンサンブルに基づく手法を検討する。
実験により、アンサンブル法がベイズ近似の代替となることが確認された。
論文 参考訳(メタデータ) (2020-06-08T13:01:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。