論文の概要: A Rigorous Link between Deep Ensembles and (Variational) Bayesian Methods

• arxiv url: http://arxiv.org/abs/2305.15027v2
• Date: Sun, 22 Oct 2023 14:44:18 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-25 11:15:59.858189
• Title: A Rigorous Link between Deep Ensembles and (Variational) Bayesian Methods
• Title（参考訳）: ディープアンサンブルと(変数)ベイズ法による厳密なリンク
• Authors: Veit David Wild, Sahra Ghalebikesabi, Dino Sejdinovic, Jeremias Knoblauch
• Abstract要約: ベイズ的,変分的ベイズ的,アンサンブル法の間の数学的に厳密な関係を確立した。 技術的なレベルでは、ワッサーシュタインフローのレンズを通して一般化された変分推論に寄与する。
• 参考スコア（独自算出の注目度）: 14.845158804951552
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We establish the first mathematically rigorous link between Bayesian, variational Bayesian, and ensemble methods. A key step towards this it to reformulate the non-convex optimisation problem typically encountered in deep learning as a convex optimisation in the space of probability measures. On a technical level, our contribution amounts to studying generalised variational inference through the lense of Wasserstein gradient flows. The result is a unified theory of various seemingly disconnected approaches that are commonly used for uncertainty quantification in deep learning -- including deep ensembles and (variational) Bayesian methods. This offers a fresh perspective on the reasons behind the success of deep ensembles over procedures based on parameterised variational inference, and allows the derivation of new ensembling schemes with convergence guarantees. We showcase this by proposing a family of interacting deep ensembles with direct parallels to the interactions of particle systems in thermodynamics, and use our theory to prove the convergence of these algorithms to a well-defined global minimiser on the space of probability measures.
• Abstract（参考訳）: ベイズ法,変分ベイズ法,アンサンブル法の数学的に厳密な関係を確立する。 これに向けた重要なステップは、確率測度の空間における凸最適化として一般的にディープラーニングで発生する非凸最適化問題を再構築することである。 技術的なレベルでは、ワッサーシュタイン勾配流のレンズを通して一般化された変分推論を研究することに貢献した。 その結果、深層学習における不確かさの定量化に一般的に用いられる様々な非分離なアプローチの統一理論が生まれ、深層アンサンブルや(可変的な)ベイズ法などが含まれる。 これはパラメータ化された変分推論に基づく手続きよりも深いアンサンブルが成功した理由に関する新たな見解を提供し、収束保証を持つ新しいセンスリングスキームの導出を可能にする。 熱力学における粒子系の相互作用と直接平行に相互作用するディープアンサンブルの族を提案し、この理論を用いてこれらのアルゴリズムの収束を確率測度の空間上の明確に定義された大域最小化器に証明する。

関連論文リスト

• Fully Bayesian Differential Gaussian Processes through Stochastic Differential Equations [7.439555720106548]
  本稿では、カーネルハイパーパラメータを確率変数として扱い、結合微分方程式(SDE)を構築して、その後部分布と誘導点を学習する完全ベイズ的手法を提案する。 提案手法は,SDE法による結合変数による時間変化,包括的,現実的な後部近似を提供する。 我々の研究はベイズ的推論を推し進めるためのエキサイティングな研究の道を開き、継続的なガウス的プロセスのための強力なモデリングツールを提供する。
  論文  参考訳（メタデータ） (2024-08-12T11:41:07Z)
• A Unified Theory of Stochastic Proximal Point Methods without Smoothness [52.30944052987393]
  近点法はその数値的安定性と不完全なチューニングに対する頑健性からかなりの関心を集めている。 本稿では,近位点法(SPPM)の幅広いバリエーションの包括的解析について述べる。
  論文  参考訳（メタデータ） (2024-05-24T21:09:19Z)
• On Representations of Mean-Field Variational Inference [2.4316550366482357]
  平均場変動推論(MFVI)アルゴリズムを解析するためのフレームワークを提案する。 提案手法により,MFVI問題を3つの異なる方法で表現できる。 厳密な保証は、座標の漸進的変分推論アルゴリズムの時分割的な実装が限界の勾配フローをもたらすことを示すために確立される。
  論文  参考訳（メタデータ） (2022-10-20T16:26:22Z)
• Guaranteed Conservation of Momentum for Learning Particle-based Fluid Dynamics [96.9177297872723]
  本稿では,学習物理シミュレーションにおける線形運動量を保証する新しい手法を提案する。 我々は、強い制約で運動量の保存を強制し、反対称的な連続的な畳み込み層を通して実現する。 提案手法により,学習シミュレータの物理的精度を大幅に向上させることができる。
  論文  参考訳（メタデータ） (2022-10-12T09:12:59Z)
• The Dynamics of Riemannian Robbins-Monro Algorithms [101.29301565229265]
  本稿では,Robins と Monro のセミナル近似フレームワークを一般化し拡張するリーマンアルゴリズムの族を提案する。 ユークリッドのそれと比較すると、リーマンのアルゴリズムは多様体上の大域線型構造が欠如しているため、はるかに理解されていない。 ユークリッド・ロビンス=モンロスキームの既存の理論を反映し拡張するほぼ確実な収束結果の一般的なテンプレートを提供する。
  論文  参考訳（メタデータ） (2022-06-14T12:30:11Z)
• Harnessing Heterogeneity: Learning from Decomposed Feedback in Bayesian Modeling [68.69431580852535]
  サブグループフィードバックを取り入れた新しいGPレグレッションを導入する。 我々の修正された回帰は、以前のアプローチと比べて、明らかにばらつきを減らし、したがってより正確な後続を減らした。 我々は2つの異なる社会問題に対してアルゴリズムを実行する。
  論文  参考訳（メタデータ） (2021-07-07T03:57:22Z)
• A Discrete Variational Derivation of Accelerated Methods in Optimization [68.8204255655161]
  最適化のための異なる手法を導出できる変分法を導入する。 我々は1対1の対応において最適化手法の2つのファミリを導出する。 自律システムのシンプレクティシティの保存は、ここでは繊維のみに行われる。
  論文  参考訳（メタデータ） (2021-06-04T20:21:53Z)
• Acceleration Methods [57.202881673406324]
  まず2次最適化問題を用いて加速法を2つ導入する。 我々は、ネステロフの精巧な研究から始まる運動量法を詳細に論じる。 我々は、ほぼ最適な収束率に達するための一連の簡単な手法である再起動スキームを議論することで結論付ける。
  論文  参考訳（メタデータ） (2021-01-23T17:58:25Z)
• Distributed Variational Bayesian Algorithms Over Sensor Networks [6.572330981878818]
  一般ベイズ推論問題に対する2つの新しい分散VBアルゴリズムを提案する。 提案アルゴリズムは、核融合センターで利用可能な全データに依存する集中型VBアルゴリズムとほぼ同等の性能を有する。
  論文  参考訳（メタデータ） (2020-11-27T08:12:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。