論文の概要: Greedy Bayesian Posterior Approximation with Deep Ensembles

• arxiv url: http://arxiv.org/abs/2105.14275v2
• Date: Tue, 1 Jun 2021 07:29:42 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-05 17:59:57.676181
• Title: Greedy Bayesian Posterior Approximation with Deep Ensembles
• Title（参考訳）: 深部アンサンブルを用いたGreedy Bayesian Posterior Approximation
• Authors: Aleksei Tiulpin and Matthew B. Blaschko
• Abstract要約: 独立して訓練された目的の集合は、ディープラーニングにおける予測の不確実性を推定するための最先端のアプローチである。 関数空間における任意の問題に対する成分の混合に対して,本手法は部分モジュラーであることを示す。
• 参考スコア（独自算出の注目度）: 22.466176036646814
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Ensembles of independently trained neural networks are a state-of-the-art approach to estimate predictive uncertainty in Deep Learning, and can be interpreted as an approximation of the posterior distribution via a mixture of delta functions. The training of ensembles relies on non-convexity of the loss landscape and random initialization of their individual members, making the resulting posterior approximation uncontrolled. This paper proposes a novel and principled method to tackle this limitation, minimizing an $f$-divergence between the true posterior and a kernel density estimator in a function space. We analyze this objective from a combinatorial point of view, and show that it is submodular with respect to mixture components for any $f$. Subsequently, we consider the problem of greedy ensemble construction, and from the marginal gain of the total objective, we derive a novel diversity term for ensemble methods. The performance of our approach is demonstrated on computer vision out-of-distribution benchmarks in a range of architectures trained on multiple datasets. The source code of our method is publicly available at https://github.com/MIPT-Oulu/greedy_ensembles_training.
• Abstract（参考訳）: 独立に訓練されたニューラルネットワークのアンサンブルは、ディープラーニングにおける予測の不確かさを推定するための最先端のアプローチであり、デルタ関数の混合による後方分布の近似と解釈できる。 アンサンブルの訓練は、損失ランドスケープの非凸性と個々のメンバーのランダムな初期化に依存し、その結果の後方近似は制御されない。 本稿では,関数空間における実後部とカーネル密度推定器間の$f$-divergenceを最小化する,この制限に対処する新しい原理的手法を提案する。 我々は、この目的を組合せの観点から分析し、任意の$f$ に対して混合成分に関して亜モジュラーであることを示す。 その後, グリーディアンサンブル構築の問題を考えるとともに, 全目的の限界ゲインから, アンサンブル法の新たな多様性用語を導出する。 このアプローチのパフォーマンスは、複数のデータセットでトレーニングされたさまざまなアーキテクチャにおける、コンピュータビジョンの分散ベンチマークで実証されます。 本手法のソースコードはhttps://github.com/MIPT-Oulu/greedy_ensembles_trainingで公開されている。

関連論文リスト

• Learning general Gaussian mixtures with efficient score matching [16.06356123715737]
  我々は、$d$次元で$k$ガウシアンの混合を学習する問題を研究する。 我々は、下層の混合成分について分離を前提としない。 我々は、ターゲット混合物から$dmathrmpoly(k/varepsilon)$サンプルを抽出し、サンプル-ポリノミカル時間で実行し、サンプリング器を構築するアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-04-29T17:30:36Z)
• Collaborative Heterogeneous Causal Inference Beyond Meta-analysis [68.4474531911361]
  異種データを用いた因果推論のための協調的逆確率スコア推定器を提案する。 異質性の増加に伴うメタアナリシスに基づく手法に対して,本手法は有意な改善を示した。
  論文  参考訳（メタデータ） (2024-04-24T09:04:36Z)
• Tackling Computational Heterogeneity in FL: A Few Theoretical Insights [68.8204255655161]
  我々は、計算異種データの形式化と処理を可能にする新しい集約フレームワークを導入し、分析する。 提案するアグリゲーションアルゴリズムは理論的および実験的予測から広範囲に解析される。
  論文  参考訳（メタデータ） (2023-07-12T16:28:21Z)
• Diverse Projection Ensembles for Distributional Reinforcement Learning [6.754994171490016]
  この研究は、分布的アンサンブルにおけるいくつかの異なる射影と表現の組み合わせを研究する。 我々は、平均1ドル=ワッサーシュタイン距離で測定されるアンサンブル不一致を、深層探査のボーナスとして利用するアルゴリズムを導出する。
  論文  参考訳（メタデータ） (2023-06-12T13:59:48Z)
• Federated Learning as Variational Inference: A Scalable Expectation Propagation Approach [66.9033666087719]
  本稿では,推論の視点を拡張し,フェデレート学習の変分推論の定式化について述べる。 我々は、FedEPを標準フェデレーション学習ベンチマークに適用し、収束速度と精度の両方において、強いベースラインを上回ります。
  論文  参考訳（メタデータ） (2023-02-08T17:58:11Z)
• Mixtures of Laplace Approximations for Improved Post-Hoc Uncertainty in Deep Learning [24.3370326359959]
  独立に訓練された深層ニューラルネットワークのラプラス近似の重み付け和からなるガウス混合モデル後部モデルを用いて予測することを提案する。 我々は,本手法がトレーニングデータから「遠方」に過信を緩和し,標準不確実性定量化ベンチマークにおける最先端のベースラインを実証的に比較することを理論的に検証した。
  論文  参考訳（メタデータ） (2021-11-05T15:52:48Z)
• Deep Shells: Unsupervised Shape Correspondence with Optimal Transport [52.646396621449]
  本稿では,3次元形状対応のための教師なし学習手法を提案する。 提案手法は,複数のデータセット上での最先端技術よりも大幅に改善されていることを示す。
  論文  参考訳（メタデータ） (2020-10-28T22:24:07Z)
• Model Fusion with Kullback--Leibler Divergence [58.20269014662046]
  異種データセットから学習した後続分布を融合する手法を提案する。 我々のアルゴリズムは、融合モデルと個々のデータセット後部の両方に対する平均場仮定に依存している。
  論文  参考訳（メタデータ） (2020-07-13T03:27:45Z)
• Mean-Field Approximation to Gaussian-Softmax Integral with Application to Uncertainty Estimation [23.38076756988258]
  ディープニューラルネットワークにおける不確実性を定量化するための,新しい単一モデルに基づくアプローチを提案する。 平均場近似式を用いて解析的に難解な積分を計算する。 実験的に,提案手法は最先端の手法と比較して競合的に機能する。
  論文  参考訳（メタデータ） (2020-06-13T07:32:38Z)
• A General Method for Robust Learning from Batches [56.59844655107251]
  本稿では,バッチから頑健な学習を行う一般的なフレームワークについて考察し,連続ドメインを含む任意の領域に対する分類と分布推定の限界について考察する。 本手法は,一括分節分類,一括分節,単調,対数凹,ガウス混合分布推定のための,最初の頑健な計算効率の学習アルゴリズムを導出する。
  論文  参考訳（メタデータ） (2020-02-25T18:53:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。