論文の概要: Deep Ensembles Secretly Perform Empirical Bayes
- arxiv url: http://arxiv.org/abs/2501.17917v1
- Date: Wed, 29 Jan 2025 19:00:01 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-01-31 15:15:50.735103
- Title: Deep Ensembles Secretly Perform Empirical Bayes
- Title（参考訳）: ディープ・アンサンブルは、経験的なベイを秘密裏に演奏する
- Authors: Gabriel Loaiza-Ganem, Valentin Villecroze, Yixin Wang,
- Abstract要約: 深層アンサンブルは暗黙的に学習されたデータに依存した後部でベイズ平均化を行うことを示す。
この観点は2つの大きな利点をもたらす: (i) 深いアンサンブルを理論的に正当化し、その強い経験的性能の説明を与える; (ii) 学習された事前の検査は、それが点質量の混合によって与えられることを明らかにする。
- 参考スコア（独自算出の注目度）: 24.94944362766761
- License:
- Abstract: Quantifying uncertainty in neural networks is a highly relevant problem which is essential to many applications. The two predominant paradigms to tackle this task are Bayesian neural networks (BNNs) and deep ensembles. Despite some similarities between these two approaches, they are typically surmised to lack a formal connection and are thus understood as fundamentally different. BNNs are often touted as more principled due to their reliance on the Bayesian paradigm, whereas ensembles are perceived as more ad-hoc; yet, deep ensembles tend to empirically outperform BNNs, with no satisfying explanation as to why this is the case. In this work we bridge this gap by showing that deep ensembles perform exact Bayesian averaging with a posterior obtained with an implicitly learned data-dependent prior. In other words deep ensembles are Bayesian, or more specifically, they implement an empirical Bayes procedure wherein the prior is learned from the data. This perspective offers two main benefits: (i) it theoretically justifies deep ensembles and thus provides an explanation for their strong empirical performance; and (ii) inspection of the learned prior reveals it is given by a mixture of point masses -- the use of such a strong prior helps elucidate observed phenomena about ensembles. Overall, our work delivers a newfound understanding of deep ensembles which is not only of interest in it of itself, but which is also likely to generate future insights that drive empirical improvements for these models.
- Abstract（参考訳）: ニューラルネットワークにおける不確実性の定量化は、多くのアプリケーションに不可欠である非常に関連する問題である。
この課題に取り組むための2つの主要なパラダイムは、ベイズニューラルネットワーク(BNN)とディープアンサンブルである。
これら2つのアプローチにはいくつかの類似点があるが、それらは一般に正式な接続が欠如していると推測され、したがって根本的に異なると理解される。
BNNはベイズパラダイムに依存しているため、より原理的に評価されることが多いが、アンサンブルはよりアドホックであると見なされている。
本研究では,深いアンサンブルが暗黙的に学習されたデータに依存した先行データを用いて,ベイズ平均化を行うことを示すことにより,このギャップを埋める。
言い換えれば、ディープアンサンブルはベイズ的であり、より具体的には、前者がデータから学習される経験的なベイズ手続きを実装している。
この視点は2つの大きな利点をもたらす。
一 深い合奏を理論的に正当化し、その強い経験的演奏を説明すること。
(二)学習前の検査は、点質量の混合によって与えられることを明らかにし、そのような強い事前の使用は、アンサンブルに関する観察された現象を解明するのに役立つ。
全体として、我々の研究は深層アンサンブルの理解を新たに提供しており、それはそれ自体が興味を持つだけでなく、将来の洞察を生み出し、これらのモデルに実証的な改善をもたらす可能性がある。
関連論文リスト
- Unrolled denoising networks provably learn optimal Bayesian inference [54.79172096306631]
我々は、近似メッセージパッシング(AMP)のアンロールに基づくニューラルネットワークの最初の厳密な学習保証を証明した。
圧縮センシングでは、製品から引き出されたデータに基づいてトレーニングを行うと、ネットワークの層がベイズAMPで使用されるのと同じデノイザーに収束することを示す。
論文 参考訳（メタデータ） (2024-09-19T17:56:16Z) - Towards Understanding Dual BN In Hybrid Adversarial Training [79.92394747290905]
モデルトレーニングにおけるアフィンパラメータのアンタングリングよりも,アンタングリング統計がより少ない役割を担っていることを示す。
本稿では,ハイブリッドAT改善のための実証的基礎と統一的なフレームワークとして機能する2タスク仮説を提案する。
論文 参考訳（メタデータ） (2024-03-28T05:08:25Z) - Learning Discretized Bayesian Networks with GOMEA [0.0]
我々は、可変離散化を共同学習するために、既存の最先端構造学習アプローチを拡張した。
これにより、専門家の知識をユニークな洞察に富んだ方法で組み込むことができ、複雑性、正確性、および事前に決定された専門家ネットワークとの差異をトレードオフする複数のDBNを見つけることができることを示す。
論文 参考訳（メタデータ） (2024-02-19T14:29:35Z) - Implicit Visual Bias Mitigation by Posterior Estimate Sharpening of a
Bayesian Neural Network [7.488317734152586]
ベイズニューラルネットワークを用いた新しい暗黙的緩和法を提案する。
提案手法は,高い不確実性に寄与しないコア特徴に注目することを促す。
論文 参考訳（メタデータ） (2023-03-29T09:47:35Z) - Depth Degeneracy in Neural Networks: Vanishing Angles in Fully Connected ReLU Networks on Initialization [5.678271181959529]
層数の関数としてReLUニューラルネットワークへの2つの入力間の角度の進化について検討する。
モンテカルロ実験を用いて理論的結果を検証し, 有限ネットワークの挙動を正確に近似することを示した。
また,深度縮退現象が実際のネットワークのトレーニングに悪影響を及ぼすかを実証的に検討した。
論文 参考訳（メタデータ） (2023-02-20T01:30:27Z) - Synergies between Disentanglement and Sparsity: Generalization and
Identifiability in Multi-Task Learning [79.83792914684985]
我々は,最大スパース基底予測器が不整合表現をもたらす条件を提供する新しい識別可能性の結果を証明した。
この理論的な結果から,両レベル最適化問題に基づくアンタングル表現学習の実践的アプローチを提案する。
論文 参考訳（メタデータ） (2022-11-26T21:02:09Z) - Deep Ensembles Work, But Are They Necessary? [19.615082441403946]
ニューラルネットワークの組み立ては、精度を高める効果的な方法である。
最近の研究は、深いアンサンブルが予測力以上の利益をもたらす可能性を示唆している。
単一の(しかし大きな)ニューラルネットワークが、これらの品質を複製できることが示されています。
論文 参考訳（メタデータ） (2022-02-14T19:01:01Z) - Mixtures of Laplace Approximations for Improved Post-Hoc Uncertainty in
Deep Learning [24.3370326359959]
独立に訓練された深層ニューラルネットワークのラプラス近似の重み付け和からなるガウス混合モデル後部モデルを用いて予測することを提案する。
我々は,本手法がトレーニングデータから「遠方」に過信を緩和し,標準不確実性定量化ベンチマークにおける最先端のベースラインを実証的に比較することを理論的に検証した。
論文 参考訳（メタデータ） (2021-11-05T15:52:48Z) - What can linearized neural networks actually say about generalization? [67.83999394554621]
ある無限大のニューラルネットワークにおいて、ニューラル・タンジェント・カーネル(NTK)理論は一般化を完全に特徴づける。
線形近似は、ニューラルネットワークの特定のタスクの学習複雑性を確実にランク付けできることを示す。
我々の研究は、将来の理論的研究を刺激する新しい深層学習現象の具体例を提供する。
論文 参考訳（メタデータ） (2021-06-12T13:05:11Z) - SOSD-Net: Joint Semantic Object Segmentation and Depth Estimation from
Monocular images [94.36401543589523]
これら2つのタスクの幾何学的関係を利用するための意味的対象性の概念を紹介します。
次に, 対象性仮定に基づくセマンティックオブジェクト・深さ推定ネットワーク(SOSD-Net)を提案する。
私たちの知識を最大限に活用するために、SOSD-Netは同時単眼深度推定とセマンティックセグメンテーションのためのジオメトリ制約を利用する最初のネットワークです。
論文 参考訳（メタデータ） (2021-01-19T02:41:03Z) - Bayesian Deep Learning and a Probabilistic Perspective of Generalization [56.69671152009899]
ディープアンサンブルはベイズ辺化を近似する有効なメカニズムであることを示す。
また,アトラクションの流域内での辺縁化により,予測分布をさらに改善する関連手法を提案する。
論文 参考訳（メタデータ） (2020-02-20T15:13:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。