論文の概要: Pathologies of Predictive Diversity in Deep Ensembles
- arxiv url: http://arxiv.org/abs/2302.00704v1
- Date: Wed, 1 Feb 2023 19:01:18 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-03 16:25:32.330265
- Title: Pathologies of Predictive Diversity in Deep Ensembles
- Title(参考訳): 深層集合における予測多様性の病理
- Authors: Taiga Abe, E. Kelly Buchanan, Geoff Pleiss, John P. Cunningham
- Abstract要約: 直感は、分類に使用される深層ニューラルネットワークのアンサンブルには及ばないことを示す。
多様性向上型正規化器は, 分類に用いる高容量深層アンサンブルの性能を損なうことを示した。
さらに驚くべきことに、予測の多様性を損なうことは有益である。
- 参考スコア(独自算出の注目度): 21.428068429319044
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Classical results establish that ensembles of small models benefit when
predictive diversity is encouraged, through bagging, boosting, and similar.
Here we demonstrate that this intuition does not carry over to ensembles of
deep neural networks used for classification, and in fact the opposite can be
true. Unlike regression models or small (unconfident) classifiers, predictions
from large (confident) neural networks concentrate in vertices of the
probability simplex. Thus, decorrelating these points necessarily moves the
ensemble prediction away from vertices, harming confidence and moving points
across decision boundaries. Through large scale experiments, we demonstrate
that diversity-encouraging regularizers hurt the performance of high-capacity
deep ensembles used for classification. Even more surprisingly, discouraging
predictive diversity can be beneficial. Together this work strongly suggests
that the best strategy for deep ensembles is utilizing more accurate, but
likely less diverse, component models.
- Abstract(参考訳): 古典的な結果は、小さなモデルのアンサンブルが、袋詰めやブースティングなどを通じて、予測の多様性が奨励されるときに利益をもたらすことを証明している。
ここでは、この直観が分類に使用されるディープニューラルネットワークのアンサンブルに受け継がれず、実際にはその逆が真であることを示す。
回帰モデルや小さな(信頼できる)分類器とは異なり、大きな(信頼できる)ニューラルネットワークからの予測は確率単純性の頂点に集中する。
したがって、これらの点の分離は必ずしもアンサンブル予測を頂点から遠ざけ、決定境界を越える信頼と移動ポイントを損なう。
大規模実験により,多様性向上型正規化器は,分類に用いる高容量深層アンサンブルの性能を損なうことを示した。
さらに驚くべきことに、予測の多様性を損なうことは有益である。
この研究は、深層アンサンブルにとって最善の戦略は、より正確だがより多様でないコンポーネントモデルを活用することだと強く示唆している。
関連論文リスト
- Mitigating Biases with Diverse Ensembles and Diffusion Models [99.6100669122048]
拡散確率モデル(DPM)を利用したアンサンブル多様化フレームワークを提案する。
DPMは、相関した入力特徴を示すサンプルを用いて訓練しても、新しい特徴の組み合わせで画像を生成することができることを示す。
そこで本研究では,DPM誘導の多様化は,制御信号の追加を必要とせず,一次ショートカットキューへの依存を取り除くのに十分であることを示す。
論文 参考訳(メタデータ) (2023-11-23T15:47:33Z) - Leveraging Diffusion Disentangled Representations to Mitigate Shortcuts
in Underspecified Visual Tasks [92.32670915472099]
拡散確率モデル(DPM)を用いた合成カウンターファクトの生成を利用したアンサンブルの多様化フレームワークを提案する。
拡散誘導型分散化は,データ収集を必要とする従来の手法に匹敵するアンサンブル多様性を達成し,ショートカットからの注意を回避できることを示す。
論文 参考訳(メタデータ) (2023-10-03T17:37:52Z) - Diversified Ensemble of Independent Sub-Networks for Robust
Self-Supervised Representation Learning [10.784911682565879]
ニューラルネットワークの組み立ては、モデルの性能を高め、不確実性を推定し、深い教師付き学習における堅牢性を改善するために広く認識されているアプローチである。
独立サブネットワークのアンサンブルを活用した,新たな自己指導型トレーニングシステムを提案する。
提案手法は,高多様性のサブモデルアンサンブルを効率的に構築し,モデル不確実性の評価を行う。
論文 参考訳(メタデータ) (2023-08-28T16:58:44Z) - Joint Training of Deep Ensembles Fails Due to Learner Collusion [61.557412796012535]
機械学習モデルのアンサンブルは、単一のモデルよりもパフォーマンスを改善する強力な方法として確立されている。
伝統的に、アンサンブルアルゴリズムは、ジョイントパフォーマンスの最適化を目標として、ベースラーナーを独立または逐次訓練する。
アンサンブルの損失を最小化することは、実際にはほとんど適用されないことを示す。
論文 参考訳(メタデータ) (2023-01-26T18:58:07Z) - Deep Negative Correlation Classification [82.45045814842595]
既存のディープアンサンブル手法は、多くの異なるモデルをナビゲートし、予測を集約する。
深部負相関分類(DNCC)を提案する。
DNCCは、個々の推定器が正確かつ負の相関を持つ深い分類アンサンブルを生成する。
論文 参考訳(メタデータ) (2022-12-14T07:35:20Z) - Equivariant Transduction through Invariant Alignment [71.45263447328374]
グループ内ハードアライメント機構を組み込んだ,新しいグループ同変アーキテクチャを提案する。
我々のネットワーク構造は、既存のグループ同変アプローチよりも強い同変特性を発達させることができる。
また、SCANタスクにおいて、従来のグループ同変ネットワークよりも経験的に優れていたことが判明した。
論文 参考訳(メタデータ) (2022-09-22T11:19:45Z) - Sequential Bayesian Neural Subnetwork Ensembles [3.954301343416333]
本稿では,疎性誘導前処理によるモデル複雑性を低減する動的ベイズニューラルワークのシーケンシャルアンサンブルを提案する。
実験により,提案手法が高次頻度およびベイズアンサンブルモデルのベースラインを超えることを示す。
論文 参考訳(メタデータ) (2022-06-01T22:57:52Z) - Deep Ensembles Work, But Are They Necessary? [19.615082441403946]
ニューラルネットワークの組み立ては、精度を高める効果的な方法である。
最近の研究は、深いアンサンブルが予測力以上の利益をもたらす可能性を示唆している。
単一の(しかし大きな)ニューラルネットワークが、これらの品質を複製できることが示されています。
論文 参考訳(メタデータ) (2022-02-14T19:01:01Z) - Diversity and Generalization in Neural Network Ensembles [0.0]
これまでに公表された結果を、多様性とアンサンブルのパフォーマンスの関係を記述した理論的に健全な枠組みで組み合わせて拡張する。
多様性を測定する方法、多様性がアンサンブルの一般化誤差とどのように関係しているか、そして、ニューラルネットワークアンサンブルアルゴリズムによって多様性が促進されるか、といった質問に対して、音声による回答を提供する。
論文 参考訳(メタデータ) (2021-10-26T15:41:10Z) - Recursive Multi-model Complementary Deep Fusion forRobust Salient Object
Detection via Parallel Sub Networks [62.26677215668959]
完全畳み込みネットワークは、正体検出(SOD)分野において優れた性能を示している。
本稿では,全く異なるネットワークアーキテクチャを持つ並列サブネットワークからなる,より広いネットワークアーキテクチャを提案する。
いくつかの有名なベンチマークの実験では、提案されたより広範なフレームワークの優れた性能、優れた一般化、強力な学習能力が明らかに示されている。
論文 参考訳(メタデータ) (2020-08-07T10:39:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。