論文の概要: Pathologies of Predictive Diversity in Deep Ensembles

• arxiv url: http://arxiv.org/abs/2302.00704v3
• Date: Tue, 9 Jan 2024 20:49:05 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-11 18:08:33.651564
• Title: Pathologies of Predictive Diversity in Deep Ensembles
• Title（参考訳）: 深層集合における予測多様性の病理
• Authors: Taiga Abe, E. Kelly Buchanan, Geoff Pleiss, John P. Cunningham
• Abstract要約: 古典的な結果は、予測多様性の促進が低容量モデルのアンサンブルのパフォーマンスを向上させることを証明している。 ここでは、これらの直観が高容量ニューラルネットワークアンサンブル(ディープアンサンブル)には適用されないことを示す。
• 参考スコア（独自算出の注目度）: 29.893614175153235
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Classic results establish that encouraging predictive diversity improves performance in ensembles of low-capacity models, e.g. through bagging or boosting. Here we demonstrate that these intuitions do not apply to high-capacity neural network ensembles (deep ensembles), and in fact the opposite is often true. In a large scale study of nearly 600 neural network classification ensembles, we examine a variety of interventions that trade off component model performance for predictive diversity. While such interventions can improve the performance of small neural network ensembles (in line with standard intuitions), they harm the performance of the large neural network ensembles most often used in practice. Surprisingly, we also find that discouraging predictive diversity is often benign in large-network ensembles, fully inverting standard intuitions. Even when diversity-promoting interventions do not sacrifice component model performance (e.g. using heterogeneous architectures and training paradigms), we observe an opportunity cost associated with pursuing increased predictive diversity. Examining over 1000 ensembles, we observe that the performance benefits of diverse architectures/training procedures are easily dwarfed by the benefits of simply using higher-capacity models, despite the fact that such higher capacity models often yield significantly less predictive diversity. Overall, our findings demonstrate that standard intuitions around predictive diversity, originally developed for low-capacity ensembles, do not directly apply to modern high-capacity deep ensembles. This work clarifies fundamental challenges to the goal of improving deep ensembles by making them more diverse, while suggesting an alternative path: simply forming ensembles from ever more powerful (and less diverse) component models.
• Abstract（参考訳）: 古典的な結果は、予測的多様性の促進が低容量モデルのアンサンブル(袋詰めやブースティングなど)のパフォーマンスを向上させることを証明している。 ここでは、これらの直観が高容量ニューラルネットワークアンサンブル(ディープアンサンブル)には適用されないことを実証する。 約600のニューラルネットワーク分類アンサンブルの大規模研究において、予測多様性のためにコンポーネントモデル性能をトレードオフする様々な介入を検討する。 このような介入は(標準的な直観と並んで)小さなニューラルネットワークアンサンブルのパフォーマンスを改善することができるが、実際には最も多く使われる大規模ニューラルネットワークアンサンブルのパフォーマンスを損なう。 驚くべきことに、予測の多様性を損なうことは、大きなネットワークのアンサンブルにおいてしばしば、標準の直観を完全に反転させる。 多様性を促進する介入がコンポーネントモデルのパフォーマンスを犠牲にしない場合(異種アーキテクチャやトレーニングパラダイムなど)であっても、予測の多様性向上に関連する機会コストを観察します。 1000以上のアンサンブルを見てみると、このような高いキャパシティモデルが予測的多様性を著しく低下させるという事実にもかかわらず、多種多様なアーキテクチャ/トレーニング手順の性能上の利点は、単に高容量モデルを使用することの利点によって容易に劣っていることが分かる。 全体として,従来の低容量アンサンブルのために開発された予測多様性に関する標準的な直観は,現代の高容量ディープアンサンブルには直接適用されない。 この研究は、より多様にすることで深層アンサンブルを改善するという目標に対して、基本的な課題を明確にすると同時に、より強力な(そしてより多様でない)コンポーネントモデルから単にアンサンブルを形成するという代替経路を提案する。

関連論文リスト

• Dynamic Post-Hoc Neural Ensemblers [55.15643209328513]
  本研究では,ニューラルネットワークをアンサンブル手法として活用することを検討する。 低多様性のアンサンブルを学習するリスクを動機として,ベースモデル予測をランダムにドロップすることでモデルの正規化を提案する。 このアプローチはアンサンブル内の多様性を低くし、オーバーフィッティングを減らし、一般化能力を向上させる。
  論文  参考訳（メタデータ） (2024-10-06T15:25:39Z)
• Improving Network Interpretability via Explanation Consistency Evaluation [56.14036428778861]
  本稿では、より説明可能なアクティベーションヒートマップを取得し、同時にモデル性能を向上させるフレームワークを提案する。 具体的には、モデル学習において、トレーニングサンプルを適応的に重み付けするために、新しいメトリクス、すなわち説明整合性を導入する。 そこで,本フレームワークは,これらのトレーニングサンプルに深い注意を払ってモデル学習を促進する。
  論文  参考訳（メタデータ） (2024-08-08T17:20:08Z)
• Leveraging Diffusion Disentangled Representations to Mitigate Shortcuts in Underspecified Visual Tasks [92.32670915472099]
  拡散確率モデル(DPM)を用いた合成カウンターファクトの生成を利用したアンサンブルの多様化フレームワークを提案する。 拡散誘導型分散化は,データ収集を必要とする従来の手法に匹敵するアンサンブル多様性を達成し,ショートカットからの注意を回避できることを示す。
  論文  参考訳（メタデータ） (2023-10-03T17:37:52Z)
• Diversified Ensemble of Independent Sub-Networks for Robust Self-Supervised Representation Learning [10.784911682565879]
  ニューラルネットワークの組み立ては、モデルの性能を高め、不確実性を推定し、深い教師付き学習における堅牢性を改善するために広く認識されているアプローチである。 独立サブネットワークのアンサンブルを活用した,新たな自己指導型トレーニングシステムを提案する。 提案手法は,高多様性のサブモデルアンサンブルを効率的に構築し,モデル不確実性の評価を行う。
  論文  参考訳（メタデータ） (2023-08-28T16:58:44Z)
• Joint Training of Deep Ensembles Fails Due to Learner Collusion [61.557412796012535]
  機械学習モデルのアンサンブルは、単一のモデルよりもパフォーマンスを改善する強力な方法として確立されている。 伝統的に、アンサンブルアルゴリズムは、ジョイントパフォーマンスの最適化を目標として、ベースラーナーを独立または逐次訓練する。 アンサンブルの損失を最小化することは、実際にはほとんど適用されないことを示す。
  論文  参考訳（メタデータ） (2023-01-26T18:58:07Z)
• Deep Negative Correlation Classification [82.45045814842595]
  既存のディープアンサンブル手法は、多くの異なるモデルをナビゲートし、予測を集約する。 深部負相関分類(DNCC)を提案する。 DNCCは、個々の推定器が正確かつ負の相関を持つ深い分類アンサンブルを生成する。
  論文  参考訳（メタデータ） (2022-12-14T07:35:20Z)
• Sequential Bayesian Neural Subnetwork Ensembles [4.6354120722975125]
  本稿では、トレーニング過程を通じてモデルの複雑さを一貫して維持する動的ベイズニューラルワークのシーケンシャルアンサンブルに対するアプローチを提案する。 提案手法は,予測精度,不確実性推定,アウト・オブ・ディストリビューション検出,および対向ロバスト性の観点から,従来の密度決定モデルとスパース決定モデル,ベイズアンサンブルモデルより優れる。
  論文  参考訳（メタデータ） (2022-06-01T22:57:52Z)
• Deep Ensembles Work, But Are They Necessary? [19.615082441403946]
  ニューラルネットワークの組み立ては、精度を高める効果的な方法である。 最近の研究は、深いアンサンブルが予測力以上の利益をもたらす可能性を示唆している。 単一の(しかし大きな)ニューラルネットワークが、これらの品質を複製できることが示されています。
  論文  参考訳（メタデータ） (2022-02-14T19:01:01Z)
• Diversity and Generalization in Neural Network Ensembles [0.0]
  これまでに公表された結果を、多様性とアンサンブルのパフォーマンスの関係を記述した理論的に健全な枠組みで組み合わせて拡張する。 多様性を測定する方法、多様性がアンサンブルの一般化誤差とどのように関係しているか、そして、ニューラルネットワークアンサンブルアルゴリズムによって多様性が促進されるか、といった質問に対して、音声による回答を提供する。
  論文  参考訳（メタデータ） (2021-10-26T15:41:10Z)
• Recursive Multi-model Complementary Deep Fusion forRobust Salient Object Detection via Parallel Sub Networks [62.26677215668959]
  完全畳み込みネットワークは、正体検出(SOD)分野において優れた性能を示している。 本稿では,全く異なるネットワークアーキテクチャを持つ並列サブネットワークからなる,より広いネットワークアーキテクチャを提案する。 いくつかの有名なベンチマークの実験では、提案されたより広範なフレームワークの優れた性能、優れた一般化、強力な学習能力が明らかに示されている。
  論文  参考訳（メタデータ） (2020-08-07T10:39:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。