論文の概要: Deep Ensembles Work, But Are They Necessary?

• arxiv url: http://arxiv.org/abs/2202.06985v1
• Date: Mon, 14 Feb 2022 19:01:01 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-17 10:16:53.326366
• Title: Deep Ensembles Work, But Are They Necessary?
• Title（参考訳）: 深いアンサンブルは機能しますが、必要か?
• Authors: Taiga Abe, E. Kelly Buchanan, Geoff Pleiss, Richard Zemel, John P. Cunningham
• Abstract要約: ニューラルネットワークの組み立ては、精度を高める効果的な方法である。 最近の研究は、深いアンサンブルが予測力以上の利益をもたらす可能性を示唆している。 単一の(しかし大きな)ニューラルネットワークが、これらの品質を複製できることが示されています。
• 参考スコア（独自算出の注目度）: 19.615082441403946
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Ensembling neural networks is an effective way to increase accuracy, and can often match the performance of larger models. This observation poses a natural question: given the choice between a deep ensemble and a single neural network with similar accuracy, is one preferable over the other? Recent work suggests that deep ensembles may offer benefits beyond predictive power: namely, uncertainty quantification and robustness to dataset shift. In this work, we demonstrate limitations to these purported benefits, and show that a single (but larger) neural network can replicate these qualities. First, we show that ensemble diversity, by any metric, does not meaningfully contribute to an ensemble's ability to detect out-of-distribution (OOD) data, and that one can estimate ensemble diversity by measuring the relative improvement of a single larger model. Second, we show that the OOD performance afforded by ensembles is strongly determined by their in-distribution (InD) performance, and -- in this sense -- is not indicative of any "effective robustness". While deep ensembles are a practical way to achieve performance improvement (in agreement with prior work), our results show that they may be a tool of convenience rather than a fundamentally better model class.
• Abstract（参考訳）: ニューラルネットワークの組み立ては、精度を高める効果的な方法であり、より大きなモデルの性能にマッチすることが多い。 ディープアンサンブルと同じような精度の1つのニューラルネットワークの選択を考えると、もう1つはどちらよりも好ましいのでしょうか? 最近の研究は、深層アンサンブルが予測能力以上の利点、すなわちデータセットシフトに対する不確実な定量化とロバスト性をもたらす可能性を示唆している。 この研究では、これらの利点の限界を示し、単一の(しかし大きい)ニューラルネットワークがこれらの性質を再現できることを示します。 まず、アンサンブルの多様性は、任意の計量によって、アンサンブルのアウト・オブ・ディストリビューション(OOD)データを検出する能力に有意に寄与せず、一つの大きなモデルの相対的な改善を測定することでアンサンブルの多様性を推定できることを示す。 第2に,アンサンブルによって得られるOOD性能は,その分布内(InD)性能によって強く決定され,その意味では「有効な堅牢性」を示すものではないことを示す。 深層アンサンブルは(事前の作業と一致して)パフォーマンス改善を実現する実践的な方法であるが,本研究の結果から,モデルクラスよりも便利である可能性が示唆された。

関連論文リスト

• Improving Network Interpretability via Explanation Consistency Evaluation [56.14036428778861]
  本稿では、より説明可能なアクティベーションヒートマップを取得し、同時にモデル性能を向上させるフレームワークを提案する。 具体的には、モデル学習において、トレーニングサンプルを適応的に重み付けするために、新しいメトリクス、すなわち説明整合性を導入する。 そこで,本フレームワークは,これらのトレーニングサンプルに深い注意を払ってモデル学習を促進する。
  論文  参考訳（メタデータ） (2024-08-08T17:20:08Z)
• Window-Based Early-Exit Cascades for Uncertainty Estimation: When Deep Ensembles are More Efficient than Single Models [5.0401589279256065]
  アンサンブルは、アーキテクチャファミリ内の単一モデルをスケーリングするよりも、より計算的に(推論において)効率的であることを示す。 本研究では,不確実性推定に関連する課題に対して,これらの効率性の向上について検討する。 多数のネットワークアーキテクチャおよび不確実性タスクにわたるImageNetスケールデータの実験により、提案したウィンドウベースの早期実行アプローチは、より優れた不確実性計算トレードオフを実現することができることを示す。
  論文  参考訳（メタデータ） (2023-03-14T15:57:54Z)
• FAIR-Ensemble: When Fairness Naturally Emerges From Deep Ensembling [17.731480052857158]
  複数のディープニューラルネットワーク(DNN)を組み立てることは、トップラインメトリクスを改善するためのシンプルで効果的な方法である。 本研究では,アンサンブルがサブグループパフォーマンスに与える影響について検討する。
  論文  参考訳（メタデータ） (2023-03-01T15:28:26Z)
• Pathologies of Predictive Diversity in Deep Ensembles [29.893614175153235]
  古典的な結果は、予測多様性の促進が低容量モデルのアンサンブルのパフォーマンスを向上させることを証明している。 ここでは、これらの直観が高容量ニューラルネットワークアンサンブル(ディープアンサンブル)には適用されないことを示す。
  論文  参考訳（メタデータ） (2023-02-01T19:01:18Z)
• Are Sample-Efficient NLP Models More Robust? [90.54786862811183]
  サンプル効率(所定のID精度に到達するために必要なデータ量)とロバスト性(OOD評価モデルの評価方法)の関係について検討する。 高いサンプル効率は、いくつかのモデリング介入やタスクにおいて、より平均的なOODロバスト性にのみ相関するが、それ以外は相関しない。 これらの結果から,サンプル効率向上のための汎用手法は,データセットとタスクに依存した汎用的なOODロバスト性向上をもたらす可能性が示唆された。
  論文  参考訳（メタデータ） (2022-10-12T17:54:59Z)
• Training independent subnetworks for robust prediction [47.81111607870936]
  一つのモデルの前方通過の下で、複数の予測を使用することの利点を無償で実現できることを示す。 CIFAR10, CIFAR100, ImageNet, およびそれらのアウト・オブ・ディストリビューション変種に対する負のログ類似度, 精度, 校正誤差の大幅な改善を観察した。
  論文  参考訳（メタデータ） (2020-10-13T18:05:13Z)
• Neural Additive Models: Interpretable Machine Learning with Neural Nets [77.66871378302774]
  ディープニューラルネットワーク(DNN)は、さまざまなタスクにおいて優れたパフォーマンスを達成した強力なブラックボックス予測器である。 本稿では、DNNの表現性と一般化した加法モデルの固有知性を組み合わせたニューラル付加モデル(NAM)を提案する。 NAMは、ニューラルネットワークの線形結合を学び、それぞれが単一の入力機能に付随する。
  論文  参考訳（メタデータ） (2020-04-29T01:28:32Z)
• Diversity inducing Information Bottleneck in Model Ensembles [73.80615604822435]
  本稿では,予測の多様性を奨励することで,ニューラルネットワークの効果的なアンサンブルを生成する問題をターゲットにする。 そこで本研究では,潜伏変数の学習における逆損失の多様性を明示的に最適化し,マルチモーダルデータのモデリングに必要な出力予測の多様性を得る。 最も競争力のあるベースラインと比較して、データ分布の変化の下で、分類精度が大幅に向上した。
  論文  参考訳（メタデータ） (2020-03-10T03:10:41Z)
• Triple Wins: Boosting Accuracy, Robustness and Efficiency Together by Enabling Input-Adaptive Inference [119.19779637025444]
  深層ネットワークは、(クリーンな自然画像の場合)正確さと(敵対的な摂動画像の場合)頑健さの相違に直面することを最近提案された。 本稿では,入力適応推論に関連するマルチエグジットネットワークについて検討し,モデル精度,ロバスト性,効率の最適化において「スイートポイント」を達成する上での強い期待を示す。
  論文  参考訳（メタデータ） (2020-02-24T00:40:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。