論文の概要: Diversity and Generalization in Neural Network Ensembles
- arxiv url: http://arxiv.org/abs/2110.13786v1
- Date: Tue, 26 Oct 2021 15:41:10 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-27 16:30:40.575083
- Title: Diversity and Generalization in Neural Network Ensembles
- Title(参考訳): ニューラルネットワークの多様性と一般化
- Authors: Luis A. Ortega, Rafael Caba\~nas, Andr\'es R. Masegosa
- Abstract要約: これまでに公表された結果を、多様性とアンサンブルのパフォーマンスの関係を記述した理論的に健全な枠組みで組み合わせて拡張する。
多様性を測定する方法、多様性がアンサンブルの一般化誤差とどのように関係しているか、そして、ニューラルネットワークアンサンブルアルゴリズムによって多様性が促進されるか、といった質問に対して、音声による回答を提供する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Ensembles are widely used in machine learning and, usually, provide
state-of-the-art performance in many prediction tasks. From the very beginning,
the diversity of an ensemble has been identified as a key factor for the
superior performance of these models. But the exact role that diversity plays
in ensemble models is poorly understood, specially in the context of neural
networks. In this work, we combine and expand previously published results in a
theoretically sound framework that describes the relationship between diversity
and ensemble performance for a wide range of ensemble methods. More precisely,
we provide sound answers to the following questions: how to measure diversity,
how diversity relates to the generalization error of an ensemble, and how
diversity is promoted by neural network ensemble algorithms. This analysis
covers three widely used loss functions, namely, the squared loss, the
cross-entropy loss, and the 0-1 loss; and two widely used model combination
strategies, namely, model averaging and weighted majority vote. We empirically
validate this theoretical analysis with neural network ensembles.
- Abstract(参考訳): アンサンブルは機械学習で広く使われ、通常、多くの予測タスクで最先端のパフォーマンスを提供する。
初期から、アンサンブルの多様性は、これらのモデルの優れた性能の鍵要因として認識されてきた。
しかし、アンサンブルモデルにおいて多様性が果たす正確な役割は、特にニューラルネットワークの文脈では理解されていない。
本研究では,様々なアンサンブル手法の多様性とアンサンブル性能の関係を記述した理論的に健全な枠組みを用いて,先行した結果を合成・拡張する。
より正確には、多様性を測定する方法、アンサンブルの一般化誤差に多様性がどのように関係するか、そしてニューラルネットワークアンサンブルアルゴリズムによって多様性がどのように促進されるかである。
この分析は、二乗損失、クロスエントロピー損失、0-1損失という3つの広く使われている損失関数と、モデル平均化と重み付き多数決という2つの一般的なモデル組み合わせ戦略を含む。
ニューラルネットワークアンサンブルを用いた理論的解析を実証的に検証する。
関連論文リスト
- Dynamic Post-Hoc Neural Ensemblers [55.15643209328513]
本研究では,ニューラルネットワークをアンサンブル手法として活用することを検討する。
低多様性のアンサンブルを学習するリスクを動機として,ベースモデル予測をランダムにドロップすることでモデルの正規化を提案する。
このアプローチはアンサンブル内の多様性を低くし、オーバーフィッティングを減らし、一般化能力を向上させる。
論文 参考訳(メタデータ) (2024-10-06T15:25:39Z) - Generalization and Estimation Error Bounds for Model-based Neural
Networks [78.88759757988761]
スパースリカバリのためのモデルベースネットワークの一般化能力は、通常のReLUネットワークよりも優れていることを示す。
我々は,高一般化を保証したモデルベースネットワークの構築を可能にする実用的な設計規則を導出する。
論文 参考訳(メタデータ) (2023-04-19T16:39:44Z) - Interpretable Diversity Analysis: Visualizing Feature Representations In
Low-Cost Ensembles [0.0]
本稿では,多様性を定性的に分析できるいくつかの解釈可能性手法を提案する。
2つの低コストアンサンブルアルゴリズムを用いて,子ネットワーク間の特徴表現の多様性を比較することによって,これらの手法を実証する。
論文 参考訳(メタデータ) (2023-02-12T00:32:03Z) - Pathologies of Predictive Diversity in Deep Ensembles [29.893614175153235]
古典的な結果は、予測多様性の促進が低容量モデルのアンサンブルのパフォーマンスを向上させることを証明している。
ここでは、これらの直観が高容量ニューラルネットワークアンサンブル(ディープアンサンブル)には適用されないことを示す。
論文 参考訳(メタデータ) (2023-02-01T19:01:18Z) - Deep Negative Correlation Classification [82.45045814842595]
既存のディープアンサンブル手法は、多くの異なるモデルをナビゲートし、予測を集約する。
深部負相関分類(DNCC)を提案する。
DNCCは、個々の推定器が正確かつ負の相関を持つ深い分類アンサンブルを生成する。
論文 参考訳(メタデータ) (2022-12-14T07:35:20Z) - Synergies between Disentanglement and Sparsity: Generalization and
Identifiability in Multi-Task Learning [79.83792914684985]
我々は,最大スパース基底予測器が不整合表現をもたらす条件を提供する新しい識別可能性の結果を証明した。
この理論的な結果から,両レベル最適化問題に基づくアンタングル表現学習の実践的アプローチを提案する。
論文 参考訳(メタデータ) (2022-11-26T21:02:09Z) - Equivariant Transduction through Invariant Alignment [71.45263447328374]
グループ内ハードアライメント機構を組み込んだ,新しいグループ同変アーキテクチャを提案する。
我々のネットワーク構造は、既存のグループ同変アプローチよりも強い同変特性を発達させることができる。
また、SCANタスクにおいて、従来のグループ同変ネットワークよりも経験的に優れていたことが判明した。
論文 参考訳(メタデータ) (2022-09-22T11:19:45Z) - Neural Network Ensembles: Theory, Training, and the Importance of
Explicit Diversity [6.495473856599276]
アンサンブルラーニング(英: Ensemble Learning)とは、複数の基本学習者が戦略的に生成され、1つの複合学習者に結合されるプロセスである。
学習者の精度とアンサンブルの多様性の適切なバランスは、ベンチマークや実世界のデータセット上での機械学習タスクのパフォーマンスを向上させることができる。
最近の理論的および実践的な研究は、アンサンブルの精度と多様性の間の微妙なトレードオフを実証している。
論文 参考訳(メタデータ) (2021-09-29T00:43:57Z) - Learning distinct features helps, provably [98.78384185493624]
最小二乗損失で訓練された2層ニューラルネットワークによって学習された特徴の多様性について検討する。
隠蔽層の特徴間の平均的な$L$-distanceで多様性を測定する。
論文 参考訳(メタデータ) (2021-06-10T19:14:45Z) - Modeling the Evolution of Networks as Shrinking Structural Diversity [0.0]
本稿では、構造的多様性の概念に基づいて、ネットワーク進化のモデルをレビューし、評価する。
多様性は、優先的なアタッチメントモデル、接続性、リンク予測という、ネットワーク進化の3つの原則の根底にあるテーマであることを示す。
論文 参考訳(メタデータ) (2020-09-21T11:30:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。