論文の概要: Neural Network Ensembles: Theory, Training, and the Importance of
Explicit Diversity
- arxiv url: http://arxiv.org/abs/2109.14117v1
- Date: Wed, 29 Sep 2021 00:43:57 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-01 00:51:59.407150
- Title: Neural Network Ensembles: Theory, Training, and the Importance of
Explicit Diversity
- Title(参考訳): ニューラルネットワークのアンサンブル:理論、訓練、および明示的な多様性の重要性
- Authors: Wenjing Li, Randy C. Paffenroth, David Berthiaume
- Abstract要約: アンサンブルラーニング(英: Ensemble Learning)とは、複数の基本学習者が戦略的に生成され、1つの複合学習者に結合されるプロセスである。
学習者の精度とアンサンブルの多様性の適切なバランスは、ベンチマークや実世界のデータセット上での機械学習タスクのパフォーマンスを向上させることができる。
最近の理論的および実践的な研究は、アンサンブルの精度と多様性の間の微妙なトレードオフを実証している。
- 参考スコア(独自算出の注目度): 6.495473856599276
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Ensemble learning is a process by which multiple base learners are
strategically generated and combined into one composite learner. There are two
features that are essential to an ensemble's performance, the individual
accuracies of the component learners and the overall diversity in the ensemble.
The right balance of learner accuracy and ensemble diversity can improve the
performance of machine learning tasks on benchmark and real-world data sets,
and recent theoretical and practical work has demonstrated the subtle trade-off
between accuracy and diversity in an ensemble. In this paper, we extend the
extant literature by providing a deeper theoretical understanding for assessing
and improving the optimality of any given ensemble, including random forests
and deep neural network ensembles. We also propose a training algorithm for
neural network ensembles and demonstrate that our approach provides improved
performance when compared to both state-of-the-art individual learners and
ensembles of state-of-the-art learners trained using standard loss functions.
Our key insight is that it is better to explicitly encourage diversity in an
ensemble, rather than merely allowing diversity to occur by happenstance, and
that rigorous theoretical bounds on the trade-off between diversity and learner
accuracy allow one to know when an optimal arrangement has been achieved.
- Abstract(参考訳): アンサンブル学習は、複数のベース学習者が戦略的に生成され、1つの複合学習者に結合されるプロセスである。
アンサンブルのパフォーマンスに不可欠な特徴は2つあり、コンポーネント学習者の個性とアンサンブルの全体的な多様性である。
学習者の正確性とアンサンブルの多様性の適切なバランスは、ベンチマークおよび実世界のデータセットにおける機械学習タスクのパフォーマンスを向上させることができ、最近の理論および実践的な研究は、アンサンブルにおける正確性と多様性の間の微妙なトレードオフを実証している。
本稿では、ランダム林やディープニューラルネットワークアンサンブルを含む任意のアンサンブルの最適性を評価し改善するための、より深い理論的理解を提供することにより、現存する文献を拡張する。
また,ニューラルネットワークアンサンブルのための学習アルゴリズムを提案し,標準損失関数を用いて学習した学習者の学習結果と学習結果のアンサンブルとを比較することにより,学習性能が向上することを示す。
我々の重要な洞察は、単に発生によって多様性を発生させるのではなく、アンサンブルにおける多様性を明示的に奨励する方がよいことであり、多様性と学習者の正確性の間のトレードオフに関する厳密な理論的境界は、最適なアレンジがいつ達成されたかを知ることができることである。
関連論文リスト
- Diversified Ensemble of Independent Sub-Networks for Robust
Self-Supervised Representation Learning [10.784911682565879]
ニューラルネットワークの組み立ては、モデルの性能を高め、不確実性を推定し、深い教師付き学習における堅牢性を改善するために広く認識されているアプローチである。
独立サブネットワークのアンサンブルを活用した,新たな自己指導型トレーニングシステムを提案する。
提案手法は,高多様性のサブモデルアンサンブルを効率的に構築し,モデル不確実性の評価を行う。
論文 参考訳(メタデータ) (2023-08-28T16:58:44Z) - Interpretable Diversity Analysis: Visualizing Feature Representations In
Low-Cost Ensembles [0.0]
本稿では,多様性を定性的に分析できるいくつかの解釈可能性手法を提案する。
2つの低コストアンサンブルアルゴリズムを用いて,子ネットワーク間の特徴表現の多様性を比較することによって,これらの手法を実証する。
論文 参考訳(メタデータ) (2023-02-12T00:32:03Z) - Joint Training of Deep Ensembles Fails Due to Learner Collusion [61.557412796012535]
機械学習モデルのアンサンブルは、単一のモデルよりもパフォーマンスを改善する強力な方法として確立されている。
伝統的に、アンサンブルアルゴリズムは、ジョイントパフォーマンスの最適化を目標として、ベースラーナーを独立または逐次訓練する。
アンサンブルの損失を最小化することは、実際にはほとんど適用されないことを示す。
論文 参考訳(メタデータ) (2023-01-26T18:58:07Z) - Deep Negative Correlation Classification [82.45045814842595]
既存のディープアンサンブル手法は、多くの異なるモデルをナビゲートし、予測を集約する。
深部負相関分類(DNCC)を提案する。
DNCCは、個々の推定器が正確かつ負の相関を持つ深い分類アンサンブルを生成する。
論文 参考訳(メタデータ) (2022-12-14T07:35:20Z) - Efficient Diversity-Driven Ensemble for Deep Neural Networks [28.070540722925152]
アンサンブルの多様性と効率の両方に対処するために,効率的なダイバーシティ駆動型アンサンブル(EDDE)を提案する。
他のよく知られたアンサンブル法と比較して、EDDEは訓練コストの低い最も高いアンサンブル精度を得ることができる。
EDDE on Computer Vision (CV) and Natural Language Processing (NLP) task。
論文 参考訳(メタデータ) (2021-12-26T04:28:47Z) - MultiFair: Multi-Group Fairness in Machine Learning [52.24956510371455]
機械学習におけるマルチグループフェアネスの研究(MultiFair)
この問題を解決するために,汎用的なエンドツーエンドのアルゴリズムフレームワークを提案する。
提案するフレームワークは多くの異なる設定に一般化可能である。
論文 参考訳(メタデータ) (2021-05-24T02:30:22Z) - Deep Ensemble Collaborative Learning by using Knowledge-transfer Graph
for Fine-grained Object Classification [9.49864824780503]
相互学習を施したネットワークのアンサンブルのパフォーマンスは,通常のアンサンブルに比べて,相互学習なしには改善しない。
これは相互学習における知識とアンサンブルにおけるネットワークの個性の関係によるものかもしれない。
本稿では,相互学習におけるネットワーク間の多様性を促進する損失設計を導入することにより,知識伝達を用いたアンサンブル手法を提案する。
論文 参考訳(メタデータ) (2021-03-27T08:56:00Z) - Towards Understanding Ensemble, Knowledge Distillation and
Self-Distillation in Deep Learning [93.18238573921629]
本研究では,学習モデルのアンサンブルがテスト精度を向上させる方法と,アンサンブルの優れた性能を単一モデルに蒸留する方法について検討する。
深層学習におけるアンサンブル/知識蒸留は,従来の学習理論とは大きく異なる。
また, 自己蒸留は, アンサンブルと知識蒸留を暗黙的に組み合わせて, 試験精度を向上させることができることを示した。
論文 参考訳(メタデータ) (2020-12-17T18:34:45Z) - Collaborative Group Learning [42.31194030839819]
協調学習は、小規模学生ネットワークのプールをロバストなローカルミニマへと導くために、知識伝達をうまく応用してきた。
従来のアプローチでは、学生の数が増加すると、学生の均質化が大幅に増加するのが普通だった。
特徴表現の多様化と効果的な正規化の実現を目的とした,効率的なフレームワークである協調型グループ学習を提案する。
論文 参考訳(メタデータ) (2020-09-16T14:34:39Z) - Concept Learners for Few-Shot Learning [76.08585517480807]
本研究では,人間の解釈可能な概念次元に沿って学習することで,一般化能力を向上させるメタ学習手法であるCOMETを提案する。
我々は,細粒度画像分類,文書分類,セルタイプアノテーションなど,さまざまな領域からの少数ショットタスクによるモデルの評価を行った。
論文 参考訳(メタデータ) (2020-07-14T22:04:17Z) - Uniform Priors for Data-Efficient Transfer [65.086680950871]
もっとも移動可能な特徴は埋め込み空間において高い均一性を有することを示す。
我々は、未確認のタスクやデータへの適応を容易にする能力の正規化を評価する。
論文 参考訳(メタデータ) (2020-06-30T04:39:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。