論文の概要: Neural Network Ensembles: Theory, Training, and the Importance of Explicit Diversity

• arxiv url: http://arxiv.org/abs/2109.14117v1
• Date: Wed, 29 Sep 2021 00:43:57 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-01 00:51:59.407150
• Title: Neural Network Ensembles: Theory, Training, and the Importance of Explicit Diversity
• Title（参考訳）: ニューラルネットワークのアンサンブル:理論、訓練、および明示的な多様性の重要性
• Authors: Wenjing Li, Randy C. Paffenroth, David Berthiaume
• Abstract要約: アンサンブルラーニング(英: Ensemble Learning)とは、複数の基本学習者が戦略的に生成され、1つの複合学習者に結合されるプロセスである。 学習者の精度とアンサンブルの多様性の適切なバランスは、ベンチマークや実世界のデータセット上での機械学習タスクのパフォーマンスを向上させることができる。 最近の理論的および実践的な研究は、アンサンブルの精度と多様性の間の微妙なトレードオフを実証している。
• 参考スコア（独自算出の注目度）: 6.495473856599276
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Ensemble learning is a process by which multiple base learners are strategically generated and combined into one composite learner. There are two features that are essential to an ensemble's performance, the individual accuracies of the component learners and the overall diversity in the ensemble. The right balance of learner accuracy and ensemble diversity can improve the performance of machine learning tasks on benchmark and real-world data sets, and recent theoretical and practical work has demonstrated the subtle trade-off between accuracy and diversity in an ensemble. In this paper, we extend the extant literature by providing a deeper theoretical understanding for assessing and improving the optimality of any given ensemble, including random forests and deep neural network ensembles. We also propose a training algorithm for neural network ensembles and demonstrate that our approach provides improved performance when compared to both state-of-the-art individual learners and ensembles of state-of-the-art learners trained using standard loss functions. Our key insight is that it is better to explicitly encourage diversity in an ensemble, rather than merely allowing diversity to occur by happenstance, and that rigorous theoretical bounds on the trade-off between diversity and learner accuracy allow one to know when an optimal arrangement has been achieved.
• Abstract（参考訳）: アンサンブル学習は、複数のベース学習者が戦略的に生成され、1つの複合学習者に結合されるプロセスである。 アンサンブルのパフォーマンスに不可欠な特徴は2つあり、コンポーネント学習者の個性とアンサンブルの全体的な多様性である。 学習者の正確性とアンサンブルの多様性の適切なバランスは、ベンチマークおよび実世界のデータセットにおける機械学習タスクのパフォーマンスを向上させることができ、最近の理論および実践的な研究は、アンサンブルにおける正確性と多様性の間の微妙なトレードオフを実証している。 本稿では、ランダム林やディープニューラルネットワークアンサンブルを含む任意のアンサンブルの最適性を評価し改善するための、より深い理論的理解を提供することにより、現存する文献を拡張する。 また,ニューラルネットワークアンサンブルのための学習アルゴリズムを提案し,標準損失関数を用いて学習した学習者の学習結果と学習結果のアンサンブルとを比較することにより,学習性能が向上することを示す。 我々の重要な洞察は、単に発生によって多様性を発生させるのではなく、アンサンブルにおける多様性を明示的に奨励する方がよいことであり、多様性と学習者の正確性の間のトレードオフに関する厳密な理論的境界は、最適なアレンジがいつ達成されたかを知ることができることである。

関連論文リスト

• On the Comparison between Multi-modal and Single-modal Contrastive Learning [50.74988548106031]
  マルチモーダルとシングルモーダルのコントラスト学習の違いを理解するための理論的基盤を導入する。 マルチモーダル・シングルモーダル・コントラッシブ・ラーニングの下流タスクにおける一般化に影響を及ぼす臨界因子,すなわち信号対雑音比(SNR)を同定する。 我々の分析は、単一モードと多モードのコントラスト学習の最適化と一般化を特徴付ける統一的なフレームワークを提供する。
  論文  参考訳（メタデータ） (2024-11-05T06:21:17Z)
• Sharpness-diversity tradeoff: improving flat ensembles with SharpBalance [60.68771286221115]
  深層アンサンブルにおけるシャープネスと多様性の相互作用を示す。 私たちは、アンサンブル内でシャープネスと多様性のバランスをとるトレーニングアプローチであるSharpBalanceを紹介します。 実験により、SharpBalanceはシャープネスとダイバーシティのトレードオフを効果的に改善するだけでなく、アンサンブル性能を大幅に改善することを示した。
  論文  参考訳（メタデータ） (2024-07-17T20:31:26Z)
• Diversity-Aware Agnostic Ensemble of Sharpness Minimizers [24.160975100349376]
  深層アンサンブルにおける多様性と平坦性を促進する学習アルゴリズムであるDASHを提案する。 我々は,本手法の理論的バックボーンと,アンサンブルの一般化性の向上を示す広範な実証的証拠を提供する。
  論文  参考訳（メタデータ） (2024-03-19T23:50:11Z)
• Diversified Ensemble of Independent Sub-Networks for Robust Self-Supervised Representation Learning [10.784911682565879]
  ニューラルネットワークの組み立ては、モデルの性能を高め、不確実性を推定し、深い教師付き学習における堅牢性を改善するために広く認識されているアプローチである。 独立サブネットワークのアンサンブルを活用した,新たな自己指導型トレーニングシステムを提案する。 提案手法は,高多様性のサブモデルアンサンブルを効率的に構築し,モデル不確実性の評価を行う。
  論文  参考訳（メタデータ） (2023-08-28T16:58:44Z)
• Interpretable Diversity Analysis: Visualizing Feature Representations In Low-Cost Ensembles [0.0]
  本稿では,多様性を定性的に分析できるいくつかの解釈可能性手法を提案する。 2つの低コストアンサンブルアルゴリズムを用いて,子ネットワーク間の特徴表現の多様性を比較することによって,これらの手法を実証する。
  論文  参考訳（メタデータ） (2023-02-12T00:32:03Z)
• Joint Training of Deep Ensembles Fails Due to Learner Collusion [61.557412796012535]
  機械学習モデルのアンサンブルは、単一のモデルよりもパフォーマンスを改善する強力な方法として確立されている。 伝統的に、アンサンブルアルゴリズムは、ジョイントパフォーマンスの最適化を目標として、ベースラーナーを独立または逐次訓練する。 アンサンブルの損失を最小化することは、実際にはほとんど適用されないことを示す。
  論文  参考訳（メタデータ） (2023-01-26T18:58:07Z)
• Deep Negative Correlation Classification [82.45045814842595]
  既存のディープアンサンブル手法は、多くの異なるモデルをナビゲートし、予測を集約する。 深部負相関分類(DNCC)を提案する。 DNCCは、個々の推定器が正確かつ負の相関を持つ深い分類アンサンブルを生成する。
  論文  参考訳（メタデータ） (2022-12-14T07:35:20Z)
• Efficient Diversity-Driven Ensemble for Deep Neural Networks [28.070540722925152]
  アンサンブルの多様性と効率の両方に対処するために,効率的なダイバーシティ駆動型アンサンブル(EDDE)を提案する。 他のよく知られたアンサンブル法と比較して、EDDEは訓練コストの低い最も高いアンサンブル精度を得ることができる。 EDDE on Computer Vision (CV) and Natural Language Processing (NLP) task。
  論文  参考訳（メタデータ） (2021-12-26T04:28:47Z)
• MultiFair: Multi-Group Fairness in Machine Learning [52.24956510371455]
  機械学習におけるマルチグループフェアネスの研究(MultiFair) この問題を解決するために,汎用的なエンドツーエンドのアルゴリズムフレームワークを提案する。 提案するフレームワークは多くの異なる設定に一般化可能である。
  論文  参考訳（メタデータ） (2021-05-24T02:30:22Z)
• Towards Understanding Ensemble, Knowledge Distillation and Self-Distillation in Deep Learning [93.18238573921629]
  本研究では,学習モデルのアンサンブルがテスト精度を向上させる方法と,アンサンブルの優れた性能を単一モデルに蒸留する方法について検討する。 深層学習におけるアンサンブル/知識蒸留は,従来の学習理論とは大きく異なる。 また, 自己蒸留は, アンサンブルと知識蒸留を暗黙的に組み合わせて, 試験精度を向上させることができることを示した。
  論文  参考訳（メタデータ） (2020-12-17T18:34:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。