論文の概要: Generalized Negative Correlation Learning for Deep Ensembling

• arxiv url: http://arxiv.org/abs/2011.02952v2
• Date: Wed, 9 Dec 2020 08:19:49 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-29 11:30:40.292935
• Title: Generalized Negative Correlation Learning for Deep Ensembling
• Title（参考訳）: ディープラーニングのための一般化負相関学習
• Authors: Sebastian Buschj\"ager, Lukas Pfahler, Katharina Morik
• Abstract要約: Ensembleアルゴリズムは、多くの機械学習アプリケーションにおいて、最先端のアートパフォーマンスを提供する。 任意の2つの微分可能な損失関数に対する一般化バイアス分散分解を定式化する。 我々は,アンサンブルの多様性を明示的に制御する一般化負相関学習アルゴリズムを導出する。
• 参考スコア（独自算出の注目度）: 7.569288952340753
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Ensemble algorithms offer state of the art performance in many machine learning applications. A common explanation for their excellent performance is due to the bias-variance decomposition of the mean squared error which shows that the algorithm's error can be decomposed into its bias and variance. Both quantities are often opposed to each other and ensembles offer an effective way to manage them as they reduce the variance through a diverse set of base learners while keeping the bias low at the same time. Even though there have been numerous works on decomposing other loss functions, the exact mathematical connection is rarely exploited explicitly for ensembling, but merely used as a guiding principle. In this paper, we formulate a generalized bias-variance decomposition for arbitrary twice differentiable loss functions and study it in the context of Deep Learning. We use this decomposition to derive a Generalized Negative Correlation Learning (GNCL) algorithm which offers explicit control over the ensemble's diversity and smoothly interpolates between the two extremes of independent training and the joint training of the ensemble. We show how GNCL encapsulates many previous works and discuss under which circumstances training of an ensemble of Neural Networks might fail and what ensembling method should be favored depending on the choice of the individual networks. We make our code publicly available under https://github.com/sbuschjaeger/gncl
• Abstract（参考訳）: アンサンブルアルゴリズムは多くの機械学習アプリケーションで最先端のパフォーマンスを提供する。 その優れた性能の一般的な説明は平均二乗誤差の偏差分解によるものであり、アルゴリズムの誤差はその偏差と分散に分解できることを示している。 両方の量はしばしば互いに対立し、アンサンブルは、バイアスを同時に低く保ちながら、多様な基礎学習者による分散を減らし、それらを効果的に管理する方法を提供する。 他の損失関数を分解する作業は数多くあったが、正確な数学的接続をセンシングに明示的に利用することは滅多にないが、単に指導原理として使われるだけである。 本稿では、任意の2つの微分可能な損失関数に対する一般化バイアス分散分解を定式化し、ディープラーニングの文脈で研究する。 この分解を用いて,アンサンブルの多様性を明示的に制御し,独立訓練の2つの極端とアンサンブルの合同訓練をスムーズに補間する一般化負相関学習(gncl)アルゴリズムを導出する。 我々は,GNCLが過去の多くの研究をカプセル化して,ニューラルネットワークのアンサンブルの学習に失敗する状況と,個々のネットワークの選択に応じてどのようなアンサンブル手法を好まなければならないかを論じる。 コードをhttps://github.com/sbuschjaeger/gnclで公開しています。

関連論文リスト

• Joint Training of Deep Ensembles Fails Due to Learner Collusion [61.557412796012535]
  機械学習モデルのアンサンブルは、単一のモデルよりもパフォーマンスを改善する強力な方法として確立されている。 伝統的に、アンサンブルアルゴリズムは、ジョイントパフォーマンスの最適化を目標として、ベースラーナーを独立または逐次訓練する。 アンサンブルの損失を最小化することは、実際にはほとんど適用されないことを示す。
  論文  参考訳（メタデータ） (2023-01-26T18:58:07Z)
• Deep Negative Correlation Classification [82.45045814842595]
  既存のディープアンサンブル手法は、多くの異なるモデルをナビゲートし、予測を集約する。 深部負相関分類(DNCC)を提案する。 DNCCは、個々の推定器が正確かつ負の相関を持つ深い分類アンサンブルを生成する。
  論文  参考訳（メタデータ） (2022-12-14T07:35:20Z)
• HyperInvariances: Amortizing Invariance Learning [10.189246340672245]
  不変学習は高価で、一般的なニューラルネットワークにはデータ集約的です。 我々は、不変学習を償却する概念を導入する。 このフレームワークは、異なる下流タスクにおける適切な不変性を識別し、同等またはより良いテストパフォーマンスをもたらす。
  論文  参考訳（メタデータ） (2022-07-17T21:40:37Z)
• Combining Varied Learners for Binary Classification using Stacked Generalization [3.1871776847712523]
  本稿では,高次元多嚢胞性卵巣症候群データセットを用いたスタックド一般化を用いたバイナリ分類を行う。 この論文では、受信器動作特性曲線で発見された微妙なトランスグレッションが誤りであることが証明されたことを指摘している。
  論文  参考訳（メタデータ） (2022-02-17T21:47:52Z)
• Understanding the Generalization of Adam in Learning Neural Networks with Proper Regularization [118.50301177912381]
  我々は,重力減衰グローバリゼーションにおいても,目的の異なる解に確実に異なる誤差で収束できることを示す。 凸と重み減衰正則化を用いると、Adamを含む任意の最適化アルゴリズムは同じ解に収束することを示す。
  論文  参考訳（メタデータ） (2021-08-25T17:58:21Z)
• Examining and Combating Spurious Features under Distribution Shift [94.31956965507085]
  我々は、最小限の統計量という情報理論の概念を用いて、ロバストで刺激的な表現を定義し、分析する。 入力分布のバイアスしか持たない場合でも、モデルはトレーニングデータから急激な特徴を拾い上げることができることを証明しています。 分析から着想を得た結果,グループDROは,グループ同士の相関関係を直接考慮しない場合に失敗する可能性が示唆された。
  論文  参考訳（メタデータ） (2021-06-14T05:39:09Z)
• Towards an Understanding of Benign Overfitting in Neural Networks [104.2956323934544]
  現代の機械学習モデルは、しばしば膨大な数のパラメータを使用し、通常、トレーニング損失がゼロになるように最適化されている。 ニューラルネットワークの2層構成において、これらの良質な過適合現象がどのように起こるかを検討する。 本稿では,2層型ReLUネットワーク補間器を極小最適学習率で実現可能であることを示す。
  論文  参考訳（メタデータ） (2021-06-06T19:08:53Z)
• Rethinking and Reweighting the Univariate Losses for Multi-Label Ranking: Consistency and Generalization [44.73295800450414]
  (部分)ランキング損失は、マルチラベル分類の一般的な評価尺度です。 既存の理論と実践の間にはギャップがある -- ペアワイズな損失は有望なパフォーマンスをもたらすが一貫性を欠く可能性がある。
  論文  参考訳（メタデータ） (2021-05-10T09:23:27Z)
• Learning by Minimizing the Sum of Ranked Range [58.24935359348289]
  本稿では,学習目標を定式化するための一般的なアプローチとして,ランキング範囲(SoRR)の和を紹介した。 ランク付き範囲は、実数の集合のソートされた値の連続的なシーケンスである。 我々は,SoRRフレームワークの最小化のための機械学習における2つの応用,すなわち,バイナリ分類のためのAoRR集約損失とマルチラベル/マルチクラス分類のためのTKML個人損失について検討する。
  論文  参考訳（メタデータ） (2020-10-05T01:58:32Z)
• Information-theoretic analysis for transfer learning [5.081241420920605]
  本稿では,一般化誤差と転帰学習アルゴリズムの過大なリスクに関する情報理論解析を行う。 我々の結果は、おそらく予想通り、Kulback-Leiblerの発散$D(mu||mu')$が一般化誤差を特徴づける重要な役割を果たすことを示唆している。
  論文  参考訳（メタデータ） (2020-05-18T13:23:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。