論文の概要: Joint Training of Deep Ensembles Fails Due to Learner Collusion

• arxiv url: http://arxiv.org/abs/2301.11323v2
• Date: Tue, 31 Oct 2023 12:01:36 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-02 04:07:09.732999
• Title: Joint Training of Deep Ensembles Fails Due to Learner Collusion
• Title（参考訳）: 学習者の結束による深層アンサンブルの合同訓練失敗
• Authors: Alan Jeffares, Tennison Liu, Jonathan Crabb\'e, Mihaela van der Schaar
• Abstract要約: 機械学習モデルのアンサンブルは、単一のモデルよりもパフォーマンスを改善する強力な方法として確立されている。 伝統的に、アンサンブルアルゴリズムは、ジョイントパフォーマンスの最適化を目標として、ベースラーナーを独立または逐次訓練する。 アンサンブルの損失を最小化することは、実際にはほとんど適用されないことを示す。
• 参考スコア（独自算出の注目度）: 61.557412796012535
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Ensembles of machine learning models have been well established as a powerful method of improving performance over a single model. Traditionally, ensembling algorithms train their base learners independently or sequentially with the goal of optimizing their joint performance. In the case of deep ensembles of neural networks, we are provided with the opportunity to directly optimize the true objective: the joint performance of the ensemble as a whole. Surprisingly, however, directly minimizing the loss of the ensemble appears to rarely be applied in practice. Instead, most previous research trains individual models independently with ensembling performed post hoc. In this work, we show that this is for good reason - joint optimization of ensemble loss results in degenerate behavior. We approach this problem by decomposing the ensemble objective into the strength of the base learners and the diversity between them. We discover that joint optimization results in a phenomenon in which base learners collude to artificially inflate their apparent diversity. This pseudo-diversity fails to generalize beyond the training data, causing a larger generalization gap. We proceed to comprehensively demonstrate the practical implications of this effect on a range of standard machine learning tasks and architectures by smoothly interpolating between independent training and joint optimization.
• Abstract（参考訳）: 機械学習モデルのアンサンブルは、単一のモデルよりもパフォーマンスを改善する強力な方法として確立されている。 伝統的に、センシングアルゴリズムは基礎学習者を独立または順次に訓練し、共同パフォーマンスを最適化することを目的としている。 ニューラルネットワークの深いアンサンブルの場合、私たちは真の目的、すなわちアンサンブル全体のジョイントパフォーマンスを直接最適化する機会を提供する。 しかし驚くべきことに、アンサンブルの損失を直接最小化することは、実際にはめったに適用されないようである。 従来の研究は個々のモデルを個別に訓練し、アンサンブルはポストホックを実行した。 本研究は,アンサンブル損失の協調最適化が縮退行動をもたらすという正当な理由によるものであることを示す。 我々は,アンサンブル目標を基礎学習者の強さとそれらの間の多様性に分解することで,この問題に対処する。 共同最適化の結果,基礎学習者が人為的に多様性を膨らませる現象が生じた。 この擬似多様性はトレーニングデータを超えた一般化に失敗し、より大きな一般化ギャップを引き起こす。 我々は,独立学習と協調最適化をスムーズに補間することにより,この効果が標準機械学習タスクやアーキテクチャに与える影響を包括的に実証する。

関連論文リスト

• Dynamic Post-Hoc Neural Ensemblers [55.15643209328513]
  本研究では,ニューラルネットワークをアンサンブル手法として活用することを検討する。 低多様性のアンサンブルを学習するリスクを動機として,ベースモデル予測をランダムにドロップすることでモデルの正規化を提案する。 このアプローチはアンサンブル内の多様性を低くし、オーバーフィッティングを減らし、一般化能力を向上させる。
  論文  参考訳（メタデータ） (2024-10-06T15:25:39Z)
• The Curse of Diversity in Ensemble-Based Exploration [7.209197316045156]
  データ共有エージェントの多様なアンサンブルの訓練は、個々のアンサンブルメンバーのパフォーマンスを著しく損なう可能性がある。 私たちはこの現象を多様性の呪いと呼んでいる。 多様性の呪いに対処する表現学習の可能性を示す。
  論文  参考訳（メタデータ） (2024-05-07T14:14:50Z)
• Diversified Ensemble of Independent Sub-Networks for Robust Self-Supervised Representation Learning [10.784911682565879]
  ニューラルネットワークの組み立ては、モデルの性能を高め、不確実性を推定し、深い教師付き学習における堅牢性を改善するために広く認識されているアプローチである。 独立サブネットワークのアンサンブルを活用した,新たな自己指導型トレーニングシステムを提案する。 提案手法は,高多様性のサブモデルアンサンブルを効率的に構築し,モデル不確実性の評価を行う。
  論文  参考訳（メタデータ） (2023-08-28T16:58:44Z)
• Proof of Swarm Based Ensemble Learning for Federated Learning Applications [3.2536767864585663]
  連合学習では、プライバシー上の懸念から、集中型アンサンブル学習を直接適用することは不可能である。 ビザンティンフォールトトレランス(BFT)のようなほとんどの分散コンセンサスアルゴリズムは、通常そのようなアプリケーションではうまく機能しない。 フェデレートされた環境でのアンサンブル学習のための分散コンセンサスアルゴリズムPoSwを提案する。
  論文  参考訳（メタデータ） (2022-12-28T13:53:34Z)
• Deep Negative Correlation Classification [82.45045814842595]
  既存のディープアンサンブル手法は、多くの異なるモデルをナビゲートし、予測を集約する。 深部負相関分類(DNCC)を提案する。 DNCCは、個々の推定器が正確かつ負の相関を持つ深い分類アンサンブルを生成する。
  論文  参考訳（メタデータ） (2022-12-14T07:35:20Z)
• Revisiting Consistency Regularization for Semi-Supervised Learning [80.28461584135967]
  そこで我々は,FeatDistLossというシンプルな手法により,一貫性の規則化を改良したフレームワークを提案する。 実験結果から,本モデルは様々なデータセットや設定のための新しい技術状態を定義する。
  論文  参考訳（メタデータ） (2021-12-10T20:46:13Z)
• Task-Feature Collaborative Learning with Application to Personalized Attribute Prediction [166.87111665908333]
  本稿では,TFCL(Task-Feature Collaborative Learning)と呼ばれる新しいマルチタスク学習手法を提案する。 具体的には、まず、特徴とタスクの協調的なグループ化を活用するために、不均一なブロック対角構造正規化器を用いたベースモデルを提案する。 実際の拡張として,重なり合う機能と難易度を区別することで,基本モデルを拡張します。
  論文  参考訳（メタデータ） (2020-04-29T02:32:04Z)
• Federated Residual Learning [53.77128418049985]
  クライアントはローカルモデルを個別に訓練し、サーバ側で共有するモデルと共同で予測を行う。 この新しいフェデレートされた学習フレームワークを使用することで、統合トレーニングが提供するパフォーマンス上のメリットをすべて享受しながら、中央共有モデルの複雑さを最小限にすることができる。
  論文  参考訳（メタデータ） (2020-03-28T19:55:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。