論文の概要: Sharpness-diversity tradeoff: improving flat ensembles with SharpBalance
- arxiv url: http://arxiv.org/abs/2407.12996v1
- Date: Wed, 17 Jul 2024 20:31:26 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-19 19:33:23.276540
- Title: Sharpness-diversity tradeoff: improving flat ensembles with SharpBalance
- Title（参考訳）: シャープネスと多様性のトレードオフ:SharpBalanceによるフラットアンサンブルの改善
- Authors: Haiquan Lu, Xiaotian Liu, Yefan Zhou, Qunli Li, Kurt Keutzer, Michael W. Mahoney, Yujun Yan, Huanrui Yang, Yaoqing Yang,
- Abstract要約: 深層アンサンブルにおけるシャープネスと多様性の相互作用を示す。
私たちは、アンサンブル内でシャープネスと多様性のバランスをとるトレーニングアプローチであるSharpBalanceを紹介します。
実験により、SharpBalanceはシャープネスとダイバーシティのトレードオフを効果的に改善するだけでなく、アンサンブル性能を大幅に改善することを示した。
- 参考スコア（独自算出の注目度）: 60.68771286221115
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent studies on deep ensembles have identified the sharpness of the local minima of individual learners and the diversity of the ensemble members as key factors in improving test-time performance. Building on this, our study investigates the interplay between sharpness and diversity within deep ensembles, illustrating their crucial role in robust generalization to both in-distribution (ID) and out-of-distribution (OOD) data. We discover a trade-off between sharpness and diversity: minimizing the sharpness in the loss landscape tends to diminish the diversity of individual members within the ensemble, adversely affecting the ensemble's improvement. The trade-off is justified through our theoretical analysis and verified empirically through extensive experiments. To address the issue of reduced diversity, we introduce SharpBalance, a novel training approach that balances sharpness and diversity within ensembles. Theoretically, we show that our training strategy achieves a better sharpness-diversity trade-off. Empirically, we conducted comprehensive evaluations in various data sets (CIFAR-10, CIFAR-100, TinyImageNet) and showed that SharpBalance not only effectively improves the sharpness-diversity trade-off, but also significantly improves ensemble performance in ID and OOD scenarios.
- Abstract（参考訳）: 近年の深層アンサンブル研究は,個々の学習者の局所的なミニマのシャープさと,アンサンブルメンバーの多様性をテスト時間性能向上の鍵要因として挙げている。
本研究は, 深層アンサンブルにおけるシャープネスと多様性の相互作用を考察し, 分布内(ID)データと分布外(OOD)データの両方に対するロバストな一般化における重要な役割について考察した。
ロスランドスケープにおけるシャープネスの最小化は、アンサンブル内の個々のメンバーの多様性を減少させ、アンサンブルの改善に悪影響を及ぼす傾向がある。
トレードオフは理論解析によって正当化され、広範な実験を通じて実証的に検証される。
多様性の低減という課題に対処するため,アンサンブル内でのシャープネスと多様性のバランスをとる新しいトレーニング手法であるSharpBalanceを紹介した。
理論的には、我々のトレーニング戦略がよりシャープな多様性のトレードオフを達成することを示す。
実験により,各種データセット(CIFAR-10, CIFAR-100, TinyImageNet)で総合的な評価を行い, SharpBalanceはシャープネスと多様性のトレードオフを効果的に改善するだけでなく, IDおよびOODシナリオにおけるアンサンブル性能を大幅に改善することを示した。
関連論文リスト
- Out-Of-Distribution Detection with Diversification (Provably) [75.44158116183483]
機械学習モデルの信頼性確保には、アウト・オブ・ディストリビューション(OOD)検出が不可欠である。
近年の進歩は、トレーニングにおいて容易にアクセス可能な補助的外れ値(例えば、Webや他のデータセットのデータ)を活用することに焦点を当てている。
本稿では,OOD検出のためのダイバーシティ誘導混合法(diversity-induced Mixup for OOD detection,diverseMix)を提案する。
論文 参考訳（メタデータ） (2024-11-21T11:56:32Z) - The Curse of Diversity in Ensemble-Based Exploration [7.209197316045156]
データ共有エージェントの多様なアンサンブルの訓練は、個々のアンサンブルメンバーのパフォーマンスを著しく損なう可能性がある。
私たちはこの現象を多様性の呪いと呼んでいる。
多様性の呪いに対処する表現学習の可能性を示す。
論文 参考訳（メタデータ） (2024-05-07T14:14:50Z) - Diversity-Aware Agnostic Ensemble of Sharpness Minimizers [24.160975100349376]
深層アンサンブルにおける多様性と平坦性を促進する学習アルゴリズムであるDASHを提案する。
我々は,本手法の理論的バックボーンと,アンサンブルの一般化性の向上を示す広範な実証的証拠を提供する。
論文 参考訳（メタデータ） (2024-03-19T23:50:11Z) - Relaxed Contrastive Learning for Federated Learning [48.96253206661268]
本稿では,フェデレート学習におけるデータ不均一性の課題に対処する,新しいコントラスト学習フレームワークを提案する。
当社のフレームワークは,既存のフェデレート学習アプローチを,標準ベンチマークにおいて大きなマージンで上回ります。
論文 参考訳（メタデータ） (2024-01-10T04:55:24Z) - A Unifying Perspective on Multi-Calibration: Game Dynamics for
Multi-Objective Learning [63.20009081099896]
マルチキャリブレーション予測器の設計と解析のための統一フレームワークを提供する。
ゲームダイナミクスとの接続を利用して,多様なマルチ校正学習問題に対する最先端の保証を実現する。
論文 参考訳（メタデータ） (2023-02-21T18:24:17Z) - Enhancing Adversarial Training with Feature Separability [52.39305978984573]
本稿では,特徴分離性を備えた対人訓練(ATFS)により,クラス内特徴の類似性を向上し,クラス間特徴分散を増大させることができる,新たな対人訓練グラフ(ATG)を提案する。
包括的な実験を通じて、提案したATFSフレームワークがクリーンかつロバストなパフォーマンスを著しく改善することを示した。
論文 参考訳（メタデータ） (2022-05-02T04:04:23Z) - Improving robustness and calibration in ensembles with diversity
regularization [1.069533806668766]
分布外サンプルを用いた分類タスクのための新しい多様性正規化器を提案する。
多様性の正規化は、キャリブレーションやロバストネス、アウト・オブ・ディストリビューション検出に重大な影響を与える可能性がある。
論文 参考訳（メタデータ） (2022-01-26T12:51:11Z) - Neural Network Ensembles: Theory, Training, and the Importance of
Explicit Diversity [6.495473856599276]
アンサンブルラーニング(英: Ensemble Learning)とは、複数の基本学習者が戦略的に生成され、1つの複合学習者に結合されるプロセスである。
学習者の精度とアンサンブルの多様性の適切なバランスは、ベンチマークや実世界のデータセット上での機械学習タスクのパフォーマンスを向上させることができる。
最近の理論的および実践的な研究は、アンサンブルの精度と多様性の間の微妙なトレードオフを実証している。
論文 参考訳（メタデータ） (2021-09-29T00:43:57Z) - DICE: Diversity in Deep Ensembles via Conditional Redundancy Adversarial
Estimation [109.11580756757611]
メンバー間の多様性のおかげで、ディープアンサンブルは単一のネットワークよりもパフォーマンスが良い。
最近のアプローチでは、多様性を高めるための予測を規則化していますが、個々のメンバーのパフォーマンスも大幅に減少します。
DICEと呼ばれる新しいトレーニング基準を導入し、特徴間の素早い相関を減らして多様性を高める。
論文 参考訳（メタデータ） (2021-01-14T10:53:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。