論文の概要: Diversity-Aware Agnostic Ensemble of Sharpness Minimizers
- arxiv url: http://arxiv.org/abs/2403.13204v1
- Date: Tue, 19 Mar 2024 23:50:11 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-21 18:27:31.927547
- Title: Diversity-Aware Agnostic Ensemble of Sharpness Minimizers
- Title（参考訳）: シャープネス最小化器の多様性を考慮したアグノスティックアンサンブル
- Authors: Anh Bui, Vy Vo, Tung Pham, Dinh Phung, Trung Le,
- Abstract要約: 深層アンサンブルにおける多様性と平坦性を促進する学習アルゴリズムであるDASHを提案する。
我々は,本手法の理論的バックボーンと,アンサンブルの一般化性の向上を示す広範な実証的証拠を提供する。
- 参考スコア（独自算出の注目度）: 24.160975100349376
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: There has long been plenty of theoretical and empirical evidence supporting the success of ensemble learning. Deep ensembles in particular take advantage of training randomness and expressivity of individual neural networks to gain prediction diversity, ultimately leading to better generalization, robustness and uncertainty estimation. In respect of generalization, it is found that pursuing wider local minima result in models being more robust to shifts between training and testing sets. A natural research question arises out of these two approaches as to whether a boost in generalization ability can be achieved if ensemble learning and loss sharpness minimization are integrated. Our work investigates this connection and proposes DASH - a learning algorithm that promotes diversity and flatness within deep ensembles. More concretely, DASH encourages base learners to move divergently towards low-loss regions of minimal sharpness. We provide a theoretical backbone for our method along with extensive empirical evidence demonstrating an improvement in ensemble generalizability.
- Abstract（参考訳）: アンサンブル学習の成功を裏付ける理論的・実証的な証拠は、長い間数多くあった。
特にディープアンサンブルは、個々のニューラルネットワークのランダム性と表現性をトレーニングし、予測の多様性を得る。
一般化に関して、より広範な局所ミニマを追求すると、モデルはトレーニングとテストセット間のシフトに対してより堅牢になる。
アンサンブル学習とロスシャープネスの最小化を統合すれば、一般化能力の向上が達成できるかどうかという2つのアプローチから自然研究の疑問が生まれている。
本研究は,この関係を解明し,深層アンサンブルにおける多様性と平坦性を促進する学習アルゴリズムであるDASHを提案する。
より具体的には、DASHは、基礎学習者が最小のシャープネスの低損失領域へ分岐することを奨励する。
我々は,本手法の理論的バックボーンと,アンサンブルの一般化性の向上を示す広範な実証的証拠を提供する。
関連論文リスト
- Dynamic Post-Hoc Neural Ensemblers [55.15643209328513]
本研究では,ニューラルネットワークをアンサンブル手法として活用することを検討する。
低多様性のアンサンブルを学習するリスクを動機として,ベースモデル予測をランダムにドロップすることでモデルの正規化を提案する。
このアプローチはアンサンブル内の多様性を低くし、オーバーフィッティングを減らし、一般化能力を向上させる。
論文 参考訳（メタデータ） (2024-10-06T15:25:39Z) - Multi-Agent Reinforcement Learning from Human Feedback: Data Coverage and Algorithmic Techniques [65.55451717632317]
我々は,MARLHF(Multi-Agent Reinforcement Learning from Human Feedback)について検討し,理論的基礎と実証的検証の両方について検討した。
我々は,このタスクを,一般ゲームにおける嗜好のみのオフラインデータセットからナッシュ均衡を識別するものとして定義する。
本研究は,MARLHFの多面的アプローチを基礎として,効果的な嗜好に基づくマルチエージェントシステムの実現を目指している。
論文 参考訳（メタデータ） (2024-09-01T13:14:41Z) - Sharpness-diversity tradeoff: improving flat ensembles with SharpBalance [60.68771286221115]
深層アンサンブルにおけるシャープネスと多様性の相互作用を示す。
私たちは、アンサンブル内でシャープネスと多様性のバランスをとるトレーニングアプローチであるSharpBalanceを紹介します。
実験により、SharpBalanceはシャープネスとダイバーシティのトレードオフを効果的に改善するだけでなく、アンサンブル性能を大幅に改善することを示した。
論文 参考訳（メタデータ） (2024-07-17T20:31:26Z) - How does promoting the minority fraction affect generalization? A theoretical study of the one-hidden-layer neural network on group imbalance [64.1656365676171]
グループ不均衡は経験的リスク最小化において既知の問題である。
本稿では,個々の集団がサンプルの複雑さ,収束率,平均および群レベルの試験性能に与える影響を定量化する。
論文 参考訳（メタデータ） (2024-03-12T04:38:05Z) - Diversified Ensemble of Independent Sub-Networks for Robust
Self-Supervised Representation Learning [10.784911682565879]
ニューラルネットワークの組み立ては、モデルの性能を高め、不確実性を推定し、深い教師付き学習における堅牢性を改善するために広く認識されているアプローチである。
独立サブネットワークのアンサンブルを活用した,新たな自己指導型トレーニングシステムを提案する。
提案手法は,高多様性のサブモデルアンサンブルを効率的に構築し,モデル不確実性の評価を行う。
論文 参考訳（メタデータ） (2023-08-28T16:58:44Z) - Diverse Projection Ensembles for Distributional Reinforcement Learning [6.754994171490016]
この研究は、分布的アンサンブルにおけるいくつかの異なる射影と表現の組み合わせを研究する。
我々は、平均1ドル=ワッサーシュタイン距離で測定されるアンサンブル不一致を、深層探査のボーナスとして利用するアルゴリズムを導出する。
論文 参考訳（メタデータ） (2023-06-12T13:59:48Z) - Pathologies of Predictive Diversity in Deep Ensembles [29.893614175153235]
古典的な結果は、予測多様性の促進が低容量モデルのアンサンブルのパフォーマンスを向上させることを証明している。
ここでは、これらの直観が高容量ニューラルネットワークアンサンブル(ディープアンサンブル)には適用されないことを示す。
論文 参考訳（メタデータ） (2023-02-01T19:01:18Z) - Joint Training of Deep Ensembles Fails Due to Learner Collusion [61.557412796012535]
機械学習モデルのアンサンブルは、単一のモデルよりもパフォーマンスを改善する強力な方法として確立されている。
伝統的に、アンサンブルアルゴリズムは、ジョイントパフォーマンスの最適化を目標として、ベースラーナーを独立または逐次訓練する。
アンサンブルの損失を最小化することは、実際にはほとんど適用されないことを示す。
論文 参考訳（メタデータ） (2023-01-26T18:58:07Z) - Synergies between Disentanglement and Sparsity: Generalization and
Identifiability in Multi-Task Learning [79.83792914684985]
我々は,最大スパース基底予測器が不整合表現をもたらす条件を提供する新しい識別可能性の結果を証明した。
この理論的な結果から,両レベル最適化問題に基づくアンタングル表現学習の実践的アプローチを提案する。
論文 参考訳（メタデータ） (2022-11-26T21:02:09Z) - Neural Network Ensembles: Theory, Training, and the Importance of
Explicit Diversity [6.495473856599276]
アンサンブルラーニング(英: Ensemble Learning)とは、複数の基本学習者が戦略的に生成され、1つの複合学習者に結合されるプロセスである。
学習者の精度とアンサンブルの多様性の適切なバランスは、ベンチマークや実世界のデータセット上での機械学習タスクのパフォーマンスを向上させることができる。
最近の理論的および実践的な研究は、アンサンブルの精度と多様性の間の微妙なトレードオフを実証している。
論文 参考訳（メタデータ） (2021-09-29T00:43:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。