論文の概要: A Unified Theory of Diversity in Ensemble Learning
- arxiv url: http://arxiv.org/abs/2301.03962v1
- Date: Tue, 10 Jan 2023 13:51:07 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-11 16:19:45.855943
- Title: A Unified Theory of Diversity in Ensemble Learning
- Title（参考訳）: アンサンブル学習における多様性の統一理論
- Authors: Danny Wood and Tingting Mu and Andrew Webb and Henry Reeve and Mikel
Lujan and Gavin Brown
- Abstract要約: 本稿では,多様な教師付き学習シナリオにおける多様性の性質と効果を説明する,アンサンブルの多様性の理論を提案する。
我々の枠組みは,アンサンブルの偏差分解において,多様性が隠された次元であることを明らかにする。
実験は、一般的なアンサンブル手法の多様性向上メカニズムを理解するために、我々のフレームワークをどのように利用できるかを示す。
- 参考スコア（独自算出の注目度）: 2.713476416586843
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We present a theory of ensemble diversity, explaining the nature and effect
of diversity for a wide range of supervised learning scenarios. This challenge,
of understanding ensemble diversity, has been referred to as the holy grail of
ensemble learning, an open question for over 30 years. Our framework reveals
that diversity is in fact a hidden dimension in the bias-variance decomposition
of an ensemble. In particular, we prove a family of exact
bias-variance-diversity decompositions, for both classification and regression
losses, e.g., squared, and cross-entropy. The framework provides a methodology
to automatically identify the combiner rule enabling such a decomposition,
specific to the loss. The formulation of diversity is therefore dependent on
just two design choices: the loss, and the combiner. For certain choices (e.g.,
0-1 loss with majority voting) the effect of diversity is necessarily dependent
on the target label. Experiments illustrate how we can use our framework to
understand the diversity-encouraging mechanisms of popular ensemble methods:
Bagging, Boosting, and Random Forests.
- Abstract（参考訳）: 本稿では,多様な教師付き学習シナリオにおける多様性の性質と効果を説明する,アンサンブル多様性の理論を提案する。
アンサンブルの多様性を理解するというこの課題は、アンサンブルの学習の聖杯と呼ばれ、30年以上にわたり公然とされてきた。
我々の枠組みは,アンサンブルの偏差分解において,多様性が隠された次元であることを明らかにする。
特に、分類と回帰損失、例えば正方形とクロスエントロピーの両方について、バイアス分散-多様性分解の族が証明される。
このフレームワークは、損失に特有のそのような分解を可能にするコンバインダールールを自動的に識別する方法論を提供する。
したがって多様性の定式化は、損失と組み合わせという2つの設計選択にのみ依存する。
特定の選択肢(多数決で 0-1 の損失など)については、多様性の効果は必ずターゲットラベルに依存する。
実験は、我々のフレームワークを使って、一般的なアンサンブル手法の多様性を増進するメカニズムを理解する方法を示している。
関連論文リスト
- Generalizing to any diverse distribution: uniformity, gentle finetuning and rebalancing [55.791818510796645]
我々は,訓練データから大きく逸脱した場合でも,様々なテスト分布によく適応するモデルを開発することを目的としている。
ドメイン適応、ドメイン一般化、ロバスト最適化といった様々なアプローチは、アウト・オブ・ディストリビューションの課題に対処しようと試みている。
我々は、既知のドメイン内の十分に多様なテスト分布にまたがる最悪のケースエラーを考慮することで、より保守的な視点を採用する。
論文 参考訳（メタデータ） (2024-10-08T12:26:48Z) - Harnessing Hierarchical Label Distribution Variations in Test Agnostic Long-tail Recognition [114.96385572118042]
テストラベルの分布の変動は階層的にグローバルレベルとローカルレベルに分解できると主張している。
ラベル分布の異なるDirichletメタ分布に専門家を割り当てる新しいMoE戦略である$mathsfDirMixE$を提案する。
本稿では,分散に基づく正規化による一般化の促進による目的性を示す。
論文 参考訳（メタデータ） (2024-05-13T14:24:56Z) - The Implicit Bias of Heterogeneity towards Invariance: A Study of Multi-Environment Matrix Sensing [9.551225697705199]
本稿では,不均一なデータに対するグラディエント・ディキセント(SGD)の暗黙バイアスについて検討し,その暗黙バイアスがモデル学習を不変解へと導くことを示す。
具体的には、各環境において、信号が(i)全環境間で共有される低ランク不変部分と(ii)環境依存のスプリアス成分とを含む多環境低ランク行列センシング問題について理論的に検討する。
重要な洞察は、明示的な正規化を伴わずに各環境で大きなステップサイズの大バッチSGDを逐次使用するだけで、不均一性に起因する振動は、モデル学習の急激なシグナルを確実に阻止することができることである。
論文 参考訳（メタデータ） (2024-03-03T07:38:24Z) - Results on Counterfactual Invariance [3.616948583169635]
反事実的不変性は条件的独立を意味するが、条件的独立性は反事実的不変性を満たす度合いや可能性について何の意味も示さない。
離散因果モデルでは、反実不変函数は、しばしば特定の変数の函数、あるいは定数であるように制約される。
論文 参考訳（メタデータ） (2023-07-17T14:27:32Z) - Source-free Domain Adaptation Requires Penalized Diversity [60.04618512479438]
ソースデータがない場合、異なるドメイン間の知識伝達に対処するために、ソースフリードメイン適応(SFDA)が導入された。
教師なしのFDAでは、多様性はソース上の1つの仮説を学習するか、共有された特徴抽出器で複数の仮説を学習することに限定される。
本稿では,異なる特徴抽出器を用いて表現多様性を促進する新しい無教師付きSFDAアルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-04-06T00:20:19Z) - The Double-Edged Sword of Diversity: How Diversity, Conflict, and
Psychological Safety Impact Software Teams [6.190511747986327]
チームの多様性は両刃の剣と見なすことができます。
本研究は分類-実験モデル(CEM)のレンズを通して多様性を考察する。
性別,年齢,役割,文化的背景の多様性がチームの有効性と対立に与える影響について検討した。
論文 参考訳（メタデータ） (2023-01-30T14:54:44Z) - Picking on the Same Person: Does Algorithmic Monoculture lead to Outcome
Homogenization? [90.35044668396591]
機械学習における繰り返しのテーマはアルゴリズムによるモノカルチャーである。同じシステム、またはコンポーネントを共有するシステムは、複数の意思決定者によってデプロイされる。
意思決定者がトレーニングデータや特定のモデルなどのコンポーネントを共有すれば、より均一な結果が得られます。
我々はこの仮説をアルゴリズムフェアネスベンチマークで検証し、トレーニングデータの共有がホモジェナイゼーションを確実に悪化させることを示した。
結果の均質化に関する哲学的分析と社会的な課題を、デプロイされた機械学習システムに含めることに着目して結論付ける。
論文 参考訳（メタデータ） (2022-11-25T09:33:11Z) - Diverse Weight Averaging for Out-of-Distribution Generalization [100.22155775568761]
単走ではなく、複数の独立したトレーニングランから得られる平均重量について、Diverse Weight Averaging (DiWA)を提案する。
DiWAは、推論オーバーヘッドなしに競合するDomainBedベンチマークのテクニックの状態を継続的に改善します。
論文 参考訳（メタデータ） (2022-05-19T17:44:22Z) - Invariance Principle Meets Information Bottleneck for
Out-of-Distribution Generalization [77.24152933825238]
線形分類タスクには分布シフトの強い制限が必要であり、そうでなければ OOD の一般化は不可能であることを示す。
不変な特徴がラベルに関するすべての情報をキャプチャし、そうでなければ既存の成功を保っている場合、情報ボトルネックの形式が重要な障害に対処するのに役立つことを証明します。
論文 参考訳（メタデータ） (2021-06-11T20:42:27Z) - Unifying Behavioral and Response Diversity for Open-ended Learning in
Zero-sum Games [44.30509625560908]
オープンエンド学習アルゴリズムでは、多様性の定義が広く受け入れられておらず、多様なポリシーの構築と評価が困難である。
行動多様性(BD)と反応多様性(RD)の両方に基づくマルチエージェントオープンエンド学習における多様性の統一尺度を提案する。
現在,多くの多様性対策が,BDやRDのカテゴリの1つに該当するが,両方ではないことを示す。
この統一された多様性尺度を用いて、オープンエンド学習における最良の応答を求める際に、対応する多様性促進目標と人口効果度を設計する。
論文 参考訳（メタデータ） (2021-06-09T10:11:06Z) - Understanding Generalization in Adversarial Training via the
Bias-Variance Decomposition [39.108491135488286]
テストのリスクをバイアスと分散コンポーネントに分解します。
バイアスは摂動の大きさとともに単調に増加し、リスクの主要な用語であることがわかった。
一般化ギャップに対する一般的な説明は、代わりに分散が単調であることを予測している。
論文 参考訳（メタデータ） (2021-03-17T23:30:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。