論文の概要: A Unified Theory of Diversity in Ensemble Learning
- arxiv url: http://arxiv.org/abs/2301.03962v1
- Date: Tue, 10 Jan 2023 13:51:07 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-11 16:19:45.855943
- Title: A Unified Theory of Diversity in Ensemble Learning
- Title(参考訳): アンサンブル学習における多様性の統一理論
- Authors: Danny Wood and Tingting Mu and Andrew Webb and Henry Reeve and Mikel
Lujan and Gavin Brown
- Abstract要約: 本稿では,多様な教師付き学習シナリオにおける多様性の性質と効果を説明する,アンサンブルの多様性の理論を提案する。
我々の枠組みは,アンサンブルの偏差分解において,多様性が隠された次元であることを明らかにする。
実験は、一般的なアンサンブル手法の多様性向上メカニズムを理解するために、我々のフレームワークをどのように利用できるかを示す。
- 参考スコア(独自算出の注目度): 2.713476416586843
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We present a theory of ensemble diversity, explaining the nature and effect
of diversity for a wide range of supervised learning scenarios. This challenge,
of understanding ensemble diversity, has been referred to as the holy grail of
ensemble learning, an open question for over 30 years. Our framework reveals
that diversity is in fact a hidden dimension in the bias-variance decomposition
of an ensemble. In particular, we prove a family of exact
bias-variance-diversity decompositions, for both classification and regression
losses, e.g., squared, and cross-entropy. The framework provides a methodology
to automatically identify the combiner rule enabling such a decomposition,
specific to the loss. The formulation of diversity is therefore dependent on
just two design choices: the loss, and the combiner. For certain choices (e.g.,
0-1 loss with majority voting) the effect of diversity is necessarily dependent
on the target label. Experiments illustrate how we can use our framework to
understand the diversity-encouraging mechanisms of popular ensemble methods:
Bagging, Boosting, and Random Forests.
- Abstract(参考訳): 本稿では,多様な教師付き学習シナリオにおける多様性の性質と効果を説明する,アンサンブル多様性の理論を提案する。
アンサンブルの多様性を理解するというこの課題は、アンサンブルの学習の聖杯と呼ばれ、30年以上にわたり公然とされてきた。
我々の枠組みは,アンサンブルの偏差分解において,多様性が隠された次元であることを明らかにする。
特に、分類と回帰損失、例えば正方形とクロスエントロピーの両方について、バイアス分散-多様性分解の族が証明される。
このフレームワークは、損失に特有のそのような分解を可能にするコンバインダールールを自動的に識別する方法論を提供する。
したがって多様性の定式化は、損失と組み合わせという2つの設計選択にのみ依存する。
特定の選択肢(多数決で 0-1 の損失など)については、多様性の効果は必ずターゲットラベルに依存する。
実験は、我々のフレームワークを使って、一般的なアンサンブル手法の多様性を増進するメカニズムを理解する方法を示している。
関連論文リスト
- TIC-TAC: A Framework To Learn And Evaluate Your Covariance [119.82937345718378]
State-of-the-art method predict the mean $f_theta(x)$ and covariance $textrmCov(f_theta(x))$ of the target distribution through the two neural network using the negative log-likelihood。
1)予測共分散は予測平均のランダム性を真に捉えているのか?
論文 参考訳(メタデータ) (2023-10-29T09:54:03Z) - Results on Counterfactual Invariance [3.616948583169635]
反事実的不変性は条件的独立を意味するが、条件的独立性は反事実的不変性を満たす度合いや可能性について何の意味も示さない。
離散因果モデルでは、反実不変函数は、しばしば特定の変数の函数、あるいは定数であるように制約される。
論文 参考訳(メタデータ) (2023-07-17T14:27:32Z) - Source-free Domain Adaptation Requires Penalized Diversity [60.04618512479438]
ソースデータがない場合、異なるドメイン間の知識伝達に対処するために、ソースフリードメイン適応(SFDA)が導入された。
教師なしのFDAでは、多様性はソース上の1つの仮説を学習するか、共有された特徴抽出器で複数の仮説を学習することに限定される。
本稿では,異なる特徴抽出器を用いて表現多様性を促進する新しい無教師付きSFDAアルゴリズムを提案する。
論文 参考訳(メタデータ) (2023-04-06T00:20:19Z) - The Double-Edged Sword of Diversity: How Diversity, Conflict, and
Psychological Safety Impact Software Teams [6.190511747986327]
チームの多様性は両刃の剣と見なすことができます。
本研究は分類-実験モデル(CEM)のレンズを通して多様性を考察する。
性別,年齢,役割,文化的背景の多様性がチームの有効性と対立に与える影響について検討した。
論文 参考訳(メタデータ) (2023-01-30T14:54:44Z) - Picking on the Same Person: Does Algorithmic Monoculture lead to Outcome
Homogenization? [90.35044668396591]
機械学習における繰り返しのテーマはアルゴリズムによるモノカルチャーである。同じシステム、またはコンポーネントを共有するシステムは、複数の意思決定者によってデプロイされる。
意思決定者がトレーニングデータや特定のモデルなどのコンポーネントを共有すれば、より均一な結果が得られます。
我々はこの仮説をアルゴリズムフェアネスベンチマークで検証し、トレーニングデータの共有がホモジェナイゼーションを確実に悪化させることを示した。
結果の均質化に関する哲学的分析と社会的な課題を、デプロイされた機械学習システムに含めることに着目して結論付ける。
論文 参考訳(メタデータ) (2022-11-25T09:33:11Z) - Diverse Weight Averaging for Out-of-Distribution Generalization [100.22155775568761]
単走ではなく、複数の独立したトレーニングランから得られる平均重量について、Diverse Weight Averaging (DiWA)を提案する。
DiWAは、推論オーバーヘッドなしに競合するDomainBedベンチマークのテクニックの状態を継続的に改善します。
論文 参考訳(メタデータ) (2022-05-19T17:44:22Z) - Invariance Principle Meets Information Bottleneck for
Out-of-Distribution Generalization [77.24152933825238]
線形分類タスクには分布シフトの強い制限が必要であり、そうでなければ OOD の一般化は不可能であることを示す。
不変な特徴がラベルに関するすべての情報をキャプチャし、そうでなければ既存の成功を保っている場合、情報ボトルネックの形式が重要な障害に対処するのに役立つことを証明します。
論文 参考訳(メタデータ) (2021-06-11T20:42:27Z) - Unifying Behavioral and Response Diversity for Open-ended Learning in
Zero-sum Games [44.30509625560908]
オープンエンド学習アルゴリズムでは、多様性の定義が広く受け入れられておらず、多様なポリシーの構築と評価が困難である。
行動多様性(BD)と反応多様性(RD)の両方に基づくマルチエージェントオープンエンド学習における多様性の統一尺度を提案する。
現在,多くの多様性対策が,BDやRDのカテゴリの1つに該当するが,両方ではないことを示す。
この統一された多様性尺度を用いて、オープンエンド学習における最良の応答を求める際に、対応する多様性促進目標と人口効果度を設計する。
論文 参考訳(メタデータ) (2021-06-09T10:11:06Z) - Understanding Generalization in Adversarial Training via the
Bias-Variance Decomposition [39.108491135488286]
テストのリスクをバイアスと分散コンポーネントに分解します。
バイアスは摂動の大きさとともに単調に増加し、リスクの主要な用語であることがわかった。
一般化ギャップに対する一般的な説明は、代わりに分散が単調であることを予測している。
論文 参考訳(メタデータ) (2021-03-17T23:30:00Z) - What Should Not Be Contrastive in Contrastive Learning [110.14159883496859]
本稿では,タスク依存不変性に関する事前知識を必要としない,対照的な学習フレームワークを提案する。
我々のモデルは、異なる埋め込み空間を構築することで、視覚表現の様々な要因や不変要素を捉えることを学習する。
我々は、共有バックボーンを持つマルチヘッドネットワークを使用し、各オーグメンテーションにまたがる情報をキャプチャし、ダウンストリームタスクにおけるすべてのベースラインより優れている。
論文 参考訳(メタデータ) (2020-08-13T03:02:32Z) - Diverse Instances-Weighting Ensemble based on Region Drift Disagreement
for Concept Drift Adaptation [40.77597229122878]
本稿では,地域分布変化の確率にアンサンブルメンバーが同意するかどうかに基づく多様性測定を提案する。
多様なインスタンス重み付けアンサンブル(DiwE)と呼ばれるインスタンスベースのアンサンブル学習アルゴリズムは、データストリーム分類問題に対する概念ドリフトに対処するために開発された。
論文 参考訳(メタデータ) (2020-04-13T07:59:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。