論文の概要: A Unified Theory of Diversity in Ensemble Learning
- arxiv url: http://arxiv.org/abs/2301.03962v2
- Date: Tue, 5 Dec 2023 16:09:24 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-06 20:32:14.550055
- Title: A Unified Theory of Diversity in Ensemble Learning
- Title(参考訳): アンサンブル学習における多様性の統一理論
- Authors: Danny Wood and Tingting Mu and Andrew Webb and Henry Reeve and Mikel
Lujan and Gavin Brown
- Abstract要約: 本稿では,多様な教師付き学習シナリオにおける多様性の性質を説明する,アンサンブルの多様性の理論を提案する。
この枠組みは,アンサンブル損失のバイアス分散分解において,多様性が隠された次元であることを明らかにする。
- 参考スコア(独自算出の注目度): 4.773356856466191
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We present a theory of ensemble diversity, explaining the nature of diversity
for a wide range of supervised learning scenarios. This challenge, of
understanding ensemble diversity, has been referred to as the "holy grail" of
ensemble learning, an open research issue for over 30 years. Our framework
reveals that diversity is in fact a hidden dimension in the bias-variance
decomposition of the ensemble loss. We prove a family of exact
bias-variance-diversity decompositions, for both regression and classification,
e.g., squared, cross-entropy, and Poisson losses. For losses where an additive
bias-variance decomposition is not available (e.g., 0/1 loss) we present an
alternative approach, which precisely quantifies the effects of diversity,
turning out to be dependent on the label distribution. Experiments show how we
can use our framework to understand the diversity-encouraging mechanisms of
popular methods: Bagging, Boosting, and Random Forests.
- Abstract(参考訳): 本稿では,多様な教師付き学習シナリオにおける多様性の性質を説明するアンサンブル多様性の理論を提案する。
アンサンブルの多様性を理解するというこの課題は、30年以上にわたるオープンな研究課題であるアンサンブル学習の「聖杯」と呼ばれている。
この枠組みは,アンサンブル損失のバイアス分散分解において,多様性が隠された次元であることを明らかにする。
回帰と分類、例えば正方形、クロスエントロピー、ポアソンの損失について、正確なバイアス分散-多様性分解の族を証明した。
加法バイアス分散分解が得られない損失(例えば 0/1 の損失)に対しては、多様性の効果を正確に定量化し、ラベル分布に依存することが判明する別のアプローチを提案する。
実験では,バッキング,ブースティング,ランダムフォレストといった一般的な手法の多様性向上メカニズムを理解するために,我々のフレームワークをどのように利用できるかを示す。
関連論文リスト
- TIC-TAC: A Framework To Learn And Evaluate Your Covariance [119.82937345718378]
State-of-the-art method predict the mean $f_theta(x)$ and covariance $textrmCov(f_theta(x))$ of the target distribution through the two neural network using the negative log-likelihood。
1)予測共分散は予測平均のランダム性を真に捉えているのか?
論文 参考訳(メタデータ) (2023-10-29T09:54:03Z) - Results on Counterfactual Invariance [3.616948583169635]
反事実的不変性は条件的独立を意味するが、条件的独立性は反事実的不変性を満たす度合いや可能性について何の意味も示さない。
離散因果モデルでは、反実不変函数は、しばしば特定の変数の函数、あるいは定数であるように制約される。
論文 参考訳(メタデータ) (2023-07-17T14:27:32Z) - Source-free Domain Adaptation Requires Penalized Diversity [60.04618512479438]
ソースデータがない場合、異なるドメイン間の知識伝達に対処するために、ソースフリードメイン適応(SFDA)が導入された。
教師なしのFDAでは、多様性はソース上の1つの仮説を学習するか、共有された特徴抽出器で複数の仮説を学習することに限定される。
本稿では,異なる特徴抽出器を用いて表現多様性を促進する新しい無教師付きSFDAアルゴリズムを提案する。
論文 参考訳(メタデータ) (2023-04-06T00:20:19Z) - The Double-Edged Sword of Diversity: How Diversity, Conflict, and
Psychological Safety Impact Software Teams [6.190511747986327]
チームの多様性は両刃の剣と見なすことができます。
本研究は分類-実験モデル(CEM)のレンズを通して多様性を考察する。
性別,年齢,役割,文化的背景の多様性がチームの有効性と対立に与える影響について検討した。
論文 参考訳(メタデータ) (2023-01-30T14:54:44Z) - Picking on the Same Person: Does Algorithmic Monoculture lead to Outcome
Homogenization? [90.35044668396591]
機械学習における繰り返しのテーマはアルゴリズムによるモノカルチャーである。同じシステム、またはコンポーネントを共有するシステムは、複数の意思決定者によってデプロイされる。
意思決定者がトレーニングデータや特定のモデルなどのコンポーネントを共有すれば、より均一な結果が得られます。
我々はこの仮説をアルゴリズムフェアネスベンチマークで検証し、トレーニングデータの共有がホモジェナイゼーションを確実に悪化させることを示した。
結果の均質化に関する哲学的分析と社会的な課題を、デプロイされた機械学習システムに含めることに着目して結論付ける。
論文 参考訳(メタデータ) (2022-11-25T09:33:11Z) - Diverse Weight Averaging for Out-of-Distribution Generalization [100.22155775568761]
単走ではなく、複数の独立したトレーニングランから得られる平均重量について、Diverse Weight Averaging (DiWA)を提案する。
DiWAは、推論オーバーヘッドなしに競合するDomainBedベンチマークのテクニックの状態を継続的に改善します。
論文 参考訳(メタデータ) (2022-05-19T17:44:22Z) - Invariance Principle Meets Information Bottleneck for
Out-of-Distribution Generalization [77.24152933825238]
線形分類タスクには分布シフトの強い制限が必要であり、そうでなければ OOD の一般化は不可能であることを示す。
不変な特徴がラベルに関するすべての情報をキャプチャし、そうでなければ既存の成功を保っている場合、情報ボトルネックの形式が重要な障害に対処するのに役立つことを証明します。
論文 参考訳(メタデータ) (2021-06-11T20:42:27Z) - Unifying Behavioral and Response Diversity for Open-ended Learning in
Zero-sum Games [44.30509625560908]
オープンエンド学習アルゴリズムでは、多様性の定義が広く受け入れられておらず、多様なポリシーの構築と評価が困難である。
行動多様性(BD)と反応多様性(RD)の両方に基づくマルチエージェントオープンエンド学習における多様性の統一尺度を提案する。
現在,多くの多様性対策が,BDやRDのカテゴリの1つに該当するが,両方ではないことを示す。
この統一された多様性尺度を用いて、オープンエンド学習における最良の応答を求める際に、対応する多様性促進目標と人口効果度を設計する。
論文 参考訳(メタデータ) (2021-06-09T10:11:06Z) - Understanding Generalization in Adversarial Training via the
Bias-Variance Decomposition [39.108491135488286]
テストのリスクをバイアスと分散コンポーネントに分解します。
バイアスは摂動の大きさとともに単調に増加し、リスクの主要な用語であることがわかった。
一般化ギャップに対する一般的な説明は、代わりに分散が単調であることを予測している。
論文 参考訳(メタデータ) (2021-03-17T23:30:00Z) - What Should Not Be Contrastive in Contrastive Learning [110.14159883496859]
本稿では,タスク依存不変性に関する事前知識を必要としない,対照的な学習フレームワークを提案する。
我々のモデルは、異なる埋め込み空間を構築することで、視覚表現の様々な要因や不変要素を捉えることを学習する。
我々は、共有バックボーンを持つマルチヘッドネットワークを使用し、各オーグメンテーションにまたがる情報をキャプチャし、ダウンストリームタスクにおけるすべてのベースラインより優れている。
論文 参考訳(メタデータ) (2020-08-13T03:02:32Z) - Diverse Instances-Weighting Ensemble based on Region Drift Disagreement
for Concept Drift Adaptation [40.77597229122878]
本稿では,地域分布変化の確率にアンサンブルメンバーが同意するかどうかに基づく多様性測定を提案する。
多様なインスタンス重み付けアンサンブル(DiwE)と呼ばれるインスタンスベースのアンサンブル学習アルゴリズムは、データストリーム分類問題に対する概念ドリフトに対処するために開発された。
論文 参考訳(メタデータ) (2020-04-13T07:59:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。