論文の概要: Ensembling over Classifiers: a Bias-Variance Perspective

• arxiv url: http://arxiv.org/abs/2206.10566v1
• Date: Tue, 21 Jun 2022 17:46:35 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-22 14:50:05.328827
• Title: Ensembling over Classifiers: a Bias-Variance Perspective
• Title（参考訳）: 分類器を組立てる:バイアス変数の視点
• Authors: Neha Gupta, Jamie Smith, Ben Adlam, Zelda Mariet
• Abstract要約: Pfau (2013) による偏差分解の拡張の上に構築し, 分類器のアンサンブルの挙動に関する重要な知見を得る。 条件付き推定は必然的に既約誤差を生じさせることを示す。 経験的に、標準的なアンサンブルはバイアスを減少させ、この予期せぬ減少のために、分類器のアンサンブルがうまく機能するかもしれないという仮説を立てる。
• 参考スコア（独自算出の注目度）: 13.006468721874372
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Ensembles are a straightforward, remarkably effective method for improving the accuracy,calibration, and robustness of models on classification tasks; yet, the reasons that underlie their success remain an active area of research. We build upon the extension to the bias-variance decomposition by Pfau (2013) in order to gain crucial insights into the behavior of ensembles of classifiers. Introducing a dual reparameterization of the bias-variance tradeoff, we first derive generalized laws of total expectation and variance for nonsymmetric losses typical of classification tasks. Comparing conditional and bootstrap bias/variance estimates, we then show that conditional estimates necessarily incur an irreducible error. Next, we show that ensembling in dual space reduces the variance and leaves the bias unchanged, whereas standard ensembling can arbitrarily affect the bias. Empirically, standard ensembling reducesthe bias, leading us to hypothesize that ensembles of classifiers may perform well in part because of this unexpected reduction.We conclude by an empirical analysis of recent deep learning methods that ensemble over hyperparameters, revealing that these techniques indeed favor bias reduction. This suggests that, contrary to classical wisdom, targeting bias reduction may be a promising direction for classifier ensembles.
• Abstract（参考訳）: アンサンブルは、分類タスクにおけるモデルの正確性、キャリブレーション、堅牢性を改善するための、単純で極めて効果的な方法であるが、その成功を裏付ける理由は依然として研究の活発な領域である。 Pfau (2013) による偏差分解の拡張の上に構築し, 分類器のアンサンブルの挙動に関する重要な知見を得る。 バイアス分散トレードオフの双対再パラメータ化を導入することで、分類タスクに典型的な非対称損失に対する総期待と分散の一般化則を導出する。 条件付きバイアス/分散推定とブートストラップ型バイアス/分散推定を比較し,条件付き推定が必ずしも既約誤差を伴わないことを示す。 次に、双対空間におけるエンセムリングは分散を減少させバイアスを変化させるが、標準エンセムリングは任意にバイアスに影響を与える。 経験的に、標準のセンスリングはバイアスを減少させ、この予期せぬ減少のために分類器のアンサンブルがうまく機能するかもしれないという仮説を導き、ハイパーパラメータ上でアンサンブルする最近のディープラーニング手法を実証分析した結果、これらのテクニックがバイアス低減を実際に好んでいることが明らかとなった。 これは、古典的知恵とは対照的に、バイアス低減を狙うことが分類子アンサンブルの有望な方向性であることを示唆している。

関連論文リスト

• Fine-Grained Dynamic Framework for Bias-Variance Joint Optimization on Data Missing Not at Random [2.8165314121189247]
  レコメンデーションシステムやディスプレイ広告など、ほとんどの実践的なアプリケーションでは、収集されたデータには欠落する値が含まれることが多い。 我々は,バイアスと分散を協調的に最適化する,体系的なきめ細かな動的学習フレームワークを開発した。
  論文  参考訳（メタデータ） (2024-05-24T10:07:09Z)
• Distributionally Robust Optimization and Invariant Representation Learning for Addressing Subgroup Underrepresentation: Mechanisms and Limitations [10.4894578909708]
  サブグループの低表現によって引き起こされる純粋相関は、DNNによって永続できるバイアスの源として注目されている。 本研究は,医用画像分類におけるサブグループ非表現による急激な相関の緩和メカニズムの理解と改善に向けた第一歩である。
  論文  参考訳（メタデータ） (2023-08-12T01:55:58Z)
• Malign Overfitting: Interpolation Can Provably Preclude Invariance [30.776243638012314]
  補間にもかかわらずモデルを適切に一般化する「良性過剰適合」は、堅牢性や公正性が望ましい設定に好ましくない可能性があることを示す。 本研究では,非補間型分類器の確率的不変性を学習するアルゴリズムを提案し,解析する。
  論文  参考訳（メタデータ） (2022-11-28T19:17:31Z)
• Self-supervised debiasing using low rank regularization [59.84695042540525]
  純粋な相関は、ディープニューラルネットワークの強いバイアスを引き起こし、一般化能力を損なう可能性がある。 ラベルのないサンプルと互換性のある自己監督型脱バイアスフレームワークを提案する。 注目すべきは,提案フレームワークが自己教師付き学習ベースラインの一般化性能を著しく向上させることである。
  論文  参考訳（メタデータ） (2022-10-11T08:26:19Z)
• Benign Overfitting in Adversarially Robust Linear Classification [91.42259226639837]
  分類器がノイズの多いトレーニングデータを記憶しながらも、優れた一般化性能を達成している「双曲オーバーフィッティング」は、機械学習コミュニティにおいて大きな注目を集めている。 本研究は, 対人訓練において, 対人訓練において, 良心過剰が実際に発生することを示し, 対人訓練に対する防御の原則的アプローチを示す。
  論文  参考訳（メタデータ） (2021-12-31T00:27:31Z)
• Selective Regression Under Fairness Criteria [30.672082160544996]
  少数派集団のパフォーマンスは、カバー範囲を減らしながら低下する場合もある。 満足度基準を満たす特徴を構築できれば、そのような望ましくない行動は避けられることを示す。
  論文  参考訳（メタデータ） (2021-10-28T19:05:12Z)
• Unsupervised Learning of Debiased Representations with Pseudo-Attributes [85.5691102676175]
  教師なし方式で,単純かつ効果的な脱バイアス手法を提案する。 特徴埋め込み空間上でクラスタリングを行い、クラスタリング結果を利用して疑似属性を識別する。 次に,非偏り表現を学習するために,クラスタベースの新しい重み付け手法を用いる。
  論文  参考訳（メタデータ） (2021-08-06T05:20:46Z)
• Interpolation can hurt robust generalization even when there is no noise [76.3492338989419]
  リッジの正規化による一般化の回避は,ノイズがなくても大幅に一般化できることを示す。 この現象は線形回帰と分類の両方のロバストなリスクを証明し、したがってロバストなオーバーフィッティングに関する最初の理論的結果を与える。
  論文  参考訳（メタデータ） (2021-08-05T23:04:15Z)
• Deconfounding Scores: Feature Representations for Causal Effect Estimation with Weak Overlap [140.98628848491146]
  推定対象の偏りを伴わずに高い重なりを生じさせる,デコンファウンディングスコアを導入する。 分離スコアは観測データで識別可能なゼロ共分散条件を満たすことを示す。 特に,この手法が標準正規化の魅力的な代替となることを示す。
  論文  参考訳（メタデータ） (2021-04-12T18:50:11Z)
• Debiasing classifiers: is reality at variance with expectation? [9.730485257882433]
  私たちは、デバイアスは実際に、サンプル外データを一般化するのに失敗することが多く、実際は、改善よりも公平さを悪くする可能性があることを示しています。 公正さを考えると、パフォーマンスのトレードオフは、部分的偏りが実際にサンプル外データで実践した場合により良い結果をもたらすという直感的な考え方を正当化する。
  論文  参考訳（メタデータ） (2020-11-04T17:00:54Z)
• Consistency Regularization for Certified Robustness of Smoothed Classifiers [89.72878906950208]
  最近のランダムな平滑化技術は、最悪の$ell$-robustnessを平均ケースのロバストネスに変換することができることを示している。 その結果,スムーズな分類器の精度と信頼性の高いロバスト性とのトレードオフは,ノイズに対する予測一貫性の規則化によって大きく制御できることが判明した。
  論文  参考訳（メタデータ） (2020-06-07T06:57:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。