論文の概要: FAIR-Ensemble: When Fairness Naturally Emerges From Deep Ensembling

• arxiv url: http://arxiv.org/abs/2303.00586v2
• Date: Wed, 20 Dec 2023 22:54:48 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-22 19:17:57.412836
• Title: FAIR-Ensemble: When Fairness Naturally Emerges From Deep Ensembling
• Title（参考訳）: FAIR-Ensemble: フェアネスが深層から自然に生まれるとき
• Authors: Wei-Yin Ko, Daniel D'souza, Karina Nguyen, Randall Balestriero, Sara Hooker
• Abstract要約: 複数のディープニューラルネットワーク(DNN)を組み立てることは、トップラインメトリクスを改善するためのシンプルで効果的な方法である。 本研究では,アンサンブルがサブグループパフォーマンスに与える影響について検討する。
• 参考スコア（独自算出の注目度）: 17.731480052857158
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Ensembling multiple Deep Neural Networks (DNNs) is a simple and effective way to improve top-line metrics and to outperform a larger single model. In this work, we go beyond top-line metrics and instead explore the impact of ensembling on subgroup performances. Surprisingly, we observe that even with a simple homogeneous ensemble -- all the individual DNNs share the same training set, architecture, and design choices -- the minority group performance disproportionately improves with the number of models compared to the majority group, i.e. fairness naturally emerges from ensembling. Even more surprising, we find that this gain keeps occurring even when a large number of models is considered, e.g. $20$, despite the fact that the average performance of the ensemble plateaus with fewer models. Our work establishes that simple DNN ensembles can be a powerful tool for alleviating disparate impact from DNN classifiers, thus curbing algorithmic harm. We also explore why this is the case. We find that even in homogeneous ensembles, varying the sources of stochasticity through parameter initialization, mini-batch sampling, and data-augmentation realizations, results in different fairness outcomes.
• Abstract（参考訳）: 複数のディープニューラルネットワーク(DNN)を組み立てることは、トップラインのメトリクスを改善し、より大きな単一モデルを上回る、シンプルで効果的な方法である。 この作業では、トップラインメトリクスを越えて、サブグループのパフォーマンスに対するアンサンブルの影響を調査します。 驚いたことに、単純な均質なアンサンブル -- 個々のdnnが同じトレーニングセット、アーキテクチャ、デザインの選択を共有している -- であっても、少数グループのパフォーマンスは、多数派に比べてモデル数で不釣り合いに改善される。 さらに驚くべきことに、アンサンブル高原の平均的なパフォーマンスがより少ないにもかかわらず、例えば20ドルといった多くのモデルが検討されている場合でも、この上昇は引き続き起こる。 我々の研究は、単純なDNNアンサンブルが、DNN分類器から異なる影響を緩和し、アルゴリズムの害を抑える強力なツールであることを示す。 また、その理由についても検討する。 一様アンサンブルにおいても,パラメータ初期化,ミニバッチサンプリング,データ提供実現などを通じて確率性の源を変化させることで,公平性が異なることが判明した。

関連論文リスト

• Rethinking Fair Graph Neural Networks from Re-balancing [26.70771023446706]
  単純な再分散手法は、既存の公正なGNN手法と容易に一致するか、追い越すことができる。 本稿では,グループバランスによるGNNの不公平さを軽減するために,再バランシングによるFairGB,Fair Graph Neural Networkを提案する。
  論文  参考訳（メタデータ） (2024-07-16T11:39:27Z)
• Enhancing Few-shot NER with Prompt Ordering based Data Augmentation [59.69108119752584]
  本稿では,PODA(Prompt Ordering Based Data Augmentation)手法を提案する。 3つのパブリックNERデータセットの実験結果とさらなる分析により,本手法の有効性が示された。
  論文  参考訳（メタデータ） (2023-05-19T16:25:43Z)
• Joint Training of Deep Ensembles Fails Due to Learner Collusion [61.557412796012535]
  機械学習モデルのアンサンブルは、単一のモデルよりもパフォーマンスを改善する強力な方法として確立されている。 伝統的に、アンサンブルアルゴリズムは、ジョイントパフォーマンスの最適化を目標として、ベースラーナーを独立または逐次訓練する。 アンサンブルの損失を最小化することは、実際にはほとんど適用されないことを示す。
  論文  参考訳（メタデータ） (2023-01-26T18:58:07Z)
• Deep Negative Correlation Classification [82.45045814842595]
  既存のディープアンサンブル手法は、多くの異なるモデルをナビゲートし、予測を集約する。 深部負相関分類(DNCC)を提案する。 DNCCは、個々の推定器が正確かつ負の相関を持つ深い分類アンサンブルを生成する。
  論文  参考訳（メタデータ） (2022-12-14T07:35:20Z)
• Simplicity Bias Leads to Amplified Performance Disparities [8.60453031364566]
  SGDで訓練されたモデルは、単純さに偏りがあることを示し、多数派の学習を優先させる。 モデルは、単純なデータセットのクラスやグループを優先順位付けし、複雑なものを見つけることを犠牲にすることができる。
  論文  参考訳（メタデータ） (2022-12-13T15:24:41Z)
• How to train your draGAN: A task oriented solution to imbalanced classification [15.893327571516016]
  本稿では,新しいアーキテクチャであるdraGANを用いた,ユニークでパフォーマンスを重視したデータ生成戦略を提案する。 サンプルは、実際のデータと類似性ではなく、分類モデルの性能を最適化する目的で生成される。 経験的に、draGANの優位性を示すと同時に、いくつかの欠点も強調する。
  論文  参考訳（メタデータ） (2022-11-18T07:37:34Z)
• Deep Ensembles Work, But Are They Necessary? [19.615082441403946]
  ニューラルネットワークの組み立ては、精度を高める効果的な方法である。 最近の研究は、深いアンサンブルが予測力以上の利益をもたらす可能性を示唆している。 単一の(しかし大きな)ニューラルネットワークが、これらの品質を複製できることが示されています。
  論文  参考訳（メタデータ） (2022-02-14T19:01:01Z)
• Sparse MoEs meet Efficient Ensembles [49.313497379189315]
  このようなモデルの2つの一般的なクラス、すなわちニューラルネットワークのアンサンブルと専門家のスパースミックス(スパースMoE)の相互作用について研究する。 Efficient Ensemble of Experts (E$3$)は、両モデルのクラスを最大限に活用するスケーラブルでシンプルなMoEのアンサンブルであり、深いアンサンブルよりも最大45%少ないFLOPを使用する。
  論文  参考訳（メタデータ） (2021-10-07T11:58:35Z)
• Examining and Combating Spurious Features under Distribution Shift [94.31956965507085]
  我々は、最小限の統計量という情報理論の概念を用いて、ロバストで刺激的な表現を定義し、分析する。 入力分布のバイアスしか持たない場合でも、モデルはトレーニングデータから急激な特徴を拾い上げることができることを証明しています。 分析から着想を得た結果,グループDROは,グループ同士の相関関係を直接考慮しない場合に失敗する可能性が示唆された。
  論文  参考訳（メタデータ） (2021-06-14T05:39:09Z)
• When Ensembling Smaller Models is More Efficient than Single Large Models [52.38997176317532]
  アンサンブルは高い精度で単一モデルより優れており、計算に要する総FLOPは少ない。 これは、アンサンブルの出力の多様性がより大きなモデルを訓練するよりも効率的であることを示す興味深い観察結果である。
  論文  参考訳（メタデータ） (2020-05-01T18:56:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。