論文の概要: Fairness via In-Processing in the Over-parameterized Regime: A Cautionary Tale

• arxiv url: http://arxiv.org/abs/2206.14853v1
• Date: Wed, 29 Jun 2022 18:40:35 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-02 09:38:23.470040
• Title: Fairness via In-Processing in the Over-parameterized Regime: A Cautionary Tale
• Title（参考訳）: 過剰パラメータ化体制におけるインプロセッシングによる公平性--注意物語
• Authors: Akshaj Kumar Veldanda, Ivan Brugere, Jiahao Chen, Sanghamitra Dutta, Alan Mishler, Siddharth Garg
• Abstract要約: MinDiff(ミンディフ)は、機会の平等を達成するための公正な訓練手順である。 我々はMinDiffが制約の少ないモデルに対する公平性を向上するが、過剰制約されたシステムでは効果がないことを示した。 我々は,従来提案されていたL2,早期停止,洪水といった正則化手法をMinDiffと併用して,公正な過制約モデルの訓練を行うことを提案する。
• 参考スコア（独自算出の注目度）: 15.966815398160742
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The success of DNNs is driven by the counter-intuitive ability of over-parameterized networks to generalize, even when they perfectly fit the training data. In practice, test error often continues to decrease with increasing over-parameterization, referred to as double descent. This allows practitioners to instantiate large models without having to worry about over-fitting. Despite its benefits, however, prior work has shown that over-parameterization can exacerbate bias against minority subgroups. Several fairness-constrained DNN training methods have been proposed to address this concern. Here, we critically examine MinDiff, a fairness-constrained training procedure implemented within TensorFlow's Responsible AI Toolkit, that aims to achieve Equality of Opportunity. We show that although MinDiff improves fairness for under-parameterized models, it is likely to be ineffective in the over-parameterized regime. This is because an overfit model with zero training loss is trivially group-wise fair on training data, creating an "illusion of fairness," thus turning off the MinDiff optimization (this will apply to any disparity-based measures which care about errors or accuracy. It won't apply to demographic parity). Within specified fairness constraints, under-parameterized MinDiff models can even have lower error compared to their over-parameterized counterparts (despite baseline over-parameterized models having lower error). We further show that MinDiff optimization is very sensitive to choice of batch size in the under-parameterized regime. Thus, fair model training using MinDiff requires time-consuming hyper-parameter searches. Finally, we suggest using previously proposed regularization techniques, viz. L2, early stopping and flooding in conjunction with MinDiff to train fair over-parameterized models.
• Abstract（参考訳）: DNNの成功は、トレーニングデータに完全に適合した場合でも、過パラメータネットワークが一般化する反直感的な能力によって引き起こされる。 実際には、二重降下と呼ばれる過剰パラメータ化の増加に伴い、テストエラーは減少し続ける。 これにより、オーバーフィッティングを心配することなく、大規模なモデルをインスタンス化することができる。 しかし、その利点にもかかわらず、以前の研究は、過度パラメータ化は少数サブグループに対するバイアスを悪化させる可能性があることを示した。 公平に制約されたDNNトレーニング手法が提案されている。 本稿では、TensorFlowのResponsible AI Toolkit内に実装された公正に制約されたトレーニング手順であるMinDiffについて批判的に検討する。 我々は、MinDiffが過度パラメータ化モデルの公平性を向上するが、過度パラメータ化方式では効果がないことを示した。 これは、トレーニング損失がゼロのオーバーフィットモデルが、トレーニングデータに対して自明にグループ的に公平であることから、"公平さのイリュージョン"を生み出し、MinDiff最適化をオフにする(これは、エラーや正確性に気を配る格差ベースの指標に当てはまる)。 特定の公平性制約の中では、過度パラメータ化されたMinDiffモデルは、過度パラメータ化されたモデルよりも誤差が低い。 さらに、MinDiff最適化は、パラメータ下状態におけるバッチサイズの選択に非常に敏感であることを示す。 したがって、MinDiffを用いた公正モデルトレーニングには、時間を要するハイパーパラメーター検索が必要である。 最後に,従来提案されていた正規化手法であるvizを提案する。 l2 初期の停止と洪水 ミンディフと共に、公正な過パラメータモデルの訓練を行う。

関連論文リスト

• LoRTA: Low Rank Tensor Adaptation of Large Language Models [70.32218116940393]
  Low Rank Adaptation (LoRA) は、下流タスクのための大規模な事前学習モデルに効果的に適応する、PEFT (Efficient Fine Tuning) 手法として人気がある。 モデル更新に低階テンソルパラメトリゼーションを用いる新しい手法を提案する。 提案手法は,大規模言語モデルの微調整に有効であり,比較性能を維持しつつ,パラメータ数の大幅な削減を実現している。
  論文  参考訳（メタデータ） (2024-10-05T06:59:50Z)
• Just How Flexible are Neural Networks in Practice? [89.80474583606242]
  ニューラルネットワークは、パラメータを持つ少なくとも多くのサンプルを含むトレーニングセットに適合できると広く信じられている。 しかし実際には、勾配や正規化子など、柔軟性を制限したトレーニング手順によるソリューションしか見つからない。
  論文  参考訳（メタデータ） (2024-06-17T12:24:45Z)
• FairTune: Optimizing Parameter Efficient Fine Tuning for Fairness in Medical Image Analysis [15.166588667072888]
  医用診断などの倫理的に敏感な応用分野において,頑健なグループフェアネス特性を持つトレーニングモデルが重要である。 高容量のディープラーニングモデルは、すべてのトレーニングデータをほぼ完璧に適合させることができる。 公平性に関してPEFTパラメータの選択を最適化するフレームワークであるFairTuneを提案する。
  論文  参考訳（メタデータ） (2023-10-08T07:41:15Z)
• FairAdaBN: Mitigating unfairness with adaptive batch normalization and its application to dermatological disease classification [14.589159162086926]
  バッチ正規化をセンシティブ属性に適応させるFairAdaBNを提案する。 本研究では,FATE(Fairness-Accuracy Trade-off efficiency)と呼ばれる新しい指標を提案する。 2つの皮膚科学データセットを用いた実験により,提案手法はフェアネス基準とFATEの他の手法よりも優れていた。
  論文  参考訳（メタデータ） (2023-03-15T02:22:07Z)
• Distributionally Robust Models with Parametric Likelihood Ratios [123.05074253513935]
  3つの単純なアイデアにより、より広いパラメトリックな確率比のクラスを用いてDROでモデルを訓練することができる。 パラメトリック逆数を用いてトレーニングしたモデルは、他のDROアプローチと比較して、サブポピュレーションシフトに対して一貫して頑健であることがわかった。
  論文  参考訳（メタデータ） (2022-04-13T12:43:12Z)
• Imputation-Free Learning from Incomplete Observations [73.15386629370111]
  本稿では,不備な値を含む入力からの推論をインプットなしでトレーニングするIGSGD法の重要性について紹介する。 バックプロパゲーションによるモデルのトレーニングに使用する勾配の調整には強化学習(RL)を用いる。 我々の計算自由予測は、最先端の計算手法を用いて従来の2段階の計算自由予測よりも優れている。
  論文  参考訳（メタデータ） (2021-07-05T12:44:39Z)
• Scalable Marginal Likelihood Estimation for Model Selection in Deep Learning [78.83598532168256]
  階層型モデル選択は、推定困難のため、ディープラーニングではほとんど使われない。 本研究は,検証データが利用できない場合,限界的可能性によって一般化が向上し,有用であることを示す。
  論文  参考訳（メタデータ） (2021-04-11T09:50:24Z)
• Memorizing without overfitting: Bias, variance, and interpolation in over-parameterized models [0.0]
  バイアス分散トレードオフは教師あり学習における中心的な概念である。 現代のDeep Learningメソッドは、最先端のパフォーマンスを達成するために、このドグマを浮かび上がらせる。
  論文  参考訳（メタデータ） (2020-10-26T22:31:04Z)
• Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
  我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。 本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
  論文  参考訳（メタデータ） (2020-06-10T08:22:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。