論文の概要: f-FERM: A Scalable Framework for Robust Fair Empirical Risk Minimization
- arxiv url: http://arxiv.org/abs/2312.03259v1
- Date: Wed, 6 Dec 2023 03:14:16 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-07 16:20:02.746019
- Title: f-FERM: A Scalable Framework for Robust Fair Empirical Risk Minimization
- Title（参考訳）: f-FERM:ロバスト公正な経験的リスク最小化のためのスケーラブルなフレームワーク
- Authors: Sina Baharlouei, Shivam Patel, Meisam Razaviyayn
- Abstract要約: 本稿では、f-divergence measures(f-FERM)に基づく公正な経験的リスクに対する統一的な最適化フレームワークを提案する。
さらに,f-FERMによるほぼ全てのバッチサイズに対するフェアネス・精度トレードオフの優位性を実証した。
我々の拡張は、不確実集合として$L_p$ノルムの下で f-FERM の目的を分布的に頑健に最適化する手法に基づいている。
- 参考スコア（独自算出の注目度）: 10.77950723840101
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Training and deploying machine learning models that meet fairness criteria
for protected groups are fundamental in modern artificial intelligence. While
numerous constraints and regularization terms have been proposed in the
literature to promote fairness in machine learning tasks, most of these methods
are not amenable to stochastic optimization due to the complex and nonlinear
structure of constraints and regularizers. Here, the term "stochastic" refers
to the ability of the algorithm to work with small mini-batches of data.
Motivated by the limitation of existing literature, this paper presents a
unified stochastic optimization framework for fair empirical risk minimization
based on f-divergence measures (f-FERM). The proposed stochastic algorithm
enjoys theoretical convergence guarantees. In addition, our experiments
demonstrate the superiority of fairness-accuracy tradeoffs offered by f-FERM
for almost all batch sizes (ranging from full-batch to batch size of one).
Moreover, we show that our framework can be extended to the case where there is
a distribution shift from training to the test data. Our extension is based on
a distributionally robust optimization reformulation of f-FERM objective under
$L_p$ norms as uncertainty sets. Again, in this distributionally robust
setting, f-FERM not only enjoys theoretical convergence guarantees but also
outperforms other baselines in the literature in the tasks involving
distribution shifts. An efficient stochastic implementation of $f$-FERM is
publicly available.
- Abstract（参考訳）: 保護されたグループの公平性基準を満たす機械学習モデルのトレーニングとデプロイは、現代の人工知能において基本的なものだ。
機械学習タスクの公平性を促進するために、多くの制約と正規化条件が文献で提案されているが、これらの手法の多くは制約と正規化子の複雑な非線形構造のために確率最適化には適していない。
ここで、"stochastic"という用語は、小さなミニバッチデータを扱うアルゴリズムの能力を指す。
本稿では,f-divergence measures(f-FERM)に基づく,公正な経験的リスク最小化のための統一確率最適化フレームワークを提案する。
提案アルゴリズムは理論的収束を保証する。
さらに,本実験では,f-fermによるほぼすべてのバッチサイズ(フルバッチからバッチサイズまで)に対する公正なトレードオフの優位性を実証する。
さらに,本フレームワークは,トレーニングからテストデータへの分散シフトがある場合に拡張可能であることを示す。
我々の拡張は、不確実集合として$L_p$ノルムの下で f-FERM 目的の分布的に堅牢な最適化の再構成に基づいている。
この分布的ロバストな設定では、f-fermは理論的な収束保証を享受するだけでなく、分布シフトを含むタスクの文献における他のベースラインよりも優れている。
f$-FERMの効率的な確率的実装が公開されている。
関連論文リスト
- Bayesian Nonparametrics Meets Data-Driven Distributionally Robust Optimization [29.24821214671497]
機械学習と統計モデルのトレーニングは、しばしばデータ駆動型リスク基準の最適化を伴う。
ベイズ的非パラメトリック(ディリクレ過程)理論と、スムーズなあいまいさ-逆選好の最近の決定論的モデルを組み合わせた、新しいロバストな基準を提案する。
実用的な実装として、よく知られたディリクレプロセスの表現に基づいて、評価基準の抽出可能な近似を提案し、研究する。
論文 参考訳（メタデータ） (2024-01-28T21:19:15Z) - Dr. FERMI: A Stochastic Distributionally Robust Fair Empirical Risk
Minimization Framework [12.734559823650887]
分散シフトが存在する場合、公正な機械学習モデルはテストデータに対して不公平に振る舞うことがある。
既存のアルゴリズムはデータへの完全なアクセスを必要とし、小さなバッチを使用する場合には使用できない。
本稿では,因果グラフの知識を必要としない収束保証付き分布安定度フレームワークを提案する。
論文 参考訳（メタデータ） (2023-09-20T23:25:28Z) - Modeling the Q-Diversity in a Min-max Play Game for Robust Optimization [61.39201891894024]
群分布的ロバスト最適化(群 DRO)は、事前定義された群に対する最悪の損失を最小限にすることができる。
グループDROフレームワークをQ-Diversityを提案して再構築する。
インタラクティブなトレーニングモードによって特徴付けられるQ-Diversityは、アノテーションからグループ識別を緩和し、直接パラメータ化を行う。
論文 参考訳（メタデータ） (2023-05-20T07:02:27Z) - When Demonstrations Meet Generative World Models: A Maximum Likelihood
Framework for Offline Inverse Reinforcement Learning [62.00672284480755]
本稿では, 専門家エージェントから, 一定の有限個の実演において観測された動作を過小評価する報酬と環境力学の構造を復元することを目的とする。
タスクを実行するための正確な専門知識モデルは、臨床的意思決定や自律運転のような安全に敏感な応用に応用できる。
論文 参考訳（メタデータ） (2023-02-15T04:14:20Z) - Distributionally Robust Models with Parametric Likelihood Ratios [123.05074253513935]
3つの単純なアイデアにより、より広いパラメトリックな確率比のクラスを用いてDROでモデルを訓練することができる。
パラメトリック逆数を用いてトレーニングしたモデルは、他のDROアプローチと比較して、サブポピュレーションシフトに対して一貫して頑健であることがわかった。
論文 参考訳（メタデータ） (2022-04-13T12:43:12Z) - On Tilted Losses in Machine Learning: Theory and Applications [26.87656095874882]
指数傾き(英: Exponential tilting)は、統計学、確率、情報理論、最適化などの分野で一般的に用いられる技法である。
本研究では、指数傾斜を用いて個人損失の影響を柔軟に調整するEMMへの簡単な拡張について検討する。
フレームワークはEMMを一貫して上回り、最先端の、問題固有のアプローチと競合するパフォーマンスを提供できることが分かりました。
論文 参考訳（メタデータ） (2021-09-13T17:33:42Z) - The Sharpe predictor for fairness in machine learning [0.0]
機械学習の応用においては、不公平な予測が少数派に対して差別されることがある。
フェア機械学習(FML)の既存のアプローチは、MLモデルの最適化において、フェアネスを制約またはペナル化用語として扱う。
本稿では,Multi-Objective Optimization(SMOO)に基づくFMLの新しいパラダイムを提案する。
FMLのシャープ予測器は、予測リスク(不公平)の単位当たりの最も高い予測リターン(精度)を提供する。
論文 参考訳（メタデータ） (2021-08-13T22:22:34Z) - Tight Mutual Information Estimation With Contrastive Fenchel-Legendre
Optimization [69.07420650261649]
我々はFLOと呼ばれる新しい,シンプルで強力なコントラストMI推定器を提案する。
実証的に、我々のFLO推定器は前者の限界を克服し、より効率的に学習する。
FLOの有効性は、広範囲なベンチマークを用いて検証され、実際のMI推定におけるトレードオフも明らかにされる。
論文 参考訳（メタデータ） (2021-07-02T15:20:41Z) - FERMI: Fair Empirical Risk Minimization via Exponential R\'enyi Mutual
Information [17.57634911587209]
ERMIは、既存の公正性違反の概念に対する上限保証を提供するという意味で、強い公正性違反概念であることを示す。
FERMIと呼ばれるERMI正規化フレームワークを通じて、公正な経験的リスク最小化を提案します。
論文 参考訳（メタデータ） (2021-02-24T22:15:44Z) - The Risks of Invariant Risk Minimization [52.7137956951533]
不変リスク最小化(Invariant Risk Minimization)は、データの深い不変性を学ぶという考え方に基づく目標である。
我々は、IRMの目的に基づく分類の最初の分析と、最近提案されたこれらの代替案について、かなり自然で一般的なモデルで分析する。
IRMは、テストデータがトレーニング分布と十分に類似していない限り、破滅的に失敗する可能性がある。
論文 参考訳（メタデータ） (2020-10-12T14:54:32Z) - Distributional Robustness and Regularization in Reinforcement Learning [62.23012916708608]
経験値関数の新しい正規化器を導入し、ワッサーシュタイン分布のロバストな値関数を下限とすることを示す。
強化学習における$textitexternalな不確実性に対処するための実用的なツールとして正規化を使用することを提案する。
論文 参考訳（メタデータ） (2020-03-05T19:56:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。