論文の概要: Loss Balancing for Fair Supervised Learning

• arxiv url: http://arxiv.org/abs/2311.03714v1
• Date: Tue, 7 Nov 2023 04:36:13 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-08 16:48:12.089513
• Title: Loss Balancing for Fair Supervised Learning
• Title（参考訳）: 公正な教師付き学習のための損失バランス
• Authors: Mohammad Mahdi Khalili, Xueru Zhang, Mahed Abroshan
• Abstract要約: 指導的学習モデルは、貸付、大学入学、顔認識、自然言語処理など様々な領域で使用されている。 学習過程における不公平性予測に対処する様々な概念が提案されている(EL)。
• 参考スコア（独自算出の注目度）: 20.13250413610897
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Supervised learning models have been used in various domains such as lending, college admission, face recognition, natural language processing, etc. However, they may inherit pre-existing biases from training data and exhibit discrimination against protected social groups. Various fairness notions have been proposed to address unfairness issues. In this work, we focus on Equalized Loss (EL), a fairness notion that requires the expected loss to be (approximately) equalized across different groups. Imposing EL on the learning process leads to a non-convex optimization problem even if the loss function is convex, and the existing fair learning algorithms cannot properly be adopted to find the fair predictor under the EL constraint. This paper introduces an algorithm that can leverage off-the-shelf convex programming tools (e.g., CVXPY) to efficiently find the global optimum of this non-convex optimization. In particular, we propose the ELminimizer algorithm, which finds the optimal fair predictor under EL by reducing the non-convex optimization to a sequence of convex optimization problems. We theoretically prove that our algorithm finds the global optimal solution under certain conditions. Then, we support our theoretical results through several empirical studies.
• Abstract（参考訳）: 指導的学習モデルは、貸付、大学入学、顔認識、自然言語処理など様々な分野で使用されている。 しかし、トレーニングデータから既存のバイアスを継承し、保護された社会集団に対する差別を示すこともある。 不公平問題に対処する様々な公正概念が提案されている。 この研究では、期待される損失を(およそ)異なるグループで等化する必要がある公平性の概念である等化損失(EL)に焦点を当てる。 学習過程にELを導入すると、損失関数が凸であっても非凸最適化問題が発生し、既存の公正学習アルゴリズムはEL制約の下で公正な予測子を見つけるために適切に適用できない。 本稿では,既製の凸型プログラミングツール(例:cvxpy)を用いて,この非凸最適化のグローバル最適性を求めるアルゴリズムを提案する。 特に,非凸最適化を一連の凸最適化問題に還元することにより,ELの下で最適値予測器を求めるELminimizerアルゴリズムを提案する。 理論的には、このアルゴリズムは特定の条件下で大域最適解を求める。 そして、いくつかの実証的研究を通して理論結果を支持する。

関連論文リスト

• Discovering Preference Optimization Algorithms with and for Large Language Models [50.843710797024805]
  オフライン優先最適化は、LLM(Large Language Model)出力の品質を向上・制御するための重要な手法である。 我々は、人間の介入なしに、新しい最先端の選好最適化アルゴリズムを自動で発見する客観的発見を行う。 実験は、ロジスティックと指数的損失を適応的にブレンドする新しいアルゴリズムであるDiscoPOPの最先端性能を示す。
  論文  参考訳（メタデータ） (2024-06-12T16:58:41Z)
• Provably Mitigating Overoptimization in RLHF: Your SFT Loss is Implicitly an Adversarial Regularizer [52.09480867526656]
  人間の嗜好を学習する際の分布変化と不確実性の一形態として,不一致の原因を同定する。 過度な最適化を緩和するために、まず、逆選択された報酬モデルに最適なポリシーを選択する理論アルゴリズムを提案する。 報奨モデルとそれに対応する最適ポリシーの等価性を用いて、優先最適化損失と教師付き学習損失を組み合わせた単純な目的を特徴とする。
  論文  参考訳（メタデータ） (2024-05-26T05:38:50Z)
• Regularization and Optimal Multiclass Learning [10.168670899305232]
  この研究は、経験的リスク最小化が失敗する最も単純な設定における正規化の役割を特徴づけることである。 ワンインクルージョングラフ(OIG)を用いて、試行錯誤アルゴリズムの原理に相応しい最適な学習アルゴリズムを示す。
  論文  参考訳（メタデータ） (2023-09-24T16:49:55Z)
• Boosting Fair Classifier Generalization through Adaptive Priority Reweighing [59.801444556074394]
  より優れた一般化性を持つ性能向上フェアアルゴリズムが必要である。 本稿では,トレーニングデータとテストデータ間の分散シフトがモデル一般化性に与える影響を解消する適応的リライジング手法を提案する。
  論文  参考訳（メタデータ） (2023-09-15T13:04:55Z)
• Maximum Optimality Margin: A Unified Approach for Contextual Linear Programming and Inverse Linear Programming [10.06803520598035]
  我々は、下流最適化の最適条件によって機械学習損失関数が機能する最大最適マージンと呼ばれる問題に対する新しいアプローチを開発する。
  論文  参考訳（メタデータ） (2023-01-26T17:53:38Z)
• PAC-Bayesian Learning of Optimization Algorithms [6.624726878647541]
  PAC-Bayes理論を学習最適化の設定に適用する。 証明可能な一般化保証(PAC-bounds)と高収束確率と高収束速度との間の明示的なトレードオフを持つ最適化アルゴリズムを学習する。 この結果は指数族に基づく一般の非有界損失関数に対してPAC-Bayes境界に依存する。
  論文  参考訳（メタデータ） (2022-10-20T09:16:36Z)
• Algorithmic Foundations of Empirical X-risk Minimization [51.58884973792057]
  この原稿は、機械学習とAIの新しい最適化フレームワーク、bf empirical X-risk baseline (EXM)を紹介している。 Xリスク(X-risk)は、構成測度または目的の族を表すために導入された用語である。
  論文  参考訳（メタデータ） (2022-06-01T12:22:56Z)
• Efficient and Differentiable Conformal Prediction with General Function Classes [96.74055810115456]
  本稿では,複数の学習可能なパラメータに対する共形予測の一般化を提案する。 本研究は, クラス内において, ほぼ有効な人口被覆率, ほぼ最適効率を実現していることを示す。 実験の結果,提案アルゴリズムは有効な予測セットを学習し,効率を著しく向上できることがわかった。
  論文  参考訳（メタデータ） (2022-02-22T18:37:23Z)
• FAIRLEARN:Configurable and Interpretable Algorithmic Fairness [1.2183405753834557]
  トレーニングサンプルから生じるバイアスや、データサンプルに関する暗黙の仮定を緩和する必要がある。 最適化の異なる段階でバイアスを検出し緩和することで、学習アルゴリズムを公平にするために多くのアプローチが提案されている。 本稿では,ユーザの制約を最適化手順に組み込むことで,公平なアルゴリズムを生成するFAIRLEARN手順を提案する。
  論文  参考訳（メタデータ） (2021-11-17T03:07:18Z)
• Conservative Stochastic Optimization with Expectation Constraints [11.393603788068777]
  本稿では,データ指標や環境変数に関して,目的関数と制約関数が期待する凸最適化問題を考察する。 このような問題を解決するためのオンラインおよび効率的なアプローチは、広く研究されていない。 本稿では、制約違反をゼロとし、$Oleft(T-frac12right)$Optimity gapを実現する新しい保守的最適化アルゴリズム(CSOA)を提案する。
  論文  参考訳（メタデータ） (2020-08-13T08:56:24Z)
• Adaptivity of Stochastic Gradient Methods for Nonconvex Optimization [71.03797261151605]
  適応性は現代最適化理論において重要であるが、研究されていない性質である。 提案アルゴリズムは,PL目標に対して既存のアルゴリズムよりも優れた性能を保ちながら,PL目標に対して最適な収束性を実現することを実証した。
  論文  参考訳（メタデータ） (2020-02-13T05:42:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。