論文の概要: Some Optimizers are More Equal: Understanding the Role of Optimizers in Group Fairness
- arxiv url: http://arxiv.org/abs/2504.14882v1
- Date: Mon, 21 Apr 2025 06:20:50 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-04-29 19:22:38.235479
- Title: Some Optimizers are More Equal: Understanding the Role of Optimizers in Group Fairness
- Title（参考訳）: いくつかの最適化者は平等である:グループフェアネスにおける最適化の役割を理解する
- Authors: Mojtaba Kolahdouzi, Hatice Gunes, Ali Etemad,
- Abstract要約: 提案アルゴリズムがディープニューラルネットワークにおけるグループフェアネスにどう影響するかについて検討する。
最適化の選択は、特に厳密な不均衡の下での公正な結果に実際に影響を及ぼすことを示す。
本研究は,公正な成果を促進するための重要なメカニズムとして,適応的更新の役割を強調した。
- 参考スコア（独自算出の注目度）: 26.49261268883266
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: We study whether and how the choice of optimization algorithm can impact group fairness in deep neural networks. Through stochastic differential equation analysis of optimization dynamics in an analytically tractable setup, we demonstrate that the choice of optimization algorithm indeed influences fairness outcomes, particularly under severe imbalance. Furthermore, we show that when comparing two categories of optimizers, adaptive methods and stochastic methods, RMSProp (from the adaptive category) has a higher likelihood of converging to fairer minima than SGD (from the stochastic category). Building on this insight, we derive two new theoretical guarantees showing that, under appropriate conditions, RMSProp exhibits fairer parameter updates and improved fairness in a single optimization step compared to SGD. We then validate these findings through extensive experiments on three publicly available datasets, namely CelebA, FairFace, and MS-COCO, across different tasks as facial expression recognition, gender classification, and multi-label classification, using various backbones. Considering multiple fairness definitions including equalized odds, equal opportunity, and demographic parity, adaptive optimizers like RMSProp and Adam consistently outperform SGD in terms of group fairness, while maintaining comparable predictive accuracy. Our results highlight the role of adaptive updates as a crucial yet overlooked mechanism for promoting fair outcomes.
- Abstract（参考訳）: 最適化アルゴリズムの選択がディープニューラルネットワークにおけるグループフェアネスにどう影響するかについて検討する。
解析的に抽出可能なセットアップにおける最適化力学の確率微分方程式解析を通じて、最適化アルゴリズムの選択が、特に厳しい不均衡の下での公平性の結果に実際に影響を及ぼすことを示した。
さらに、適応的手法と確率的手法の2つのカテゴリを比較すると、RMSProp(適応的手法から)はSGD(確率的手法から)よりもより公正な最小値に収束する可能性が高いことを示す。
この知見に基づいて, RMSProp は, 適切な条件下で, SGD と比較して, 1 つの最適化ステップにおいて, より公平なパラメータ更新, 公平性向上を示すことを示す2つの新たな理論的保証を導出する。
次に,CelebA,FairFace,MS-COCOの3つの公開データセットを用いて,表情認識,性別分類,多ラベル分類などのタスクにおいて,様々なバックボーンを用いてこれらの知見を検証した。
RMSPropやAdamのような適応最適化器は、等しい予測精度を維持しながら、グループフェアネスの点でSGDを一貫して上回る。
結果から,適応的更新が,公正な結果を促進する上で重要なメカニズムであることを示す。
関連論文リスト
- Review, Refine, Repeat: Understanding Iterative Decoding of AI Agents with Dynamic Evaluation and Selection [71.92083784393418]
Best-of-N (BON) サンプリングのような推論時間法は、パフォーマンスを改善するための単純で効果的な代替手段を提供する。
本稿では,反復的改良と動的候補評価,検証器による選択を併用した反復的エージェント復号(IAD)を提案する。
論文 参考訳（メタデータ） (2025-04-02T17:40:47Z) - Self-supervised Preference Optimization: Enhance Your Language Model with Preference Degree Awareness [27.43137305486112]
本稿では,自己監督的選好度損失とアライメント損失を組み合わせた自己監督的選好度損失を構成する,新しい自己監督的選好最適化(SPO)フレームワークを提案する。
その結果,SPOを既存の好み最適化手法とシームレスに統合し,最先端性能を実現することができた。
論文 参考訳（メタデータ） (2024-09-26T12:37:26Z) - Adaptive Preference Scaling for Reinforcement Learning with Human Feedback [103.36048042664768]
人間からのフィードバックからの強化学習(RLHF)は、AIシステムと人間の価値を合わせるための一般的なアプローチである。
本稿では,分散ロバスト最適化(DRO)に基づく適応的優先損失を提案する。
提案手法は多用途であり,様々な選好最適化フレームワークに容易に適用可能である。
論文 参考訳（メタデータ） (2024-06-04T20:33:22Z) - Evolutionary Multi-Objective Optimisation for Fairness-Aware Self Adjusting Memory Classifiers in Data Streams [2.8366371519410887]
本稿では,データストリーム分類に適用した機械学習アルゴリズムの公平性を高める新しい手法を提案する。
提案手法は、自己調整メモリK-Nearest-Neighbourアルゴリズムと進化的多目的最適化の長所を統合する。
提案手法は競争精度を維持し, 差別を著しく低減することを示す。
論文 参考訳（メタデータ） (2024-04-18T10:59:04Z) - Beyond Single-Model Views for Deep Learning: Optimization versus
Generalizability of Stochastic Optimization Algorithms [13.134564730161983]
本稿では、勾配降下(SGD)とその変種に着目し、ディープラーニングの最適化に新しいアプローチを採用する。
我々はSGDとその変種がSAMのような平らなミニマと同等の性能を示すことを示した。
本研究は、トレーニング損失とホールドアウト精度の関係、およびSGDとノイズ対応変種の性能について、いくつかの重要な知見を明らかにした。
論文 参考訳（メタデータ） (2024-03-01T14:55:22Z) - Bidirectional Looking with A Novel Double Exponential Moving Average to
Adaptive and Non-adaptive Momentum Optimizers [109.52244418498974]
我々は,新しいtextscAdmeta(textbfADouble指数textbfMov averagtextbfE textbfAdaptiveおよび非適応運動量)フレームワークを提案する。
我々は、textscAdmetaR と textscAdmetaS の2つの実装を提供し、前者は RAdam を、後者は SGDM をベースとしています。
論文 参考訳（メタデータ） (2023-07-02T18:16:06Z) - Chasing Fairness Under Distribution Shift: A Model Weight Perturbation
Approach [72.19525160912943]
まず,分布シフト,データ摂動,モデルウェイト摂動の関連性を理論的に検証した。
次に、ターゲットデータセットの公平性を保証するのに十分な条件を分析します。
これらの十分な条件により、ロバストフェアネス正則化(RFR)を提案する。
論文 参考訳（メタデータ） (2023-03-06T17:19:23Z) - Empirical Study on Optimizer Selection for Out-of-Distribution
Generalization [16.386766049451317]
現代のディープラーニングシステムは、テストデータ分布がトレーニングデータ分布とわずかに異なる場合、うまく一般化しない。
本研究では,分布シフトの異なるクラスに対して,一般的な一階述語一般化の性能について検討する。
論文 参考訳（メタデータ） (2022-11-15T23:56:30Z) - Fairness via Adversarial Attribute Neighbourhood Robust Learning [49.93775302674591]
本稿では,分類ヘッドを損なうために,UnderlineRobust underlineAdversarial underlineAttribute underlineNeighbourhood (RAAN)損失を原則として提案する。
論文 参考訳（メタデータ） (2022-10-12T23:39:28Z) - Fair and Green Hyperparameter Optimization via Multi-objective and
Multiple Information Source Bayesian Optimization [0.19116784879310028]
FanG-HPOは、大規模なデータセット(別名情報ソース)のサブセットを使用して、精度と公正性の双方の安価な近似を得る。
実験では、2つのベンチマーク(フェアネス)データセットと2つの機械学習アルゴリズムが検討されている。
論文 参考訳（メタデータ） (2022-05-18T10:07:21Z) - Adaptive Optimizers with Sparse Group Lasso for Neural Networks in CTR Prediction [19.08180531016811]
深層学習における適応の族にスパース群ラッソの正規化子を追加する新しいフレームワークを開発する。
理論的に凸な設定では,収束保証が確立される。
提案手法は, 極めて優れた性能, 高い競争性能を達成できる。
論文 参考訳（メタデータ） (2021-07-30T05:33:43Z) - Towards Model-Agnostic Post-Hoc Adjustment for Balancing Ranking
Fairness and Algorithm Utility [54.179859639868646]
Bipartiteランキングは、ラベル付きデータから正の個人よりも上位の個人をランク付けするスコアリング機能を学ぶことを目的としている。
学習したスコアリング機能が、異なる保護グループ間で体系的な格差を引き起こすのではないかという懸念が高まっている。
本稿では、二部構成のランキングシナリオにおいて、それらのバランスをとるためのモデル後処理フレームワークを提案する。
論文 参考訳（メタデータ） (2020-06-15T10:08:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。