論文の概要: Fairness Overfitting in Machine Learning: An Information-Theoretic Perspective

• arxiv url: http://arxiv.org/abs/2506.07861v1
• Date: Mon, 09 Jun 2025 15:24:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-10 16:33:11.024468
• Title: Fairness Overfitting in Machine Learning: An Information-Theoretic Perspective
• Title（参考訳）: 機械学習における公正なオーバーフィット--情報理論の視点から
• Authors: Firas Laakom, Haobo Chen, Jürgen Schmidhuber, Yuheng Bu,
• Abstract要約: 本稿では,情報理論レンズを用いたフェアネス一般化誤差の解析のための理論的枠組みを提案する。 実験結果から,様々なフェアネス認識学習アルゴリズムにまたがる境界の厳密性と実践的妥当性を検証した。
• 参考スコア（独自算出の注目度）: 28.68227117674221
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Despite substantial progress in promoting fairness in high-stake applications using machine learning models, existing methods often modify the training process, such as through regularizers or other interventions, but lack formal guarantees that fairness achieved during training will generalize to unseen data. Although overfitting with respect to prediction performance has been extensively studied, overfitting in terms of fairness loss has received far less attention. This paper proposes a theoretical framework for analyzing fairness generalization error through an information-theoretic lens. Our novel bounding technique is based on Efron-Stein inequality, which allows us to derive tight information-theoretic fairness generalization bounds with both Mutual Information (MI) and Conditional Mutual Information (CMI). Our empirical results validate the tightness and practical relevance of these bounds across diverse fairness-aware learning algorithms. Our framework offers valuable insights to guide the design of algorithms improving fairness generalization.
• Abstract（参考訳）: 機械学習モデルを用いた高精細なアプリケーションの公正性向上に大きく進展しているにもかかわらず、既存の手法では、正規化や他の介入を通じてトレーニングプロセスを変更することが多いが、トレーニング中に達成された公正性が目に見えないデータに一般化するという正式な保証は欠如している。 予測性能に対する過度な適合は広く研究されているが、公平さの損失という意味での過度な適合は、はるかに少ない注目を集めている。 本稿では,情報理論レンズを用いたフェアネス一般化誤差の解析のための理論的枠組みを提案する。 提案手法はEfron-Steinの不等式に基づいており,相互情報(MI)と条件的相互情報(CMI)の両値に結びついた厳密な情報理論的公正性一般化を導出することができる。 実験結果から,様々なフェアネス認識学習アルゴリズムにまたがる境界の厳密性と実践的妥当性を検証した。 我々のフレームワークは、公正な一般化を改善するアルゴリズムの設計をガイドする貴重な洞察を提供する。

関連論文リスト

• General Post-Processing Framework for Fairness Adjustment of Machine Learning Models [0.0]
  本稿では,多様な機械学習タスクに適用可能な公平度調整のための新しいフレームワークを提案する。 モデルトレーニングプロセスから公平性調整を分離することにより、我々のフレームワークは平均的なモデル性能を保ちます。 提案手法の有効性をAdversarial Debiasingと比較し,本フレームワークが実世界のデータセットに対して同等の公平さ/精度のトレードオフを実現することを示す。
  論文  参考訳（メタデータ） (2025-04-22T20:06:59Z)
• Deep Fair Learning: A Unified Framework for Fine-tuning Representations with Sufficient Networks [8.616743904155419]
  本研究では,十分な次元削減と深層学習を統合し,公正かつ情報的表現を構築するフレームワークを提案する。 微調整中に新たなペナルティ項を導入することにより、センシティブな属性と学習された表現との間の条件付き独立性を強制する。 提案手法は, 公平性と実用性とのバランスが良好であり, 最先端のベースラインを著しく上回っている。
  論文  参考訳（メタデータ） (2025-04-08T22:24:22Z)
• Impact of Data Distribution on Fairness Guarantees in Equitable Deep Learning [24.911440326496574]
  等価深層学習におけるデータ分布と公平性保証の関係を理論的に解析する枠組みを提案する。 フェアネス誤差と収束率の包括的理論的境界を導出し、グループ間の分布差がフェアネスと精度の基本的なトレードオフにどのように影響するかを特徴付ける。 この研究は、AIベースの診断システムにおける公正性の理解を深め、より公平なアルゴリズムを開発するための理論的基盤を提供する。
  論文  参考訳（メタデータ） (2024-12-29T06:43:43Z)
• Fair Bilevel Neural Network (FairBiNN): On Balancing fairness and accuracy via Stackelberg Equilibrium [0.3350491650545292]
  バイアスを緩和する現在の方法は、情報損失と精度と公平性のバランスが不十分であることが多い。 本稿では,二段階最適化の原理に基づく新しい手法を提案する。 私たちのディープラーニングベースのアプローチは、正確性と公平性の両方を同時に最適化します。
  論文  参考訳（メタデータ） (2024-10-21T18:53:39Z)
• A PAC-Bayesian Perspective on the Interpolating Information Criterion [54.548058449535155]
  補間系の性能に影響を及ぼす要因を特徴付ける一般モデルのクラスに対して,PAC-Bayes境界がいかに得られるかを示す。 オーバーパラメータ化モデルに対するテスト誤差が、モデルとパラメータの初期化スキームの組み合わせによって課される暗黙の正規化の品質に依存するかの定量化を行う。
  論文  参考訳（メタデータ） (2023-11-13T01:48:08Z)
• Learning for Counterfactual Fairness from Observational Data [62.43249746968616]
  公正な機械学習は、人種、性別、年齢などの特定の保護された(感受性のある)属性によって記述されるある種のサブグループに対して、学習モデルのバイアスを取り除くことを目的としている。 カウンターファクトフェアネスを達成するための既存の手法の前提条件は、データに対する因果モデルの事前の人間の知識である。 本研究では,新しいフレームワークCLAIREを提案することにより,因果関係を付与せずに観測データから対実的に公正な予測を行う問題に対処する。
  論文  参考訳（メタデータ） (2023-07-17T04:08:29Z)
• Fairness meets Cross-Domain Learning: a new perspective on Models and Metrics [80.07271410743806]
  クロスドメイン学習(CD)とモデルフェアネスの関係について検討する。 いくつかの人口集団にまたがる顔画像と医療画像のベンチマークと、分類とローカライゼーションタスクについて紹介する。 本研究は,3つの最先端フェアネスアルゴリズムとともに,14のCDアプローチをカバーし,前者が後者に勝ることを示す。
  論文  参考訳（メタデータ） (2023-03-25T09:34:05Z)
• Individual Fairness under Uncertainty [26.183244654397477]
  アルゴリズムフェアネス(英: Algorithmic Fairness)は、機械学習(ML)アルゴリズムにおいて確立された領域である。 本稿では,クラスラベルの検閲によって生じる不確実性に対処する,個別の公正度尺度とそれに対応するアルゴリズムを提案する。 この視点は、現実世界のアプリケーションデプロイメントにおいて、より現実的なフェアネス研究のモデルである、と我々は主張する。
  論文  参考訳（メタデータ） (2023-02-16T01:07:58Z)
• Modeling Multiple Views via Implicitly Preserving Global Consistency and Local Complementarity [61.05259660910437]
  複数の視点から表現を学習するために,グローバルな一貫性と相補性ネットワーク(CoCoNet)を提案する。 グローバルな段階では、重要な知識はビュー間で暗黙的に共有され、そのような知識を捕捉するためのエンコーダの強化は、学習された表現の識別性を向上させることができる。 最後に、局所的な段階において、横断的な識別的知識を結合する相補的要素を提案し、また、エンコーダが視点的識別性だけでなく、横断的な相補的情報も学習するように誘導する。
  論文  参考訳（メタデータ） (2022-09-16T09:24:00Z)
• Technical Challenges for Training Fair Neural Networks [62.466658247995404]
  最先端のアーキテクチャを用いて顔認識と自動診断データセットの実験を行います。 我々は、大きなモデルは公平さの目標に過度に適合し、意図しない、望ましくない結果を生み出すことを観察する。
  論文  参考訳（メタデータ） (2021-02-12T20:36:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。