論文の概要: FairGBM: Gradient Boosting with Fairness Constraints

• arxiv url: http://arxiv.org/abs/2209.07850v3
• Date: Sat, 21 Jan 2023 18:58:26 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-19 11:13:52.642905
• Title: FairGBM: Gradient Boosting with Fairness Constraints
• Title（参考訳）: FairGBM: フェアネス制約付きグラディエントブースティング
• Authors: Andr\'e F Cruz and Catarina Bel\'em and S\'ergio Jesus and Jo\~ao Bravo and Pedro Saleiro and Pedro Bizarro
• Abstract要約: 連続的な意思決定の公平性は、最も懸念される問題である。 フェアネス制約下でGBDTをトレーニングするための2つの学習フレームワークであるFairGBMを提案する。 我々の実装は、関連する作業と比較した場合のトレーニング時間において、桁違いのスピードアップを示す。
• 参考スコア（独自算出の注目度）: 4.159343412286401
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Tabular data is prevalent in many high stakes domains, such as financial services or public policy. Gradient boosted decision trees (GBDT) are popular in these settings due to performance guarantees and low cost. However, in consequential decision-making fairness is a foremost concern. Despite GBDT's popularity, existing in-processing Fair ML methods are either inapplicable to GBDT, or incur in significant train time overhead, or are inadequate for problems with high class imbalance -- a typical issue in these domains. We present FairGBM, a dual ascent learning framework for training GBDT under fairness constraints, with little to no impact on predictive performance when compared to unconstrained GBDT. Since observational fairness metrics are non-differentiable, we have to employ a "proxy-Lagrangian" formulation using smooth convex error rate proxies to enable gradient-based optimization. Our implementation shows an order of magnitude speedup in training time when compared with related work, a pivotal aspect to foster the widespread adoption of FairGBM by real-world practitioners.
• Abstract（参考訳）: 表データは金融サービスや公共政策など、多くの高利息ドメインで広く使われている。 グラディエント強化決定木(GBDT)は、パフォーマンス保証と低コストのためにこれらの設定で人気がある。 しかし、その後の意思決定の公平性は最も懸念される。 GBDTの人気にもかかわらず、既存の内部処理のFair MLメソッドは、GBDTには適用できないか、列車の時間オーバーヘッドがかなり大きいか、高クラス不均衡の問題で不十分である。 公平性制約下でGBDTをトレーニングするための2つの学習フレームワークであるFairGBMについて,制約のないGBDTと比較して予測性能にはほとんど影響しない。 観測的公正度は微分不可能であるため、勾配に基づく最適化を実現するために、滑らかな凸誤差率プロキシを用いた「プロキシ・ラグランジアン」の定式化を用いる必要がある。 実世界の実践者によるfairgbmの普及を促進する上で重要な側面である,関連する作業と比較した場合のトレーニング時間の桁違いなスピードアップを示す。

関連論文リスト

• BLoB: Bayesian Low-Rank Adaptation by Backpropagation for Large Language Models [13.953203993774233]
  大規模言語モデル(LLM)は、しばしば推論中に過剰な自信に悩まされる。 本稿では,LLMパラメータの平均値と共分散値を連続的に調整するアルゴリズムであるバックプロパゲーション(BLoB)によるベイズ低ランク適応を提案する。 その結果,分布内および分布外の両方で評価した場合,BLoBの有効性を一般化と不確実性評価の観点から検証した。
  論文  参考訳（メタデータ） (2024-06-17T15:55:38Z)
• Efficient local linearity regularization to overcome catastrophic overfitting [59.463867084204566]
  単段階逆行訓練におけるカタストロフィックオーバーフィッティング(CO)は、逆行性テスト精度(最大0%まで)の急激な低下をもたらす。 我々は,従来のAT評価においてCOを効果的かつ効率的に緩和するために,ELLEと呼ばれる正規化項を導入する。
  論文  参考訳（メタデータ） (2024-01-21T22:55:26Z)
• Sparse is Enough in Fine-tuning Pre-trained Large Language Models [98.46493578509039]
  我々はSparse Increment Fine-Tuning (SIFT) という勾配に基づくスパース微調整アルゴリズムを提案する。 GLUE Benchmark や Instruction-tuning などのタスクで有効性を検証する。
  論文  参考訳（メタデータ） (2023-12-19T06:06:30Z)
• Combating Representation Learning Disparity with Geometric Harmonization [50.29859682439571]
  本稿では,表現学習におけるカテゴリレベルの均一性を促進するために,新しい幾何調和法を提案する。 我々の提案はSSLの設定を変更せず、低コストで既存のメソッドに容易に統合できる。
  論文  参考訳（メタデータ） (2023-10-26T17:41:11Z)
• Fairness-aware Federated Minimax Optimization with Convergence Guarantee [10.727328530242461]
  フェデレートラーニング(FL)はそのプライバシー保護機能のためにかなりの注目を集めている。 ユーザデータ管理の自由の欠如は、モデルが人種や性別などのセンシティブな要因に偏っている、グループフェアネスの問題につながる可能性がある。 本稿では,FLにおけるグループフェアネス問題に明示的に対処するために,拡張ラグランジアン法(FFALM)を用いたフェアフェデレーション平均化アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-07-10T08:45:58Z)
• Fair-CDA: Continuous and Directional Augmentation for Group Fairness [48.84385689186208]
  公正な制約を課すための詳細なデータ拡張戦略を提案する。 グループ間の感性のある特徴の遷移経路のモデルを正規化することにより、グループフェアネスを実現することができることを示す。 提案手法はデータ生成モデルを仮定せず,精度と公平性の両方に優れた一般化を実現する。
  論文  参考訳（メタデータ） (2023-04-01T11:23:00Z)
• FedSpeed: Larger Local Interval, Less Communication Round, and Higher Generalization Accuracy [84.45004766136663]
  フェデレートラーニング(Federated Learning)は、分散機械学習フレームワークである。 これは、局所的不整合最適と局所的過度な適合による頑丈なクライアントドリフトによってもたらされる非消滅バイアスに悩まされる。 本稿では,これらの問題による負の影響を軽減するために,新しい実用的手法であるFedSpeedを提案する。
  論文  参考訳（メタデータ） (2023-02-21T03:55:29Z)
• Disparate Impact in Differential Privacy from Gradient Misalignment [0.8192907805418583]
  DPSGDにおける不公平性のきめ細かい原因について検討し、不平等な勾配クリッピングによる勾配ずれを同定した。 そこで本研究では,DPSGDの勾配ずれを防止し,不公平性を低減させる新しい手法を提案する。
  論文  参考訳（メタデータ） (2022-06-15T18:06:45Z)
• Feature Importance in Gradient Boosting Trees with Cross-Validation Feature Selection [11.295032417617454]
  偏りのある基礎学習者がグラディエント・ブースティング・マシン(GBM)の特徴的重要度(FI)測定に与える影響について検討した。 クロスバリデード(CV)非バイアスベース学習者を利用して,この欠陥を比較的低い計算コストで修正する。 提案手法を各種の合成・実世界の構成で実証し, 予測精度を比較的同等に保ちつつ, 全GBM FI尺度に有意な改善が見られた。
  論文  参考訳（メタデータ） (2021-09-12T09:32:43Z)
• Tight Mutual Information Estimation With Contrastive Fenchel-Legendre Optimization [69.07420650261649]
  我々はFLOと呼ばれる新しい,シンプルで強力なコントラストMI推定器を提案する。 実証的に、我々のFLO推定器は前者の限界を克服し、より効率的に学習する。 FLOの有効性は、広範囲なベンチマークを用いて検証され、実際のMI推定におけるトレードオフも明らかにされる。
  論文  参考訳（メタデータ） (2021-07-02T15:20:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。