論文の概要: FairGBM: Gradient Boosting with Fairness Constraints

• arxiv url: http://arxiv.org/abs/2209.07850v2
• Date: Mon, 19 Sep 2022 15:16:25 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-20 12:51:47.522364
• Title: FairGBM: Gradient Boosting with Fairness Constraints
• Title（参考訳）: FairGBM: フェアネス制約付きグラディエントブースティング
• Authors: Andr\'e F Cruz and Catarina Bel\'em and Jo\~ao Bravo and Pedro Saleiro and Pedro Bizarro
• Abstract要約: 公平性制約下での勾配向上決定木(GBDT)の学習フレームワークであるFairGBMを提案する。 オープンソース実装は、関連する作業と比較した場合のトレーニング時間の桁違いのスピードアップを示している。
• 参考スコア（独自算出の注目度）: 4.462334751640166
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Machine Learning (ML) algorithms based on gradient boosted decision trees (GBDT) are still favored on many tabular data tasks across various mission critical applications, from healthcare to finance. However, GBDT algorithms are not free of the risk of bias and discriminatory decision-making. Despite GBDT's popularity and the rapid pace of research in fair ML, existing in-processing fair ML methods are either inapplicable to GBDT, incur in significant train time overhead, or are inadequate for problems with high class imbalance. We present FairGBM, a learning framework for training GBDT under fairness constraints with little to no impact on predictive performance when compared to unconstrained LightGBM. Since common fairness metrics are non-differentiable, we employ a "proxy-Lagrangian" formulation using smooth convex error rate proxies to enable gradient-based optimization. Additionally, our open-source implementation shows an order of magnitude speedup in training time when compared with related work, a pivotal aspect to foster the widespread adoption of FairGBM by real-world practitioners.
• Abstract（参考訳）: 勾配向上決定木(GBDT)に基づく機械学習(ML)アルゴリズムは、医療からファイナンスに至るまで、さまざまなミッションクリティカルなアプリケーションにわたる表形式のデータタスクに依然として好まれている。 しかし、GBDTアルゴリズムには偏見や差別的意思決定のリスクはない。 GBDTの人気とフェアMLの研究の急激なペースにもかかわらず、既存のインプロセッシング・フェアML手法はGBDTには適用できないか、列車の時間的オーバーヘッドが大きいか、あるいは高いクラス不均衡の問題に不適当である。 制約のないLightGBMと比較して,予測性能にはほとんど影響を与えず,公平な制約下でGBDTをトレーニングするための学習フレームワークであるFairGBMを提案する。 共通フェアネス測度は微分不可能であるため、スムーズな凸誤差率プロキシを用いた「プロキシ・ラグランジアン」定式化を用いて勾配に基づく最適化を実現する。 さらに、我々のオープンソース実装は、関連する作業と比較した場合のトレーニング時間の桁違いのスピードアップを示しており、実際の実践者によるFairGBMの普及を促進するための重要な側面である。

関連論文リスト

• BLoB: Bayesian Low-Rank Adaptation by Backpropagation for Large Language Models [13.953203993774233]
  大規模言語モデル(LLM)は、しばしば推論中に過剰な自信に悩まされる。 本稿では,LLMパラメータの平均値と共分散値を連続的に調整するアルゴリズムであるバックプロパゲーション(BLoB)によるベイズ低ランク適応を提案する。 その結果,分布内および分布外の両方で評価した場合,BLoBの有効性を一般化と不確実性評価の観点から検証した。
  論文  参考訳（メタデータ） (2024-06-17T15:55:38Z)
• Efficient local linearity regularization to overcome catastrophic overfitting [59.463867084204566]
  単段階逆行訓練におけるカタストロフィックオーバーフィッティング(CO)は、逆行性テスト精度(最大0%まで)の急激な低下をもたらす。 我々は,従来のAT評価においてCOを効果的かつ効率的に緩和するために,ELLEと呼ばれる正規化項を導入する。
  論文  参考訳（メタデータ） (2024-01-21T22:55:26Z)
• Sparse is Enough in Fine-tuning Pre-trained Large Language Models [98.46493578509039]
  我々はSparse Increment Fine-Tuning (SIFT) という勾配に基づくスパース微調整アルゴリズムを提案する。 GLUE Benchmark や Instruction-tuning などのタスクで有効性を検証する。
  論文  参考訳（メタデータ） (2023-12-19T06:06:30Z)
• Combating Representation Learning Disparity with Geometric Harmonization [50.29859682439571]
  本稿では,表現学習におけるカテゴリレベルの均一性を促進するために,新しい幾何調和法を提案する。 我々の提案はSSLの設定を変更せず、低コストで既存のメソッドに容易に統合できる。
  論文  参考訳（メタデータ） (2023-10-26T17:41:11Z)
• Fairness-aware Federated Minimax Optimization with Convergence Guarantee [10.727328530242461]
  フェデレートラーニング(FL)はそのプライバシー保護機能のためにかなりの注目を集めている。 ユーザデータ管理の自由の欠如は、モデルが人種や性別などのセンシティブな要因に偏っている、グループフェアネスの問題につながる可能性がある。 本稿では,FLにおけるグループフェアネス問題に明示的に対処するために,拡張ラグランジアン法(FFALM)を用いたフェアフェデレーション平均化アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-07-10T08:45:58Z)
• Fair-CDA: Continuous and Directional Augmentation for Group Fairness [48.84385689186208]
  公正な制約を課すための詳細なデータ拡張戦略を提案する。 グループ間の感性のある特徴の遷移経路のモデルを正規化することにより、グループフェアネスを実現することができることを示す。 提案手法はデータ生成モデルを仮定せず,精度と公平性の両方に優れた一般化を実現する。
  論文  参考訳（メタデータ） (2023-04-01T11:23:00Z)
• FedSpeed: Larger Local Interval, Less Communication Round, and Higher Generalization Accuracy [84.45004766136663]
  フェデレートラーニング(Federated Learning)は、分散機械学習フレームワークである。 これは、局所的不整合最適と局所的過度な適合による頑丈なクライアントドリフトによってもたらされる非消滅バイアスに悩まされる。 本稿では,これらの問題による負の影響を軽減するために,新しい実用的手法であるFedSpeedを提案する。
  論文  参考訳（メタデータ） (2023-02-21T03:55:29Z)
• Disparate Impact in Differential Privacy from Gradient Misalignment [0.8192907805418583]
  DPSGDにおける不公平性のきめ細かい原因について検討し、不平等な勾配クリッピングによる勾配ずれを同定した。 そこで本研究では,DPSGDの勾配ずれを防止し,不公平性を低減させる新しい手法を提案する。
  論文  参考訳（メタデータ） (2022-06-15T18:06:45Z)
• Feature Importance in Gradient Boosting Trees with Cross-Validation Feature Selection [11.295032417617454]
  偏りのある基礎学習者がグラディエント・ブースティング・マシン(GBM)の特徴的重要度(FI)測定に与える影響について検討した。 クロスバリデード(CV)非バイアスベース学習者を利用して,この欠陥を比較的低い計算コストで修正する。 提案手法を各種の合成・実世界の構成で実証し, 予測精度を比較的同等に保ちつつ, 全GBM FI尺度に有意な改善が見られた。
  論文  参考訳（メタデータ） (2021-09-12T09:32:43Z)
• Tight Mutual Information Estimation With Contrastive Fenchel-Legendre Optimization [69.07420650261649]
  我々はFLOと呼ばれる新しい,シンプルで強力なコントラストMI推定器を提案する。 実証的に、我々のFLO推定器は前者の限界を克服し、より効率的に学習する。 FLOの有効性は、広範囲なベンチマークを用いて検証され、実際のMI推定におけるトレードオフも明らかにされる。
  論文  参考訳（メタデータ） (2021-07-02T15:20:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。