論文の概要: Fair Bayesian Optimization

• arxiv url: http://arxiv.org/abs/2006.05109v3
• Date: Fri, 18 Jun 2021 19:46:07 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-23 13:41:22.904101
• Title: Fair Bayesian Optimization
• Title（参考訳）: フェアベイズ最適化
• Authors: Valerio Perrone, Michele Donini, Muhammad Bilal Zafar, Robin Schmucker, Krishnaram Kenthapadi, C\'edric Archambeau
• Abstract要約: 機械学習(ML)モデルの性能を最適化するために、一般的な制約付きベイズ最適化フレームワークを導入する。 我々は、ランダムな森林、ブースティング、ニューラルネットワークなど、さまざまな人気モデルに公平性制約のあるBOを適用した。 提案手法は,モデル固有の公正性制約を強制する特殊な手法と競合することを示す。
• 参考スコア（独自算出の注目度）: 25.80374249896801
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Given the increasing importance of machine learning (ML) in our lives, several algorithmic fairness techniques have been proposed to mitigate biases in the outcomes of the ML models. However, most of these techniques are specialized to cater to a single family of ML models and a specific definition of fairness, limiting their adaptibility in practice. We introduce a general constrained Bayesian optimization (BO) framework to optimize the performance of any ML model while enforcing one or multiple fairness constraints. BO is a model-agnostic optimization method that has been successfully applied to automatically tune the hyperparameters of ML models. We apply BO with fairness constraints to a range of popular models, including random forests, gradient boosting, and neural networks, showing that we can obtain accurate and fair solutions by acting solely on the hyperparameters. We also show empirically that our approach is competitive with specialized techniques that enforce model-specific fairness constraints, and outperforms preprocessing methods that learn fair representations of the input data. Moreover, our method can be used in synergy with such specialized fairness techniques to tune their hyperparameters. Finally, we study the relationship between fairness and the hyperparameters selected by BO. We observe a correlation between regularization and unbiased models, explaining why acting on the hyperparameters leads to ML models that generalize well and are fair.
• Abstract（参考訳）: 生活における機械学習(ml)の重要性が増していることを踏まえ、機械学習モデルの結果のバイアスを軽減するアルゴリズム的公平性手法がいくつか提案されている。 しかしながら、これらの技術のほとんどは、MLモデルの1つのファミリと特定の公平性の定義に適合するように特化しており、実際は適応性を制限する。 本稿では,任意のMLモデルの性能を1つあるいは複数のフェアネス制約を適用しながら最適化する,一般制約ベイズ最適化(BO)フレームワークを提案する。 boはモデルに依存しない最適化手法であり、mlモデルのハイパーパラメータの自動チューニングにうまく適用された。 ランダムフォレスト,勾配ブースティング,ニューラルネットワークなど,一般的なモデルに公平性制約を課すことで,ハイパーパラメータのみに作用することで,正確かつ公平な解が得られることを示す。 また,我々のアプローチは,モデル固有の公平性制約を強制する特殊な手法と競合し,入力データの公正表現を学習する前処理手法よりも優れていることを実証的に示す。 さらに,本手法は,高パラメータを調整するための特殊フェアネス技術との相乗効果にも利用できる。 最後に,BOが選択したパラメータと公平度の関係について検討した。 正規化モデルと非偏平モデルとの相関を観察し、なぜハイパーパラメーターに作用するとMLモデルが一般化され、公平になるのかを説明する。

関連論文リスト

• Margin Matching Preference Optimization: Enhanced Model Alignment with Granular Feedback [64.67540769692074]
  人間のフィードバックからの強化学習など、アライメント技術で微調整された大規模言語モデル(LLM)は、これまでで最も有能なAIシステムの開発に役立っている。 マージンマッチング選好最適化(MMPO)と呼ばれる手法を導入し、相対的な品質マージンを最適化し、LLMポリシーと報酬モデルを改善する。 人間とAIの両方のフィードバックデータによる実験によると、MMPOはMT-benchやRewardBenchといった一般的なベンチマークにおいて、ベースラインメソッドよりも一貫してパフォーマンスが向上している。
  論文  参考訳（メタデータ） (2024-10-04T04:56:11Z)
• SMILE: Zero-Shot Sparse Mixture of Low-Rank Experts Construction From Pre-Trained Foundation Models [85.67096251281191]
  我々は、ゼロショットスパースミクチャー(SMILE)と呼ばれるモデル融合に対する革新的なアプローチを提案する。 SMILEは、余分なデータやさらなるトレーニングなしに、ソースモデルをMoEモデルにアップスケーリングできる。 画像分類やテキスト生成タスクなど,さまざまなシナリオに対して,フル微調整とLoRA微調整を用いて広範な実験を行う。
  論文  参考訳（メタデータ） (2024-08-19T17:32:15Z)
• Spectrum-Aware Parameter Efficient Fine-Tuning for Diffusion Models [73.88009808326387]
  生成モデルのための新しいスペクトル対応適応フレームワークを提案する。 本手法は,事前学習した重みの特異値とその基底ベクトルを調節する。 本稿では,計算効率と表現能力のバランスをとるスペクトルオーソ分解適応(SODA)を提案する。
  論文  参考訳（メタデータ） (2024-05-31T17:43:35Z)
• End-to-End Learning for Fair Multiobjective Optimization Under Uncertainty [55.04219793298687]
  機械学習における予測-Then-Forecast(PtO)パラダイムは、下流の意思決定品質を最大化することを目的としている。 本稿では,PtO法を拡張して,OWA(Nondifferentiable Ordered Weighted Averaging)の目的を最適化する。 この結果から,不確実性の下でのOWA関数の最適化とパラメトリック予測を効果的に統合できることが示唆された。
  論文  参考訳（メタデータ） (2024-02-12T16:33:35Z)
• Boosting Inference Efficiency: Unleashing the Power of Parameter-Shared Pre-trained Language Models [109.06052781040916]
  本稿ではパラメータ共有言語モデルの推論効率を向上させる手法を提案する。 また、完全あるいは部分的に共有されたモデルにつながる単純な事前学習手法を提案する。 その結果,本手法が自己回帰的および自己符号化的PLMに与える影響が示された。
  論文  参考訳（メタデータ） (2023-10-19T15:13:58Z)
• Fairer and More Accurate Tabular Models Through NAS [14.147928131445852]
  本稿では,多目的ニューラルアーキテクチャサーチ (NAS) とハイパーパラメータ最適化 (HPO) を,表データの非常に困難な領域への最初の応用として提案する。 我々はNASで精度のみに最適化されたモデルが、本質的に公正な懸念に対処できないことをしばしば示している。 公平性、正確性、あるいは両方において、最先端のバイアス緩和手法を一貫して支配するアーキテクチャを作成します。
  論文  参考訳（メタデータ） (2023-10-18T17:56:24Z)
• Optimizing Hyperparameters with Conformal Quantile Regression [7.316604052864345]
  本稿では,観測ノイズについて最小限の仮定を行う等化量子レグレッションを活用することを提案する。 これは経験的ベンチマークでのHPO収束を早くすることを意味する。
  論文  参考訳（メタデータ） (2023-05-05T15:33:39Z)
• fairml: A Statistician's Take on Fair Machine Learning Modelling [0.0]
  本稿では,これまでの研究(Scutari, Panero, Proissl 2022)および関連モデルを文献で実装したfairmlパッケージについて述べる。 Fairmlは古典的な統計モデルと ペナル化された回帰結果に基づいて設計されています フェアネスを強制するために使われる制約は、推定をモデル化することであり、望まれるモデルファミリと各アプリケーションに対するフェアネス定義の混合とマッチングを可能にする。
  論文  参考訳（メタデータ） (2023-05-03T09:59:53Z)
• Optimizing fairness tradeoffs in machine learning with multiobjective meta-models [0.913755431537592]
  複数のコスト関数を持つ重み付き分類問題として、公平な機械学習タスクを定義するフレキシブルなフレームワークを提案する。 我々は、与えられた学習者のモデルトレーニングで使用されるサンプル重量を定義するために多目的最適化を使用し、重みを適応させ、公平性と精度の複数の指標を最適化する。 実世界の一連の問題において、このアプローチは、好ましいエラー/フェアネストレードオフを持つ解集合を見つけることによって、現在の最先端の手法よりも優れている。
  論文  参考訳（メタデータ） (2023-04-21T13:42:49Z)
• Stochastic Methods for AUC Optimization subject to AUC-based Fairness Constraints [51.12047280149546]
  公正な予測モデルを得るための直接的なアプローチは、公正な制約の下で予測性能を最適化することでモデルを訓練することである。 フェアネスを考慮した機械学習モデルのトレーニング問題を,AUCに基づくフェアネス制約のクラスを対象とする最適化問題として定式化する。 フェアネス測定値の異なる実世界のデータに対するアプローチの有効性を実証する。
  論文  参考訳（メタデータ） (2022-12-23T22:29:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。