論文の概要: Fair and Green Hyperparameter Optimization via Multi-objective and
Multiple Information Source Bayesian Optimization
- arxiv url: http://arxiv.org/abs/2205.08835v1
- Date: Wed, 18 May 2022 10:07:21 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-19 12:46:40.272129
- Title: Fair and Green Hyperparameter Optimization via Multi-objective and
Multiple Information Source Bayesian Optimization
- Title（参考訳）: 多目的および多元情報ベイズ最適化によるフェアおよびグリーンハイパーパラメータ最適化
- Authors: Antonio Candelieri, Andrea Ponti, Francesco Archetti
- Abstract要約: FanG-HPOは、大規模なデータセット(別名情報ソース)のサブセットを使用して、精度と公正性の双方の安価な近似を得る。
実験では、2つのベンチマーク(フェアネス)データセットと2つの機械学習アルゴリズムが検討されている。
- 参考スコア（独自算出の注目度）: 0.19116784879310028
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: There is a consensus that focusing only on accuracy in searching for optimal
machine learning models amplifies biases contained in the data, leading to
unfair predictions and decision supports. Recently, multi-objective
hyperparameter optimization has been proposed to search for machine learning
models which offer equally Pareto-efficient trade-offs between accuracy and
fairness. Although these approaches proved to be more versatile than
fairness-aware machine learning algorithms -- which optimize accuracy
constrained to some threshold on fairness -- they could drastically increase
the energy consumption in the case of large datasets. In this paper we propose
FanG-HPO, a Fair and Green Hyperparameter Optimization (HPO) approach based on
both multi-objective and multiple information source Bayesian optimization.
FanG-HPO uses subsets of the large dataset (aka information sources) to obtain
cheap approximations of both accuracy and fairness, and multi-objective
Bayesian Optimization to efficiently identify Pareto-efficient machine learning
models. Experiments consider two benchmark (fairness) datasets and two machine
learning algorithms (XGBoost and Multi-Layer Perceptron), and provide an
assessment of FanG-HPO against both fairness-aware machine learning algorithms
and hyperparameter optimization via a multi-objective single-source
optimization algorithm in BoTorch, a state-of-the-art platform for Bayesian
Optimization.
- Abstract（参考訳）: 最適な機械学習モデルを探す際の正確性にのみ焦点を合わせれば、データに含まれるバイアスを増幅し、不公平な予測と意思決定支援につながるというコンセンサスがある。
近年,精度と公平性が等しくパレート効率の良いトレードオフを提供する機械学習モデルを探索するために,多目的ハイパーパラメータ最適化が提案されている。
これらのアプローチは、フェアネスを意識した機械学習アルゴリズム -- 公正性のしきい値に制限された精度を最適化する -- よりも汎用性が高いことが証明された。
本稿では,多目的および複数情報ソースベイズ最適化に基づくFanG-HPO(Far and Green Hyperparameter Optimization, HPO)アプローチを提案する。
FanG-HPOは、大規模なデータセット(別名情報ソース)のサブセットを使用して、精度と公正性の双方の安価な近似と、パレート効率の良い機械学習モデルを効率的に識別するための多目的ベイズ最適化を得る。
実験では、2つのベンチマーク(フェアネス)データセットと2つの機械学習アルゴリズム(XGBoostとMulti-Layer Perceptron)を検討し、ベイズ最適化のための最先端プラットフォームであるBoTorchのマルチオブジェクトシングルソース最適化アルゴリズムを通じて、フェアネス対応機械学習アルゴリズムとハイパーパラメータ最適化の両方に対してFanG-HPOを評価する。
関連論文リスト
- End-to-End Learning for Fair Multiobjective Optimization Under
Uncertainty [55.04219793298687]
機械学習における予測-Then-Forecast(PtO)パラダイムは、下流の意思決定品質を最大化することを目的としている。
本稿では,PtO法を拡張して,OWA(Nondifferentiable Ordered Weighted Averaging)の目的を最適化する。
この結果から,不確実性の下でのOWA関数の最適化とパラメトリック予測を効果的に統合できることが示唆された。
論文 参考訳（メタデータ） (2024-02-12T16:33:35Z) - Interactive Hyperparameter Optimization in Multi-Objective Problems via
Preference Learning [65.51668094117802]
我々は多目的機械学習(ML)に適した人間中心型対話型HPO手法を提案する。
ユーザが自分のニーズに最も適した指標を推測する代わりに、私たちのアプローチは自動的に適切な指標を学習します。
論文 参考訳（メタデータ） (2023-09-07T09:22:05Z) - HyperTuner: A Cross-Layer Multi-Objective Hyperparameter Auto-Tuning
Framework for Data Analytic Services [25.889791254011794]
クロス層多目的ハイパーパラメータ自動チューニングを実現するHyperTunerを提案する。
他の4つのベースラインアルゴリズムと比較して,HyperTunerは収束性と多様性の両面で優れていることを示す。
異なるトレーニングデータセット、異なる最適化目標、異なる機械学習プラットフォームによる実験は、HyperTunerがさまざまなデータ分析サービスシナリオに適切に適応できることを検証する。
論文 参考訳（メタデータ） (2023-04-20T02:19:10Z) - Multi-objective hyperparameter optimization with performance uncertainty [62.997667081978825]
本稿では,機械学習アルゴリズムの評価における不確実性を考慮した多目的ハイパーパラメータ最適化の結果について述べる。
木構造型Parzen Estimator(TPE)のサンプリング戦略と、ガウス過程回帰(GPR)と異種雑音の訓練後に得られたメタモデルを組み合わせる。
3つの解析的テスト関数と3つのML問題の実験結果は、多目的TPEとGPRよりも改善したことを示している。
論文 参考訳（メタデータ） (2022-09-09T14:58:43Z) - Enhancing Explainability of Hyperparameter Optimization via Bayesian
Algorithm Execution [13.037647287689438]
部分依存プロットのような解釈可能な機械学習(IML)手法とHPOの組み合わせについて検討する。
我々は,最適大域的予測性能を効率的に探索する改良HPO法を提案する。
提案手法は,最適化性能を損なうことなく,ブラックボックスの信頼性の高い説明を返す。
論文 参考訳（メタデータ） (2022-06-11T07:12:04Z) - Towards Learning Universal Hyperparameter Optimizers with Transformers [57.35920571605559]
我々は,テキストベースのトランスフォーマーHPOフレームワークであるOptFormerを紹介した。
実験の結果,OptFormerは少なくとも7種類のHPOアルゴリズムを模倣できることがわかった。
論文 参考訳（メタデータ） (2022-05-26T12:51:32Z) - A survey on multi-objective hyperparameter optimization algorithms for
Machine Learning [62.997667081978825]
本稿では,多目的HPOアルゴリズムに関する2014年から2020年にかけての文献を体系的に調査する。
メタヒューリスティック・ベース・アルゴリズムとメタモデル・ベース・アルゴリズム,および両者を混合したアプローチを区別する。
また,多目的HPO法と今後の研究方向性を比較するための品質指標についても論じる。
論文 参考訳（メタデータ） (2021-11-23T10:22:30Z) - Multi-Fidelity Multi-Objective Bayesian Optimization: An Output Space
Entropy Search Approach [44.25245545568633]
複数目的のブラックボックス最適化の新たな課題を多要素関数評価を用いて検討する。
いくつかの総合的および実世界のベンチマーク問題に対する実験により、MF-OSEMOは両者の近似により、最先端の単一忠実度アルゴリズムよりも大幅に改善されていることが示された。
論文 参考訳（メタデータ） (2020-11-02T06:59:04Z) - Bayesian Optimization for Selecting Efficient Machine Learning Models [53.202224677485525]
本稿では,予測効率とトレーニング効率の両面において,モデルを協調最適化するための統一ベイズ最適化フレームワークを提案する。
レコメンデーションタスクのためのモデル選択の実験は、この方法で選択されたモデルがモデルのトレーニング効率を大幅に改善することを示している。
論文 参考訳（メタデータ） (2020-08-02T02:56:30Z) - Resource Aware Multifidelity Active Learning for Efficient Optimization [0.8717253904965373]
本稿では,ブラックボックス関数の最適化を高速化するためのリソース・アウェア・アクティブ・ラーニング(RAAL)戦略を紹介する。
RAAL戦略は最適化タスクの大幅な高速化を可能にするために、最適に複数のポイントを投入する。
論文 参考訳（メタデータ） (2020-07-09T10:01:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。