論文の概要: Parallel Multi-Objective Hyperparameter Optimization with Uniform Normalization and Bounded Objectives

• arxiv url: http://arxiv.org/abs/2309.14936v1
• Date: Tue, 26 Sep 2023 13:48:04 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-27 13:33:16.455538
• Title: Parallel Multi-Objective Hyperparameter Optimization with Uniform Normalization and Bounded Objectives
• Title（参考訳）: 一様正規化と境界オブジェクトを用いた並列多目的ハイパーパラメータ最適化
• Authors: Romain Egele, Tyler Chang, Yixuan Sun, Venkatram Vishwanath, Prasanna Balaprakash
• Abstract要約: これらの問題に対処する多目的ベイズ最適化(MoBO)アルゴリズムを提案する。 不要な構成の探索を避けるため、目的に制約を課すことで、アプローチの効率を向上する。 最後に、MoBOを並列化するアプローチを活用し、16倍のワーカーを使用する場合、5倍のスピードアップをもたらす。
• 参考スコア（独自算出の注目度）: 5.94867851915494
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Machine learning (ML) methods offer a wide range of configurable hyperparameters that have a significant influence on their performance. While accuracy is a commonly used performance objective, in many settings, it is not sufficient. Optimizing the ML models with respect to multiple objectives such as accuracy, confidence, fairness, calibration, privacy, latency, and memory consumption is becoming crucial. To that end, hyperparameter optimization, the approach to systematically optimize the hyperparameters, which is already challenging for a single objective, is even more challenging for multiple objectives. In addition, the differences in objective scales, the failures, and the presence of outlier values in objectives make the problem even harder. We propose a multi-objective Bayesian optimization (MoBO) algorithm that addresses these problems through uniform objective normalization and randomized weights in scalarization. We increase the efficiency of our approach by imposing constraints on the objective to avoid exploring unnecessary configurations (e.g., insufficient accuracy). Finally, we leverage an approach to parallelize the MoBO which results in a 5x speed-up when using 16x more workers.
• Abstract（参考訳）: 機械学習(ML)メソッドは、そのパフォーマンスに大きな影響を与える、幅広い構成可能なハイパーパラメータを提供する。 精度は一般的に使用されるパフォーマンス目標であるが、多くの設定では不十分である。 正確性、信頼性、公平性、キャリブレーション、プライバシ、レイテンシ、メモリ消費といった、複数の目標に対するMLモデルの最適化が重要になっている。 そのために、ハイパーパラメータ最適化(ハイパーパラメータを体系的に最適化するアプローチ)は、1つの目的に対してすでに難しいが、複数の目的に対してさらに難しい。 さらに、客観的スケールの違い、失敗、目的における外れ値の存在は、問題をさらに困難にします。 本研究では,スカラー化における一様目的正規化と無作為重みによってこれらの問題に対処する多目的ベイズ最適化(mobo)アルゴリズムを提案する。 不要な構成(例えば、不十分な精度)の探索を避けるため、目的に制約を課すことで、アプローチの効率を向上する。 最後に、MoBOを並列化するアプローチを活用し、16倍のワーカーを使用する場合、5倍のスピードアップをもたらす。

関連論文リスト

• Decoding-Time Language Model Alignment with Multiple Objectives [116.42095026960598]
  既存の手法は主に、1つの報酬関数に対してLMを最適化することに集中し、それらの適応性は様々な目的に制限される。 本稿では,予測の線形結合から次のトークンを出力する復号時間アルゴリズムである$textbfmulti-objective decoding (MOD)$を提案する。 提案手法は, 自然条件下であっても, 既存のアプローチが準最適であることを示すとともに, 提案手法の最適性を保証する。
  論文  参考訳（メタデータ） (2024-06-27T02:46:30Z)
• Towards Efficient Pareto Set Approximation via Mixture of Experts Based Model Fusion [53.33473557562837]
  大規模深層ニューラルネットワークに対する多目的最適化問題を解くことは、損失ランドスケープの複雑さと高価な計算コストのために難しい課題である。 本稿では,専門家(MoE)をベースとしたモデル融合を用いて,この問題を実用的でスケーラブルに解決する手法を提案する。 特殊な単一タスクモデルの重みをまとめることで、MoEモジュールは複数の目的間のトレードオフを効果的に捉えることができる。
  論文  参考訳（メタデータ） (2024-06-14T07:16:18Z)
• End-to-End Learning for Fair Multiobjective Optimization Under Uncertainty [55.04219793298687]
  機械学習における予測-Then-Forecast(PtO)パラダイムは、下流の意思決定品質を最大化することを目的としている。 本稿では,PtO法を拡張して,OWA(Nondifferentiable Ordered Weighted Averaging)の目的を最適化する。 この結果から,不確実性の下でのOWA関数の最適化とパラメトリック予測を効果的に統合できることが示唆された。
  論文  参考訳（メタデータ） (2024-02-12T16:33:35Z)
• Bayesian Optimization for Macro Placement [48.55456716632735]
  本研究では,系列対上のベイズ最適化(BO)を用いた新しいマクロ配置法を提案する。 BOは確率的代理モデルと獲得関数を利用する機械学習技術である。 固定アウトラインマクロ配置問題に対して, 半周波線長目標を用いたアルゴリズムを実証する。
  論文  参考訳（メタデータ） (2022-07-18T06:17:06Z)
• Pre-training helps Bayesian optimization too [49.28382118032923]
  機能的事前設定のための代替的なプラクティスを模索する。 特に、より厳密な分布を事前訓練できるような、類似した関数のデータを持つシナリオを考察する。 提案手法は, 競合する手法の少なくとも3倍の効率で, 優れたハイパーパラメータを見つけることができることを示す。
  論文  参考訳（メタデータ） (2022-07-07T04:42:54Z)
• Multi-Objective Hyperparameter Optimization in Machine Learning -- An Overview [10.081056751778712]
  本稿では,多目的ハイパーパラメータ最適化の基礎を導入し,応用MLにおけるその有用性を動機づける。 進化的アルゴリズムの領域とベイズ最適化の両方から、既存の最適化戦略を広範囲に調査する。 動作条件,予測時間,スパースネス,フェアネス,解釈可能性,ロバストネスなどの目的を考慮し,複数の特定のMLアプリケーションにおけるMOOの有用性を解説する。
  論文  参考訳（メタデータ） (2022-06-15T10:23:19Z)
• A Light-Weight Multi-Objective Asynchronous Hyper-Parameter Optimizer [0.0]
  本稿では,ハイパーパラメータ最適化のための軽量かつ高性能なシステムについて述べる。 複数の性能目標を組み合わせることで得られる全スカラーコスト関数をほぼ最小化する。 トレードオフモードもサポートしており、ユーザと対話することで目標間の適切なトレードオフを見つけることが目標だ。
  論文  参考訳（メタデータ） (2022-02-15T21:30:38Z)
• Many Objective Bayesian Optimization [0.0]
  マルチオブジェクトベイズ最適化(MOBO)は、ブラックボックスの同時最適化に成功している一連の手法である。 特に、MOBO法は、多目的最適化問題における目的の数が3以上である場合に問題があり、これは多くの目的設定である。 GPが測定値とアルゴリズムの有効性の予測分布を予測できるような,玩具,合成,ベンチマーク,実実験のセットで実証的な証拠を示す。
  論文  参考訳（メタデータ） (2021-07-08T21:57:07Z)
• Modeling the Second Player in Distributionally Robust Optimization [90.25995710696425]
  我々は、最悪のケース分布を特徴付けるために神経生成モデルを使うことを議論する。 このアプローチは多くの実装と最適化の課題をもたらします。 提案されたアプローチは、同等のベースラインよりも堅牢なモデルを生み出す。
  論文  参考訳（メタデータ） (2021-03-18T14:26:26Z)
• Efficient hyperparameter optimization by way of PAC-Bayes bound minimization [4.191847852775072]
  本稿では,期待外誤差に縛られた確率的近似ベイズ(PAC-Bayes)と等価な別の目的について述べる。 そして、この目的を最小化するために、効率的な勾配に基づくアルゴリズムを考案する。
  論文  参考訳（メタデータ） (2020-08-14T15:54:51Z)
• Efficient Hyperparameter Optimization under Multi-Source Covariate Shift [13.787554178089446]
  教師あり機械学習の典型的な前提は、トレイン(ソース)とテスト(ターゲット)のデータセットが完全に同じ分布に従うことである。 本研究では,マルチソース共変量シフトの下で,新しいハイパーパラメータ最適化問題を考える。 本研究では,対象目標を望ましい分散特性で不偏に近似する分散低減推定器を構築する。
  論文  参考訳（メタデータ） (2020-06-18T15:10:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。