論文の概要: Multi-objective optimization via equivariant deep hypervolume
approximation
- arxiv url: http://arxiv.org/abs/2210.02177v2
- Date: Mon, 23 Oct 2023 12:48:03 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-25 14:46:51.986236
- Title: Multi-objective optimization via equivariant deep hypervolume
approximation
- Title（参考訳）: 等変深大体積近似による多目的最適化
- Authors: Jim Boelrijk, Bernd Ensing, Patrick Forr\'e
- Abstract要約: 深層ニューラルネットワークを用いて超体積関数を近似する方法を示す。
提案手法は,精度,計算時間,一般化の観点から,高精度で近似的な超体積法に対して評価する。
- 参考スコア（独自算出の注目度）: 3.069335774032178
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Optimizing multiple competing objectives is a common problem across science
and industry. The inherent inextricable trade-off between those objectives
leads one to the task of exploring their Pareto front. A meaningful quantity
for the purpose of the latter is the hypervolume indicator, which is used in
Bayesian Optimization (BO) and Evolutionary Algorithms (EAs). However, the
computational complexity for the calculation of the hypervolume scales
unfavorably with increasing number of objectives and data points, which
restricts its use in those common multi-objective optimization frameworks. To
overcome these restrictions we propose to approximate the hypervolume function
with a deep neural network, which we call DeepHV. For better sample efficiency
and generalization, we exploit the fact that the hypervolume is
scale-equivariant in each of the objectives as well as permutation invariant
w.r.t. both the objectives and the samples, by using a deep neural network that
is equivariant w.r.t. the combined group of scalings and permutations. We
evaluate our method against exact, and approximate hypervolume methods in terms
of accuracy, computation time, and generalization. We also apply and compare
our methods to state-of-the-art multi-objective BO methods and EAs on a range
of synthetic benchmark test cases. The results show that our methods are
promising for such multi-objective optimization tasks.
- Abstract（参考訳）: 複数の競合する目標を最適化することは、科学と産業に共通する問題である。
これらの目的間の本質的に不可分なトレードオフは、パレートフロントを探索するタスクにつながります。
後者の目的の有意義な量は、ベイズ最適化(bo)と進化アルゴリズム(eas)で使用される超体積指標である。
しかし、ハイパーボリュームの計算の計算の複雑さは、それらの共通の多目的最適化フレームワークの使用を制限する目的やデータポイントの数が増えると不利である。
これらの制約を克服するため,我々はdeephvと呼ぶディープニューラルネットワークを用いてハイパーボリューム関数を近似する。
より優れたサンプル効率と一般化のために、超体積がそれぞれの目的においてスケール同変であるという事実と、目的とサンプルの両方に置換不変なw.r.t.を、スケーリングと置換の組み合わせ群であるw.r.t.と等価なディープニューラルネットワークを用いて活用する。
提案手法は,精度,計算時間,一般化の観点から,高精度で近似的な超体積法に対して評価する。
また,本手法を,最先端の多目的BO法およびEAに対して,様々なベンチマークテストケースに適用し比較する。
その結果,本手法はマルチ目的最適化タスクに有望であることがわかった。
関連論文リスト
- Towards Efficient Pareto Set Approximation via Mixture of Experts Based Model Fusion [53.33473557562837]
大規模深層ニューラルネットワークに対する多目的最適化問題を解くことは、損失ランドスケープの複雑さと高価な計算コストのために難しい課題である。
本稿では,専門家(MoE)をベースとしたモデル融合を用いて,この問題を実用的でスケーラブルに解決する手法を提案する。
特殊な単一タスクモデルの重みをまとめることで、MoEモジュールは複数の目的間のトレードオフを効果的に捉えることができる。
論文 参考訳（メタデータ） (2024-06-14T07:16:18Z) - Efficiently Tackling Million-Dimensional Multiobjective Problems: A Direction Sampling and Fine-Tuning Approach [21.20603338339053]
我々は,超大規模多目的最適化問題を,10万以上の決定変数を持つ多重目的量 (VLSMOP) の最適化として定義する。
超大規模多目的最適化フレームワーク(VMOF)と呼ばれる新しい手法を提案する。
論文 参考訳（メタデータ） (2023-04-08T16:51:27Z) - A Study of Scalarisation Techniques for Multi-Objective QUBO Solving [0.0]
量子および量子に着想を得た最適化アルゴリズムは、学術ベンチマークや実世界の問題に適用した場合に有望な性能を示す。
しかし、QUBOソルバは単目的解法であり、複数の目的による問題の解法をより効率的にするためには、そのような多目的問題を単目的問題に変換する方法を決定する必要がある。
論文 参考訳（メタデータ） (2022-10-20T14:54:37Z) - Joint Entropy Search for Multi-objective Bayesian Optimization [0.0]
本稿では,統合エントロピー探索(Joint Entropy Search)と呼ばれるBOのための情報理論獲得関数を提案する。
本稿では, ハイパーボリュームとその重み付き変種の観点から, 合成および実世界の諸問題に対するこの新しいアプローチの有効性を示す。
論文 参考訳（メタデータ） (2022-10-06T13:19:08Z) - Multi-objective hyperparameter optimization with performance uncertainty [62.997667081978825]
本稿では,機械学習アルゴリズムの評価における不確実性を考慮した多目的ハイパーパラメータ最適化の結果について述べる。
木構造型Parzen Estimator(TPE)のサンプリング戦略と、ガウス過程回帰(GPR)と異種雑音の訓練後に得られたメタモデルを組み合わせる。
3つの解析的テスト関数と3つのML問題の実験結果は、多目的TPEとGPRよりも改善したことを示している。
論文 参考訳（メタデータ） (2022-09-09T14:58:43Z) - A survey on multi-objective hyperparameter optimization algorithms for
Machine Learning [62.997667081978825]
本稿では,多目的HPOアルゴリズムに関する2014年から2020年にかけての文献を体系的に調査する。
メタヒューリスティック・ベース・アルゴリズムとメタモデル・ベース・アルゴリズム,および両者を混合したアプローチを区別する。
また,多目的HPO法と今後の研究方向性を比較するための品質指標についても論じる。
論文 参考訳（メタデータ） (2021-11-23T10:22:30Z) - Many Objective Bayesian Optimization [0.0]
マルチオブジェクトベイズ最適化(MOBO)は、ブラックボックスの同時最適化に成功している一連の手法である。
特に、MOBO法は、多目的最適化問題における目的の数が3以上である場合に問題があり、これは多くの目的設定である。
GPが測定値とアルゴリズムの有効性の予測分布を予測できるような,玩具,合成,ベンチマーク,実実験のセットで実証的な証拠を示す。
論文 参考訳（メタデータ） (2021-07-08T21:57:07Z) - Bilevel Optimization: Convergence Analysis and Enhanced Design [63.64636047748605]
バイレベル最適化は多くの機械学習問題に対するツールである。
Stoc-BiO という新しい確率効率勾配推定器を提案する。
論文 参考訳（メタデータ） (2020-10-15T18:09:48Z) - Adaptive pruning-based optimization of parameterized quantum circuits [62.997667081978825]
Variisyハイブリッド量子古典アルゴリズムは、ノイズ中間量子デバイスの使用を最大化する強力なツールである。
我々は、変分量子アルゴリズムで使用されるそのようなアンサーゼを「効率的な回路訓練」(PECT)と呼ぶ戦略を提案する。
すべてのアンサッツパラメータを一度に最適化する代わりに、PECTは一連の変分アルゴリズムを起動する。
論文 参考訳（メタデータ） (2020-10-01T18:14:11Z) - Differentiable Expected Hypervolume Improvement for Parallel
Multi-Objective Bayesian Optimization [11.956059322407437]
我々は、期待されるハイパー改善(EHVI)を用いた多目的BOのプログラミングモデルとハードウェアアクセラレーションの最近の進歩を活用する。
我々は、EHVIを並列な制約付き評価設定に拡張する取得関数であるq-Expected Hyper Improvement (qEHVI) の新規な定式化を導出する。
実験により,qEHVIは実運用シナリオの多くで計算可能であり,壁面時間のごく一部で最先端の多目的BOアルゴリズムより優れていることが示された。
論文 参考訳（メタデータ） (2020-06-09T06:57:47Z) - Adaptivity of Stochastic Gradient Methods for Nonconvex Optimization [71.03797261151605]
適応性は現代最適化理論において重要であるが、研究されていない性質である。
提案アルゴリズムは,PL目標に対して既存のアルゴリズムよりも優れた性能を保ちながら,PL目標に対して最適な収束性を実現することを実証した。
論文 参考訳（メタデータ） (2020-02-13T05:42:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。