論文の概要: Random Hypervolume Scalarizations for Provable Multi-Objective Black Box Optimization

• arxiv url: http://arxiv.org/abs/2006.04655v2
• Date: Tue, 9 Jun 2020 18:29:23 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-24 01:25:30.482820
• Title: Random Hypervolume Scalarizations for Provable Multi-Objective Black Box Optimization
• Title（参考訳）: 多目的ブラックボックス最適化のためのランダム超ボリュームスカラー化
• Authors: Daniel Golovin, Qiuyi Zhang
• Abstract要約: 本稿では、$f(x)$が競合する可能性のある目的のベクトルを出力する多目的最適化について考察する。 証明可能な収束保証を伴う多目的最適化プロセスに、任意の証明可能な収束単目的最適化プロセスが、強制的に変換可能であることを示す。
• 参考スコア（独自算出の注目度）: 8.90548944387431
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Single-objective black box optimization (also known as zeroth-order optimization) is the process of minimizing a scalar objective $f(x)$, given evaluations at adaptively chosen inputs $x$. In this paper, we consider multi-objective optimization, where $f(x)$ outputs a vector of possibly competing objectives and the goal is to converge to the Pareto frontier. Quantitatively, we wish to maximize the standard hypervolume indicator metric, which measures the dominated hypervolume of the entire set of chosen inputs. In this paper, we introduce a novel scalarization function, which we term the hypervolume scalarization, and show that drawing random scalarizations from an appropriately chosen distribution can be used to efficiently approximate the hypervolume indicator metric. We utilize this connection to show that Bayesian optimization with our scalarization via common acquisition functions, such as Thompson Sampling or Upper Confidence Bound, provably converges to the whole Pareto frontier by deriving tight hypervolume regret bounds on the order of $\widetilde{O}(\sqrt{T})$. Furthermore, we highlight the general utility of our scalarization framework by showing that any provably convergent single-objective optimization process can be effortlessly converted to a multi-objective optimization process with provable convergence guarantees.
• Abstract（参考訳）: 単一目的ブラックボックス最適化 (single-objective black box optimization, zeroth-order optimization, zeroth-order optimization) はスカラー目的の$f(x)$を最小化するプロセスである。 本稿では,多目的最適化を考える。ここでは$f(x)$が競合する可能性のある目標のベクトルを出力し,その目標はパレートフロンティアに収束することである。 定量的には、選択された入力の集合全体の支配的なハイパーボリュームを測定する標準のハイパーボリュームインジケータメトリックを最大化したい。 本稿では,超体積スカラー化と呼ばれる新しいスカラー化関数を導入し,最適に選択された分布からランダムなスカラー化を抽出することにより,超体積インジケータメトリックを効率的に近似することができることを示す。 この関係を利用して,共通の獲得関数,例えばトンプソンサンプリングや上限値といったスカラー化によるベイズ最適化が,$\widetilde{o}(\sqrt{t})$ の順序で厳密な超体積的後悔境界を導出することにより,パレートフロンティア全体に収束することを示す。 さらに,scalrizationフレームワークの汎用性についても強調する。このフレームワークでは,任意の可分収束単目的最適化プロセスが,可分収束保証のある多目的最適化プロセスに無益に変換可能であることを示す。

関連論文リスト

• Online Mirror Descent for Tchebycheff Scalarization in Multi-Objective Optimization [14.970965673760427]
  OMD-TCHと呼ばれるチェシュスカラー化のためのオンラインミラー降下アルゴリズムを提案する。 我々は,OMD-TCHが,公正性制約下での合成問題とフェデレーション学習タスクの両方に有効であることを示す。
  論文  参考訳（メタデータ） (2024-10-29T05:58:33Z)
• ProGO: Probabilistic Global Optimizer [9.772380490791635]
  本稿では,いくつかの温和な条件下でのグローバルオプティマに収束するアルゴリズムを開発する。 提案アルゴリズムは,従来の最先端手法よりも桁違いに優れていることを示す。
  論文  参考訳（メタデータ） (2023-10-04T22:23:40Z)
• Transformers as Support Vector Machines [54.642793677472724]
  自己アテンションの最適化幾何と厳密なSVM問題との間には,形式的等価性を確立する。 勾配降下に最適化された1層変圧器の暗黙バイアスを特徴付ける。 これらの発見は、最適なトークンを分離し選択するSVMの階層としてのトランスフォーマーの解釈を刺激していると信じている。
  論文  参考訳（メタデータ） (2023-08-31T17:57:50Z)
• Optimal Scalarizations for Sublinear Hypervolume Regret [2.703970154550017]
  均一にランダムな重みを持つ超体積スカラー化は、O(T-1/k)$の最適サブボリューム超体積後悔境界が得られることを示す。 多目的線型包帯の設定のために、不必要な$textpoly(k)$依存を取り除くために$tildeO(d T-1/2 + T-1/k)$の後悔境界を得る新しい非ユークリッド解析を導出する。
  論文  参考訳（メタデータ） (2023-07-06T20:49:42Z)
• Constrained Optimization via Exact Augmented Lagrangian and Randomized Iterative Sketching [55.28394191394675]
  等式制約付き非線形非IBS最適化問題に対する適応的不正確なニュートン法を開発した。 ベンチマーク非線形問題,LVMのデータによる制約付きロジスティック回帰,PDE制約問題において,本手法の優れた性能を示す。
  論文  参考訳（メタデータ） (2023-05-28T06:33:37Z)
• Multi-objective optimization via equivariant deep hypervolume approximation [3.069335774032178]
  深層ニューラルネットワークを用いて超体積関数を近似する方法を示す。 提案手法は,精度,計算時間,一般化の観点から,高精度で近似的な超体積法に対して評価する。
  論文  参考訳（メタデータ） (2022-10-05T12:07:13Z)
• STORM+: Fully Adaptive SGD with Momentum for Nonconvex Optimization [74.1615979057429]
  本研究では,スムーズな損失関数に対する期待値である非バッチ最適化問題について検討する。 我々の研究は、学習率と運動量パラメータを適応的に設定する新しいアプローチとともに、STORMアルゴリズムの上に構築されている。
  論文  参考訳（メタデータ） (2021-11-01T15:43:36Z)
• Unified Convergence Analysis for Adaptive Optimization with Moving Average Estimator [75.05106948314956]
  1次モーメントに対する大きな運動量パラメータの増大は適応的スケーリングに十分であることを示す。 また,段階的に減少するステップサイズに応じて,段階的に運動量を増加させるための洞察を与える。
  論文  参考訳（メタデータ） (2021-04-30T08:50:24Z)
• The Role of Momentum Parameters in the Optimal Convergence of Adaptive Polyak's Heavy-ball Methods [12.93796690939018]
  適応型Polyak's Heavy-ball (HB) 法は最適な個人収束率を$O(frac1sqrtt)$とする。 新しい解析では,hb運動量とその時間的変動が凸最適化の高速化にどのように役立つかを示す。
  論文  参考訳（メタデータ） (2021-02-15T02:57:14Z)
• Zeroth-Order Hybrid Gradient Descent: Towards A Principled Black-Box Optimization Framework [100.36569795440889]
  この作業は、一階情報を必要としない零次最適化(ZO)の反復である。 座標重要度サンプリングにおける優雅な設計により,ZO最適化法は複雑度と関数クエリコストの両面において効率的であることを示す。
  論文  参考訳（メタデータ） (2020-12-21T17:29:58Z)
• Convergence of adaptive algorithms for weakly convex constrained optimization [59.36386973876765]
  モローエンベロープの勾配のノルムに対して$mathcaltilde O(t-1/4)$収束率を証明する。 我々の分析では、最小バッチサイズが1ドル、定数が1位と2位のモーメントパラメータが1ドル、そしておそらくスムーズな最適化ドメインで機能する。
  論文  参考訳（メタデータ） (2020-06-11T17:43:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。