論文の概要: Initial Design Strategies and their Effects on Sequential Model-Based Optimization

• arxiv url: http://arxiv.org/abs/2003.13826v1
• Date: Mon, 30 Mar 2020 21:25:41 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-18 07:08:49.413651
• Title: Initial Design Strategies and their Effects on Sequential Model-Based Optimization
• Title（参考訳）: シーケンシャルモデルに基づく最適化における初期設計戦略とその効果
• Authors: Jakob Bossek, Carola Doerr, Pascal Kerschke
• Abstract要約: 逐次モデルベース最適化(英: Sequential model-based optimization, SMBO)は、計算や高価な関数評価を必要とする問題を解くアルゴリズムである。 本研究では,初期サンプルのサイズと分布が,効率的なグローバル最適化(EGO)アルゴリズムの全体的な品質に与える影響を解析する。
• 参考スコア（独自算出の注目度）: 0.9281671380673306
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Sequential model-based optimization (SMBO) approaches are algorithms for solving problems that require computationally or otherwise expensive function evaluations. The key design principle of SMBO is a substitution of the true objective function by a surrogate, which is used to propose the point(s) to be evaluated next. SMBO algorithms are intrinsically modular, leaving the user with many important design choices. Significant research efforts go into understanding which settings perform best for which type of problems. Most works, however, focus on the choice of the model, the acquisition function, and the strategy used to optimize the latter. The choice of the initial sampling strategy, however, receives much less attention. Not surprisingly, quite diverging recommendations can be found in the literature. We analyze in this work how the size and the distribution of the initial sample influences the overall quality of the efficient global optimization~(EGO) algorithm, a well-known SMBO approach. While, overall, small initial budgets using Halton sampling seem preferable, we also observe that the performance landscape is rather unstructured. We furthermore identify several situations in which EGO performs unfavorably against random sampling. Both observations indicate that an adaptive SMBO design could be beneficial, making SMBO an interesting test-bed for automated algorithm design.
• Abstract（参考訳）: 逐次モデルベース最適化(英: Sequential model-based optimization, SMBO)は、計算や高価な関数評価を必要とする問題を解くアルゴリズムである。 SMBOの鍵となる設計原理は、次に評価される点(s)を提案するために用いられる代理による真の目的関数の置換である。 smboアルゴリズムは本質的にモジュラーであり、ユーザーは多くの重要な設計選択をすることができる。 どの設定がどのタイプの問題に最適なのかを理解するための重要な研究が進められている。 しかし、ほとんどの作業はモデルの選択、獲得関数、後者の最適化に使用される戦略に焦点を当てている。 しかし、最初のサンプリング戦略の選択は、はるかに注意を払わない。 驚くべきことではないが、かなり異なる推奨が文献に含まれている。 本研究では,初期サンプルのサイズと分布が,SMBO手法である効率的なグローバル最適化~(EGO)アルゴリズムの全体的な品質に与える影響を解析する。 全体としては、haltonサンプリングを使った小さな初期予算の方が望ましいように思えるが、パフォーマンスの状況はかなり非構造化であることも観察する。 さらに,egoがランダムサンプリングに対して不利な動作をするいくつかの状況を特定する。 どちらの観測も、適応SMBO設計が有用であることを示し、SMBOは自動アルゴリズム設計のための興味深いテストベッドとなる。

関連論文リスト

• Discovering Preference Optimization Algorithms with and for Large Language Models [50.843710797024805]
  オフライン優先最適化は、LLM(Large Language Model)出力の品質を向上・制御するための重要な手法である。 我々は、人間の介入なしに、新しい最先端の選好最適化アルゴリズムを自動で発見する客観的発見を行う。 実験は、ロジスティックと指数的損失を適応的にブレンドする新しいアルゴリズムであるDiscoPOPの最先端性能を示す。
  論文  参考訳（メタデータ） (2024-06-12T16:58:41Z)
• Improving Sample Efficiency of Model-Free Algorithms for Zero-Sum Markov Games [66.2085181793014]
  モデルフリーのステージベースQ-ラーニングアルゴリズムはモデルベースアルゴリズムと同じ$H$依存の最適性を享受できることを示す。 本アルゴリズムは,楽観的値関数と悲観的値関数のペアとして参照値関数を更新するキーとなる新しい設計を特徴とする。
  論文  参考訳（メタデータ） (2023-08-17T08:34:58Z)
• DynamoRep: Trajectory-Based Population Dynamics for Classification of Black-box Optimization Problems [0.755972004983746]
  簡単な統計量を用いて最適化アルゴリズムの軌道を記述する特徴抽出法を提案する。 提案するDynamoRep機能は,最適化アルゴリズムが動作している問題クラスを特定するのに十分な情報を取得する。
  論文  参考訳（メタデータ） (2023-06-08T06:57:07Z)
• Convergence Rate Analysis for Optimal Computing Budget Allocation Algorithms [1.713291434132985]
  オーディナル最適化(Ordinal Optimization, OO)は、離散イベント動的システムを最適化するための広く研究されている手法である。 OOのよく知られた方法は、最適計算予算配分(OCBA)である。 本稿では,2つのOCBAアルゴリズムについて検討する。
  論文  参考訳（メタデータ） (2022-11-27T04:55:40Z)
• Towards Automated Design of Bayesian Optimization via Exploratory Landscape Analysis [11.143778114800272]
  AFの動的選択はBO設計に有用であることを示す。 我々は,オートML支援のオンザフライBO設計への道を開き,その動作をランニング・バイ・ランで調整する。
  論文  参考訳（メタデータ） (2022-11-17T17:15:04Z)
• A Simple Evolutionary Algorithm for Multi-modal Multi-objective Optimization [0.0]
  マルチモーダル・多目的最適化問題(MMOP)を解くための定常進化アルゴリズムを提案する。 本報告では,1000関数評価の低計算予算を用いて,様々なテストスイートから得られた21個のMMOPの性能について報告する。
  論文  参考訳（メタデータ） (2022-01-18T03:31:11Z)
• Conservative Objective Models for Effective Offline Model-Based Optimization [78.19085445065845]
  計算設計の問題は、合成生物学からコンピュータアーキテクチャまで、様々な場面で発生している。 本研究では,分布外入力に対する接地的目標の実際の値を低くする目的関数のモデルを学習する手法を提案する。 COMは、様々なMBO問題に対して、既存のメソッドの実装と性能の面では単純である。
  論文  参考訳（メタデータ） (2021-07-14T17:55:28Z)
• Towards Feature-Based Performance Regression Using Trajectory Data [0.9281671380673306]
  ブラックボックス最適化は非常に活発な研究領域であり、毎年多くの新しいアルゴリズムが開発されている。 アルゴリズムの多様性はメタプロブレム(メタプロブレム):どのアルゴリズムが与えられた問題を選択するか? 過去の研究では、探索ランドスケープ分析に基づくインスタンスごとのアルゴリズム選択が、このメタプロブレムに取り組むための効率的な手段であることが示されている。
  論文  参考訳（メタデータ） (2021-02-10T10:19:13Z)
• Adaptive Sampling for Best Policy Identification in Markov Decision Processes [79.4957965474334]
  本稿では,学習者が生成モデルにアクセスできる場合の,割引マルコフ決定(MDP)における最良の政治的識別の問題について検討する。 最先端アルゴリズムの利点を論じ、解説する。
  論文  参考訳（メタデータ） (2020-09-28T15:22:24Z)
• Stochastic batch size for adaptive regularization in deep network optimization [63.68104397173262]
  ディープラーニングフレームワークにおける機械学習問題に適用可能な適応正規化を取り入れた一階最適化アルゴリズムを提案する。 一般的なベンチマークデータセットに適用した従来のネットワークモデルに基づく画像分類タスクを用いて,提案アルゴリズムの有効性を実証的に実証した。
  論文  参考訳（メタデータ） (2020-04-14T07:54:53Z)
• Stepwise Model Selection for Sequence Prediction via Deep Kernel Learning [100.83444258562263]
  本稿では,モデル選択の課題を解決するために,新しいベイズ最適化(BO)アルゴリズムを提案する。 結果として得られる複数のブラックボックス関数の最適化問題を協調的かつ効率的に解くために,ブラックボックス関数間の潜在的な相関を利用する。 我々は、シーケンス予測のための段階的モデル選択(SMS)の問題を初めて定式化し、この目的のために効率的な共同学習アルゴリズムを設計し、実証する。
  論文  参考訳（メタデータ） (2020-01-12T09:42:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。