論文の概要: Adaptive Local Bayesian Optimization Over Multiple Discrete Variables
- arxiv url: http://arxiv.org/abs/2012.03501v1
- Date: Mon, 7 Dec 2020 07:51:23 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-16 21:48:05.791925
- Title: Adaptive Local Bayesian Optimization Over Multiple Discrete Variables
- Title（参考訳）: 複数の離散変数に対する適応局所ベイズ最適化
- Authors: Taehyeon Kim, Jaeyeon Ahn, Nakyil Kim, Seyoung Yun
- Abstract要約: 本稿では,チームKAIST OSIのアプローチをステップワイズで記述し,ベースラインアルゴリズムを最大20.39%向上させる。
同様の方法では,ベイジアンとマルチアームドバンディット(mab)の手法を組み合わせ,変数型を考慮した値選択を行う。
経験的評価により,提案手法は既存の手法を異なるタスクにまたがる性能を示す。
- 参考スコア（独自算出の注目度）: 9.860437640748113
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In the machine learning algorithms, the choice of the hyperparameter is often
an art more than a science, requiring labor-intensive search with expert
experience. Therefore, automation on hyperparameter optimization to exclude
human intervention is a great appeal, especially for the black-box functions.
Recently, there have been increasing demands of solving such concealed tasks
for better generalization, though the task-dependent issue is not easy to
solve. The Black-Box Optimization challenge (NeurIPS 2020) required competitors
to build a robust black-box optimizer across different domains of standard
machine learning problems. This paper describes the approach of team KAIST OSI
in a step-wise manner, which outperforms the baseline algorithms by up to
+20.39%. We first strengthen the local Bayesian search under the concept of
region reliability. Then, we design a combinatorial kernel for a Gaussian
process kernel. In a similar vein, we combine the methodology of Bayesian and
multi-armed bandit,(MAB) approach to select the values with the consideration
of the variable types; the real and integer variables are with Bayesian, while
the boolean and categorical variables are with MAB. Empirical evaluations
demonstrate that our method outperforms the existing methods across different
tasks.
- Abstract（参考訳）: 機械学習アルゴリズムでは、ハイパーパラメータの選択は科学以上の芸術であり、専門的な経験を持つ労働集約的な検索を必要とする。
したがって、人的介入を除外するハイパーパラメータ最適化の自動化は、特にブラックボックス機能にとって大きな魅力である。
近年,タスク依存の問題を解くことは容易ではないが,そのような隠蔽タスクをより一般化するために解決するという要求が高まっている。
Black-Box Optimization チャレンジ (NeurIPS 2020) では、競合他社が標準機械学習問題のさまざまな領域にまたがる堅牢なブラックボックスオプティマイザを構築する必要があった。
本稿では,チームKAIST OSIのアプローチをステップワイズで記述し,ベースラインアルゴリズムを最大20.39%向上させる。
まず,地域信頼性という概念の下で,地域ベイズ探索を強化する。
そこで我々はガウスプロセスカーネルのための組合せカーネルを設計する。
同様の方法で、bayesian と multi-armed bandit (mab) の方法論を組み合わせて、変数型を考慮した値の選択を行い、実変数と整数変数は bayesian と、boolean とカテゴリ変数は mab とを組み合わせる。
経験的評価により,提案手法は既存の手法を異なるタスクにまたがる性能を示す。
関連論文リスト
- A Stochastic Approach to Bi-Level Optimization for Hyperparameter Optimization and Meta Learning [74.80956524812714]
我々は,現代のディープラーニングにおいて広く普及している一般的なメタ学習問題に対処する。
これらの問題は、しばしばBi-Level Optimizations (BLO)として定式化される。
我々は,与えられたBLO問題を,内部損失関数が滑らかな分布となり,外損失が内部分布に対する期待損失となるようなii最適化に変換することにより,新たな視点を導入する。
論文 参考訳（メタデータ） (2024-10-14T12:10:06Z) - A survey and benchmark of high-dimensional Bayesian optimization of discrete sequences [12.248793682283964]
個々のブラックボックス機能を最適化することは、タンパク質工学や薬物設計など、いくつかの領域において重要である。
我々は,高次元ベイズ最適化手法と標準化されたブラックボックス関数の集合を幅広くテストするための統一的なフレームワークを開発する。
これらのベンチマークの2つのコンポーネントはそれぞれ、柔軟でスケーラブルで容易に拡張可能なソフトウェアライブラリによってサポートされています。
論文 参考訳（メタデータ） (2024-06-07T08:39:40Z) - BEACON: A Bayesian Optimization Strategy for Novelty Search in Expensive Black-Box Systems [1.204357447396532]
ノベルティ・サーチ (NS) は、シミュレーションや実験を通じて様々なシステムの振る舞いを自動的に発見する探索アルゴリズムのクラスである。
このような高価なブラックボックスシステムに特化して設計されたサンプル効率のNSに対するベイズ最適化法を提案する。
提案手法は,限られたサンプル予算の下で,より大規模な多様な挙動の集合を見出すことにより,既存のNSアルゴリズムよりも大幅に優れていることを示す。
論文 参考訳（メタデータ） (2024-06-05T20:23:52Z) - Exploratory Landscape Analysis for Mixed-Variable Problems [0.7252027234425334]
決定空間が連続変数、バイナリ変数、整数変数、カテゴリー変数の混合である混合変数問題に対する探索的景観特徴を計算する手段を提供する。
実用化のためのメリットをさらに強調するため,自動アルゴリズム選択研究を設計・実施する。
トレーニングされたアルゴリズムセレクタは、すべてのベンチマーク問題に対して、単一のベストと仮想ベストのギャップを57.5%縮めることができる。
論文 参考訳（メタデータ） (2024-02-26T10:19:23Z) - Efficient Bayesian Optimization with Deep Kernel Learning and
Transformer Pre-trained on Multiple Heterogeneous Datasets [9.510327380529892]
本稿では,トランスフォーマーベースのエンコーダから学習した深い特徴に基づいてカーネルが定義されたガウス過程(GP)であるサロゲートを事前訓練する簡単な手法を提案する。
総合的および実ベンチマーク問題に対する実験は,提案した事前学習および転送BO戦略の有効性を実証するものである。
論文 参考訳（メタデータ） (2023-08-09T01:56:10Z) - Generalizing Bayesian Optimization with Decision-theoretic Entropies [102.82152945324381]
統計的決定論の研究からシャノンエントロピーの一般化を考える。
まず,このエントロピーの特殊なケースがBO手順でよく用いられる獲得関数に繋がることを示す。
次に、損失に対する選択肢の選択が、どのようにして柔軟な獲得関数の族をもたらすかを示す。
論文 参考訳（メタデータ） (2022-10-04T04:43:58Z) - Pre-training helps Bayesian optimization too [49.28382118032923]
機能的事前設定のための代替的なプラクティスを模索する。
特に、より厳密な分布を事前訓練できるような、類似した関数のデータを持つシナリオを考察する。
提案手法は, 競合する手法の少なくとも3倍の効率で, 優れたハイパーパラメータを見つけることができることを示す。
論文 参考訳（メタデータ） (2022-07-07T04:42:54Z) - Tree ensemble kernels for Bayesian optimization with known constraints
over mixed-feature spaces [54.58348769621782]
木アンサンブルはアルゴリズムチューニングやニューラルアーキテクチャ検索といったブラックボックス最適化タスクに適している。
ブラックボックス最適化にツリーアンサンブルを使うことの2つのよく知られた課題は、探索のためのモデル不確実性を効果的に定量化し、また、 (ii) ピースワイドな定値取得関数を最適化することである。
我々のフレームワークは、連続/離散的機能に対する非拘束ブラックボックス最適化のための最先端の手法と同様に、混合変数の特徴空間と既知の入力制約を組み合わせた問題の競合する手法よりも優れている。
論文 参考訳（メタデータ） (2022-07-02T16:59:37Z) - A Robust Multi-Objective Bayesian Optimization Framework Considering
Input Uncertainty [0.0]
エンジニアリング設計のような現実的なアプリケーションでは、設計者は複数の目的と入力の不確実性を考慮に入れたい場合が多い。
入力の不確実性を考慮した多目的最適化を効率的に行うための新しいベイズ最適化フレームワークを提案する。
論文 参考訳（メタデータ） (2022-02-25T17:45:26Z) - RoMA: Robust Model Adaptation for Offline Model-based Optimization [115.02677045518692]
入力出力クエリの静的データセットからブラックボックス目的関数を最大化する入力を探索する問題を考える。
この問題を解決するための一般的なアプローチは、真の客観的関数を近似するプロキシモデルを維持することである。
ここでの大きな課題は、検索中に逆最適化された入力を避ける方法である。
論文 参考訳（メタデータ） (2021-10-27T05:37:12Z) - Stepwise Model Selection for Sequence Prediction via Deep Kernel
Learning [100.83444258562263]
本稿では,モデル選択の課題を解決するために,新しいベイズ最適化(BO)アルゴリズムを提案する。
結果として得られる複数のブラックボックス関数の最適化問題を協調的かつ効率的に解くために,ブラックボックス関数間の潜在的な相関を利用する。
我々は、シーケンス予測のための段階的モデル選択(SMS)の問題を初めて定式化し、この目的のために効率的な共同学習アルゴリズムを設計し、実証する。
論文 参考訳（メタデータ） (2020-01-12T09:42:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。