論文の概要: Neighbor Regularized Bayesian Optimization for Hyperparameter
Optimization
- arxiv url: http://arxiv.org/abs/2210.03481v1
- Date: Fri, 7 Oct 2022 12:08:01 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-10 14:18:17.651963
- Title: Neighbor Regularized Bayesian Optimization for Hyperparameter
Optimization
- Title(参考訳): 隣接正規化ベイズ最適化によるハイパーパラメータ最適化
- Authors: Lei Cui, Yangguang Li, Xin Lu, Dong An, Fenggang Liu
- Abstract要約: そこで本研究では,近隣正規化ベイズ最適化(NRBO)と呼ばれる新しいBOアルゴリズムを提案する。
まず,各試料の観察を円滑に円滑に行うため,余分なトレーニングコストを伴わずに効率よく観測ノイズを低減できる近傍型正規化を提案する。
我々は、ベイズマークベンチマークとImageNetやCOCOのような重要なコンピュータビジョンベンチマークで実験を行う。
- 参考スコア(独自算出の注目度): 12.544312247050236
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Bayesian Optimization (BO) is a common solution to search optimal
hyperparameters based on sample observations of a machine learning model.
Existing BO algorithms could converge slowly even collapse when the potential
observation noise misdirects the optimization. In this paper, we propose a
novel BO algorithm called Neighbor Regularized Bayesian Optimization (NRBO) to
solve the problem. We first propose a neighbor-based regularization to smooth
each sample observation, which could reduce the observation noise efficiently
without any extra training cost. Since the neighbor regularization highly
depends on the sample density of a neighbor area, we further design a
density-based acquisition function to adjust the acquisition reward and obtain
more stable statistics. In addition, we design a adjustment mechanism to ensure
the framework maintains a reasonable regularization strength and density reward
conditioned on remaining computation resources. We conduct experiments on the
bayesmark benchmark and important computer vision benchmarks such as ImageNet
and COCO. Extensive experiments demonstrate the effectiveness of NRBO and it
consistently outperforms other state-of-the-art methods.
- Abstract(参考訳): ベイズ最適化(BO)は、機械学習モデルのサンプル観測に基づいて最適なハイパーパラメータを探索する一般的な方法である。
既存のBOアルゴリズムは、潜在的な観測ノイズが最適化を間違えると、徐々に収束する。
本稿では,この問題を解決するために,隣接正規化ベイズ最適化(nrbo)と呼ばれる新しいboアルゴリズムを提案する。
まず,各試料の観察を円滑に円滑に行うため,余分なトレーニングコストを伴わずに効率よく観測ノイズを低減できる近傍型正規化を提案する。
隣接正規化は隣接領域のサンプル密度に大きく依存するので、さらに、取得報酬を調整し、より安定した統計を得るために密度ベースの取得関数を設計する。
さらに,残余の計算資源に対して適切な正規化強度と密度報酬を確実に維持するための調整機構を設計する。
我々は、ベイズマークベンチマークとImageNetやCOCOのような重要なコンピュータビジョンベンチマークで実験を行う。
広汎な実験はNRBOの有効性を示し、他の最先端手法よりも一貫して優れている。
関連論文リスト
- Poisson Process for Bayesian Optimization [126.51200593377739]
本稿では、Poissonプロセスに基づくランキングベースの代理モデルを提案し、Poisson Process Bayesian Optimization(PoPBO)と呼ばれる効率的なBOフレームワークを提案する。
従来のGP-BO法と比較すると,PoPBOはコストが低く,騒音に対する堅牢性も良好であり,十分な実験により検証できる。
論文 参考訳(メタデータ) (2024-02-05T02:54:50Z) - LABCAT: Locally adaptive Bayesian optimization using principal
component-aligned trust regions [0.0]
主成分整列回転と適応的再スケーリング戦略を付加することにより,信頼領域ベースのBOを拡張するABCATアルゴリズムを提案する。
このアルゴリズムは、最先端のBOや他のブラックボックス最適化アルゴリズムよりも優れていることを示す。
論文 参考訳(メタデータ) (2023-11-19T13:56:24Z) - Parallel Bayesian Optimization Using Satisficing Thompson Sampling for
Time-Sensitive Black-Box Optimization [0.0]
本稿では,Thompsonサンプリングに基づく並列BO手法を提案する。
ターゲットを最適なソリューションから、学習しやすい満足できるソリューションにシフトします。
リチウムイオン電池の高速充電設計問題に対して提案手法の有効性を実証した。
論文 参考訳(メタデータ) (2023-10-19T07:03:51Z) - Model-based Causal Bayesian Optimization [74.78486244786083]
乗算重み付き因果ベイズ最適化のための最初のアルゴリズム(CBO-MW)を提案する。
グラフ関連の量に自然に依存するCBO-MWに対する後悔の限界を導出する。
我々の実験は、共有モビリティシステムにおいて、ユーザの需要パターンを学習するためにCBO-MWをどのように使用できるかの現実的なデモを含む。
論文 参考訳(メタデータ) (2023-07-31T13:02:36Z) - Learning Regions of Interest for Bayesian Optimization with Adaptive
Level-Set Estimation [84.0621253654014]
本稿では,高信頼領域を適応的にフィルタするBALLETというフレームワークを提案する。
理論的には、BALLETは探索空間を効率的に縮小することができ、標準BOよりも厳密な後悔を示すことができる。
論文 参考訳(メタデータ) (2023-07-25T09:45:47Z) - Model-based Causal Bayesian Optimization [78.120734120667]
モデルに基づく因果ベイズ最適化(MCBO)を提案する。
MCBOは介入と逆のペアをモデリングするのではなく、完全なシステムモデルを学ぶ。
標準的なベイズ最適化とは異なり、我々の取得関数は閉形式では評価できない。
論文 参考訳(メタデータ) (2022-11-18T14:28:21Z) - Exploring the Algorithm-Dependent Generalization of AUPRC Optimization
with List Stability [107.65337427333064]
AUPRC(Area Under the Precision-Recall Curve)の最適化は、機械学習にとって重要な問題である。
本研究では, AUPRC最適化の単依存一般化における最初の試行について述べる。
3つの画像検索データセットの実験は、我々のフレームワークの有効性と健全性に言及する。
論文 参考訳(メタデータ) (2022-09-27T09:06:37Z) - Tree ensemble kernels for Bayesian optimization with known constraints
over mixed-feature spaces [54.58348769621782]
木アンサンブルはアルゴリズムチューニングやニューラルアーキテクチャ検索といったブラックボックス最適化タスクに適している。
ブラックボックス最適化にツリーアンサンブルを使うことの2つのよく知られた課題は、探索のためのモデル不確実性を効果的に定量化し、また、 (ii) ピースワイドな定値取得関数を最適化することである。
我々のフレームワークは、連続/離散的機能に対する非拘束ブラックボックス最適化のための最先端の手法と同様に、混合変数の特徴空間と既知の入力制約を組み合わせた問題の競合する手法よりも優れている。
論文 参考訳(メタデータ) (2022-07-02T16:59:37Z) - Learning Representation for Bayesian Optimization with Collision-free
Regularization [13.476552258272402]
大規模、高次元、非定常的なデータセットは現実世界のシナリオでは一般的である。
最近の研究は、古典的なガウス過程に先立ってニューラルネットワークを適用して潜在表現を学習することで、そのような入力を処理しようとしている。
適切なネットワーク設計であっても、そのような学習された表現は、しばしば潜在空間における衝突を引き起こすことを示す。
本稿では,学習された潜伏空間における衝突を低減するために,新しい正則化器を用いた効率的な深度ベイズ最適化フレームワークであるLOCoを提案する。
論文 参考訳(メタデータ) (2022-03-16T14:44:16Z) - Sparse Bayesian Optimization [16.867375370457438]
よりスパースで解釈可能な構成を発見できる正規化ベースのアプローチをいくつか提示する。
そこで本研究では,同相連続に基づく新たな微分緩和法を提案し,空間的空間的空間的空間的空間的空間的空間的空間的空間的空間的空間的空間的空間的空間的空間的空間的空間的空間的空間的空間的空間的空間的空間的空間的空間的空間的空間的空間的空間的空間的空間的空間的空間的空間
スパシティのために効率的に最適化できることが示されています。
論文 参考訳(メタデータ) (2022-03-03T18:25:33Z) - BOSH: Bayesian Optimization by Sampling Hierarchically [10.10241176664951]
本稿では,階層的なガウス過程と情報理論の枠組みを組み合わせたBOルーチンを提案する。
BOSHは, ベンチマーク, シミュレーション最適化, 強化学習, ハイパーパラメータチューニングタスクにおいて, 標準BOよりも効率的で高精度な最適化を実現する。
論文 参考訳(メタデータ) (2020-07-02T07:35:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。