論文の概要: Dynamic Priors in Bayesian Optimization for Hyperparameter Optimization
- arxiv url: http://arxiv.org/abs/2511.02570v1
- Date: Tue, 04 Nov 2025 13:44:04 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-11-05 18:47:06.054196
- Title: Dynamic Priors in Bayesian Optimization for Hyperparameter Optimization
- Title（参考訳）: ハイパパラメータ最適化のためのベイズ最適化における動的優先順位
- Authors: Lukas Fehring, Marcel Wever, Maximilian Spliethöver, Leona Hennig, Henning Wachsmuth, Marius Lindauer,
- Abstract要約: 本稿では,ユーザ入力を介してBOを操る反復的介入を可能にする新しい手法を提案する。
また、有害なユーザ入力に対する保護を可能にする、誤解を招く事前検知方式も導入する。
- 参考スコア（独自算出の注目度）: 21.051940816509443
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Hyperparameter optimization (HPO), for example, based on Bayesian optimization (BO), supports users in designing models well-suited for a given dataset. HPO has proven its effectiveness on several applications, ranging from classical machine learning for tabular data to deep neural networks for computer vision and transformers for natural language processing. However, HPO still sometimes lacks acceptance by machine learning experts due to its black-box nature and limited user control. Addressing this, first approaches have been proposed to initialize BO methods with expert knowledge. However, these approaches do not allow for online steering during the optimization process. In this paper, we introduce a novel method that enables repeated interventions to steer BO via user input, specifying expert knowledge and user preferences at runtime of the HPO process in the form of prior distributions. To this end, we generalize an existing method, $\pi$BO, preserving theoretical guarantees. We also introduce a misleading prior detection scheme, which allows protection against harmful user inputs. In our experimental evaluation, we demonstrate that our method can effectively incorporate multiple priors, leveraging informative priors, whereas misleading priors are reliably rejected or overcome. Thereby, we achieve competitiveness to unperturbed BO.
- Abstract（参考訳）: 例えば、ベイジアン最適化(BO)に基づくハイパーパラメータ最適化(HPO)は、特定のデータセットに適したモデルを設計する際のユーザをサポートする。
HPOは、グラフデータのための古典的な機械学習から、コンピュータビジョンのためのディープニューラルネットワーク、自然言語処理のためのトランスフォーマーまで、いくつかのアプリケーションでその効果を証明している。
しかし、HPOはブラックボックスの性質とユーザーコントロールの制限により、機械学習の専門家の受け入れを欠いている場合もある。
これに対応するために、専門家の知識でBOメソッドを初期化するための最初のアプローチが提案されている。
しかし、これらのアプローチは最適化プロセス中にオンラインのステアリングを許さない。
本稿では,HPOプロセス実行時の専門家の知識とユーザの好みを事前分布の形で指定し,ユーザ入力を介してBOの反復的介入を可能にする手法を提案する。
この目的のために、理論的な保証を保持する既存のメソッドである$\pi$BOを一般化する。
また、有害なユーザ入力に対する保護を可能にする、誤解を招く事前検知方式も導入する。
実験により,提案手法は複数の先行情報を効果的に組み込むことが可能であり,誤認は確実に否定されるか克服されることを示した。
これにより、未成熟BOに対する競争性を達成できる。
関連論文リスト
- Informed Initialization for Bayesian Optimization and Active Learning [13.105080815344174]
本稿では,情報理論の原理を用いたハイパーパラメータ学習と予測不確実性低減のバランスをとる新しい獲得戦略を提案する。
本研究は,アクティブラーニングと数発のBOの広範な実験を通して,その効果を実証する。
論文 参考訳（メタデータ） (2025-10-27T15:05:12Z) - Hyperparameter Optimization via Interacting with Probabilistic Circuits [20.128718882698593]
候補点の獲得機能のない生成を可能にする新しい選択ポリシーを開発する。
本手法は,標準HPOにおける最先端性能を実現し,対話型HPOにおける対話型BOベースラインよりも優れることを示す。
論文 参考訳（メタデータ） (2025-05-23T12:21:19Z) - PABBO: Preferential Amortized Black-Box Optimization [24.019185659134294]
優先ベイズ最適化(英: Preferential Bayesian Optimization, PBO)は、一対の設計に対する優先的なフィードバックから潜在ユーザユーティリティを学習するためのサンプリング効率のよい手法である。
そこで本研究では,PBOを完全修復し,サロゲートと取得機能の両方をメタラーニングすることで,この問題を回避することを提案する。
提案手法はガウスのプロセスベース戦略よりも数桁高速であり,精度で優れていることが多い。
論文 参考訳（メタデータ） (2025-03-02T14:57:24Z) - Enhanced Bayesian Optimization via Preferential Modeling of Abstract
Properties [49.351577714596544]
本研究では,非測定抽象特性に関する専門家の嗜好を代理モデルに組み込むための,人間とAIの協調型ベイズフレームワークを提案する。
優先判断において、誤った/誤解を招く専門家バイアスを処理できる効率的な戦略を提供する。
論文 参考訳（メタデータ） (2024-02-27T09:23:13Z) - PriorBand: Practical Hyperparameter Optimization in the Age of Deep
Learning [49.92394599459274]
我々は,Deep Learning(DL)パイプラインに適したHPOアルゴリズムであるPresideBandを提案する。
各種のDLベンチマークでその堅牢性を示し、情報的専門家のインプットと、専門家の信条の低さに対してその利得を示す。
論文 参考訳（メタデータ） (2023-06-21T16:26:14Z) - Provably Efficient Bayesian Optimization with Unknown Gaussian Process Hyperparameter Estimation [44.53678257757108]
目的関数の大域的最適値にサブ線形収束できる新しいBO法を提案する。
本手法では,BOプロセスにランダムなデータポイントを追加するために,マルチアームバンディット法 (EXP3) を用いる。
提案手法は, 様々な合成および実世界の問題に対して, 既存の手法よりも優れていることを示す。
論文 参考訳（メタデータ） (2023-06-12T03:35:45Z) - Pre-training helps Bayesian optimization too [49.28382118032923]
機能的事前設定のための代替的なプラクティスを模索する。
特に、より厳密な分布を事前訓練できるような、類似した関数のデータを持つシナリオを考察する。
提案手法は, 競合する手法の少なくとも3倍の効率で, 優れたハイパーパラメータを見つけることができることを示す。
論文 参考訳（メタデータ） (2022-07-07T04:42:54Z) - Enhancing Explainability of Hyperparameter Optimization via Bayesian
Algorithm Execution [13.037647287689438]
部分依存プロットのような解釈可能な機械学習(IML)手法とHPOの組み合わせについて検討する。
我々は,最適大域的予測性能を効率的に探索する改良HPO法を提案する。
提案手法は,最適化性能を損なうことなく,ブラックボックスの信頼性の高い説明を返す。
論文 参考訳（メタデータ） (2022-06-11T07:12:04Z) - Towards Learning Universal Hyperparameter Optimizers with Transformers [57.35920571605559]
我々は,テキストベースのトランスフォーマーHPOフレームワークであるOptFormerを紹介した。
実験の結果,OptFormerは少なくとも7種類のHPOアルゴリズムを模倣できることがわかった。
論文 参考訳（メタデータ） (2022-05-26T12:51:32Z) - Cost-Efficient Online Hyperparameter Optimization [94.60924644778558]
実験の単一実行でヒトのエキスパートレベルのパフォーマンスに達するオンラインHPOアルゴリズムを提案します。
提案するオンラインhpoアルゴリズムは,実験の1回で人間のエキスパートレベルのパフォーマンスに到達できるが,通常のトレーニングに比べて計算オーバーヘッドは少ない。
論文 参考訳（メタデータ） (2021-01-17T04:55:30Z) - Bayesian Optimization with a Prior for the Optimum [41.41323474440455]
BOPrO (Preside for the Optimum) を用いたベイズ最適化について紹介する。
BOPrOは、入力空間のどの部分が最高のパフォーマンスをもたらすかという事前の形式で、最適化プロセスに自分の知識を注入することを可能にする。
BOPrOは、一般的なベンチマークスイートの最先端メソッドよりも約6.67倍高速であることを示す。
論文 参考訳（メタデータ） (2020-06-25T17:49:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。