Fugu-MT 論文翻訳(概要): Informed Initialization for Bayesian Optimization and Active Learning

論文の概要: Informed Initialization for Bayesian Optimization and Active Learning

arxiv url: http://arxiv.org/abs/2510.23681v1
Date: Mon, 27 Oct 2025 15:05:12 GMT
ステータス: 翻訳完了
システム内更新日: 2025-10-29 15:35:36.340415
Title: Informed Initialization for Bayesian Optimization and Active Learning
Title（参考訳）: ベイズ最適化とアクティブラーニングのためのインフォームド初期化
Authors: Carl Hvarfner, David Eriksson, Eytan Bakshy, Max Balandat,
Abstract要約: 本稿では,情報理論の原理を用いたハイパーパラメータ学習と予測不確実性低減のバランスをとる新しい獲得戦略を提案する。本研究は,アクティブラーニングと数発のBOの広範な実験を通して,その効果を実証する。
参考スコア（独自算出の注目度）: 13.105080815344174
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Bayesian Optimization is a widely used method for optimizing expensive black-box functions, relying on probabilistic surrogate models such as Gaussian Processes. The quality of the surrogate model is crucial for good optimization performance, especially in the few-shot setting where only a small number of batches of points can be evaluated. In this setting, the initialization plays a critical role in shaping the surrogate's predictive quality and guiding subsequent optimization. Despite this, practitioners typically rely on (quasi-)random designs to cover the input space. However, such approaches neglect two key factors: (a) space-filling designs may not be desirable to reduce predictive uncertainty, and (b) efficient hyperparameter learning during initialization is essential for high-quality prediction, which may conflict with space-filling designs. To address these limitations, we propose Hyperparameter-Informed Predictive Exploration (HIPE), a novel acquisition strategy that balances predictive uncertainty reduction with hyperparameter learning using information-theoretic principles. We derive a closed-form expression for HIPE in the Gaussian Process setting and demonstrate its effectiveness through extensive experiments in active learning and few-shot BO. Our results show that HIPE outperforms standard initialization strategies in terms of predictive accuracy, hyperparameter identification, and subsequent optimization performance, particularly in large-batch, few-shot settings relevant to many real-world Bayesian Optimization applications.
Abstract（参考訳）: ベイズ最適化は高価なブラックボックス関数を最適化するのに広く用いられる手法であり、ガウス過程のような確率的代理モデルに依存している。サロゲートモデルの品質は、特に少数のポイントしか評価できない数ショット設定において、優れた最適化性能に不可欠である。この設定では、初期化はサロゲートの予測品質を形成し、その後の最適化を導く上で重要な役割を果たす。それにもかかわらず、実践者は典型的には入力空間をカバーするために(準)ランダムな設計に頼る。しかし、そのようなアプローチは2つの重要な要素を無視している。 (a)空間充填設計は、予測の不確実性を低減するために望ましいものではなく、かつ、 b) 初期化時の効率的なハイパーパラメータ学習は、空間充填設計と矛盾する可能性のある高品質な予測に不可欠である。これらの制約に対処するため,情報理論の原理を用いたハイパーパラメータ学習と予測の不確実性低減のバランスをとる新しい手法であるHyperparameter-Informed Predictive Exploration (HIPE)を提案する。ガウス過程設定におけるHIPEのクローズドフォーム表現を導出し,その有効性を示す。以上の結果から,HIPEは予測精度,ハイパーパラメータ同定,その後の最適化性能,特に実世界のベイズ最適化アプリケーションにおいて,標準的な初期化戦略よりも優れていた。

関連論文リスト

HyperQ-Opt: Q-learning for Hyperparameter Optimization [0.0]
本稿では,HPOを逐次決定問題として定式化し,強化学習技術であるQ-ラーニングを活用することにより,HPOに対する新たな視点を示す。これらのアプローチは、限られた試行数で最適または準最適構成を見つける能力について評価されている。このパラダイムをポリシーベースの最適化にシフトすることで、スケーラブルで効率的な機械学習アプリケーションのためのHPOメソッドの進歩に寄与する。
論文参考訳（メタデータ） (2024-12-23T18:22:34Z)
Conditional Diffusion-based Parameter Generation for Quantum Approximate Optimization Algorithm [7.48670688063184]
量子近似最適化(Quantum Approximate Optimization、OAQA)は、MaxCut問題を効率的に解くための約束を示すハイブリッドである。生成学習モデル、特に denoising diffusion (DDPM) は、グラフデータセット上の分布パラメータを学習することである。
論文参考訳（メタデータ） (2024-07-17T01:18:27Z)
End-to-End Learning for Fair Multiobjective Optimization Under Uncertainty [55.04219793298687]
機械学習における予測-Then-Forecast(PtO)パラダイムは、下流の意思決定品質を最大化することを目的としている。本稿では,PtO法を拡張して,OWA(Nondifferentiable Ordered Weighted Averaging)の目的を最適化する。この結果から,不確実性の下でのOWA関数の最適化とパラメトリック予測を効果的に統合できることが示唆された。
論文参考訳（メタデータ） (2024-02-12T16:33:35Z)
Pseudo-Bayesian Optimization [7.556071491014536]
ブラックボックス最適化の収束を保証するために最小限の要件を課す公理的枠組みについて検討する。我々は、単純な局所回帰と、不確実性を定量化するために適切な「ランダム化事前」構造を用いることが、収束を保証するだけでなく、常に最先端のベンチマークよりも優れていることを示す。
論文参考訳（メタデータ） (2023-10-15T07:55:28Z)
Prediction-Oriented Bayesian Active Learning [51.426960808684655]
予測情報ゲイン(EPIG)は、パラメータではなく予測空間における情報ゲインを測定する。 EPIGは、さまざまなデータセットやモデルにわたるBALDと比較して、予測パフォーマンスが向上する。
論文参考訳（メタデータ） (2023-04-17T10:59:57Z)
Generalizing Bayesian Optimization with Decision-theoretic Entropies [102.82152945324381]
統計的決定論の研究からシャノンエントロピーの一般化を考える。まず,このエントロピーの特殊なケースがBO手順でよく用いられる獲得関数に繋がることを示す。次に、損失に対する選択肢の選択が、どのようにして柔軟な獲得関数の族をもたらすかを示す。
論文参考訳（メタデータ） (2022-10-04T04:43:58Z)
Optimization of Annealed Importance Sampling Hyperparameters [77.34726150561087]
Annealed Importance Smpling (AIS) は、深層生成モデルの難易度を推定するために使われる一般的なアルゴリズムである。本稿では、フレキシブルな中間分布を持つパラメータAISプロセスを提案し、サンプリングに少ないステップを使用するようにブリッジング分布を最適化する。我々は, 最適化AISの性能評価を行い, 深部生成モデルの限界推定を行い, 他の推定値と比較した。
論文参考訳（メタデータ） (2022-09-27T07:58:25Z)
Pre-training helps Bayesian optimization too [49.28382118032923]
機能的事前設定のための代替的なプラクティスを模索する。特に、より厳密な分布を事前訓練できるような、類似した関数のデータを持つシナリオを考察する。提案手法は, 競合する手法の少なくとも3倍の効率で, 優れたハイパーパラメータを見つけることができることを示す。
論文参考訳（メタデータ） (2022-07-07T04:42:54Z)
Multi-Objective Hyperparameter Optimization in Machine Learning -- An Overview [10.081056751778712]
本稿では,多目的ハイパーパラメータ最適化の基礎を導入し,応用MLにおけるその有用性を動機づける。進化的アルゴリズムの領域とベイズ最適化の両方から、既存の最適化戦略を広範囲に調査する。動作条件,予測時間,スパースネス,フェアネス,解釈可能性,ロバストネスなどの目的を考慮し,複数の特定のMLアプリケーションにおけるMOOの有用性を解説する。
論文参考訳（メタデータ） (2022-06-15T10:23:19Z)
Towards Learning Universal Hyperparameter Optimizers with Transformers [57.35920571605559]
我々は,テキストベースのトランスフォーマーHPOフレームワークであるOptFormerを紹介した。実験の結果,OptFormerは少なくとも7種類のHPOアルゴリズムを模倣できることがわかった。
論文参考訳（メタデータ） (2022-05-26T12:51:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。