論文の概要: Default Machine Learning Hyperparameters Do Not Provide Informative Initialization for Bayesian Optimization

• arxiv url: http://arxiv.org/abs/2602.08774v1
• Date: Mon, 09 Feb 2026 15:15:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-10 20:26:25.317644
• Title: Default Machine Learning Hyperparameters Do Not Provide Informative Initialization for Bayesian Optimization
• Title（参考訳）: デフォルト機械学習ハイパーパラメータはベイズ最適化のインフォルマティブ初期化を提供しない
• Authors: Nicolás Villagrán Prieto, Eduardo C. Garrido-Merchán,
• Abstract要約: 我々は、最適化のための情報出発点として、デフォルトのハイパーパラメータの考え方を定式化する。 3つのBOバックエンド、3つのモデルファミリー、5つのベンチマークデータセットにまたがる実験的な評価を行う。 その結果、デフォルトのハイパーパラメータが最適化に有用な方向情報をエンコードしているという証拠は得られなかった。
• 参考スコア（独自算出の注目度）: 1.3320917259299652
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Bayesian Optimization (BO) is a standard tool for hyperparameter tuning thanks to its sample efficiency on expensive black-box functions. While most BO pipelines begin with uniform random initialization, default hyperparameter values shipped with popular ML libraries such as scikit-learn encode implicit expert knowledge and could serve as informative starting points that accelerate convergence. This hypothesis, despite its intuitive appeal, has remained largely unexamined. We formalize the idea by initializing BO with points drawn from truncated Gaussian distributions centered at library defaults and compare the resulting trajectories against a uniform-random baseline. We conduct an extensive empirical evaluation spanning three BO back-ends (BoTorch, Optuna, Scikit-Optimize), three model families (Random Forests, Support Vector Machines, Multilayer Perceptrons), and five benchmark datasets covering classification and regression tasks. Performance is assessed through convergence speed and final predictive quality, and statistical significance is determined via one-sided binomial tests. Across all conditions, default-informed initialization yields no statistically significant advantage over purely random sampling, with p-values ranging from 0.141 to 0.908. A sensitivity analysis on the prior variance confirms that, while tighter concentration around the defaults improves early evaluations, this transient benefit vanishes as optimization progresses, leaving final performance unchanged. Our results provide no evidence that default hyperparameters encode useful directional information for optimization. We therefore recommend that practitioners treat hyperparameter tuning as an integral part of model development and favor principled, data-driven search strategies over heuristic reliance on library defaults.
• Abstract（参考訳）: ベイズ最適化(BO)は、高価なブラックボックス関数のサンプル効率のおかげで、ハイパーパラメータチューニングの標準ツールである。 ほとんどのBOパイプラインはランダムな初期化から始まるが、Scikit-learnのような一般的なMLライブラリで提供されるデフォルトのハイパーパラメータ値は暗黙のエキスパート知識を符号化し、収束を加速する情報的な出発点として機能する。 この仮説は直感的なアピールにもかかわらず、ほとんど検討されていない。 図書館の既定値中心のガウス分布から引き出された点をBOを初期化してそのアイデアを定式化し、その結果の軌跡を一様ランダムなベースラインと比較する。 我々は3つのBOバックエンド(BoTorch, Optuna, Scikit-Optimize)、3つのモデルファミリー(Random Forests, Support Vector Machines, Multilayer Perceptrons)、5つのベンチマークデータセットで分類と回帰作業について検討した。 性能は収束速度と最終予測品質で評価され、統計的意義は片側二項試験によって決定される。 すべての条件において、既定のインフォームド初期化は純粋にランダムなサンプリングよりも統計的に有意な優位性を持たず、p値は0.141から0.908である。 事前の差分に対する感度解析により、デフォルトの周囲の厳密な濃度が早期評価を改善する一方で、最適化が進むにつれてこの過渡的な利点は消失し、最終的な性能は変化しないことを確認した。 その結果、デフォルトのハイパーパラメータが最適化に有用な方向情報を符号化しているという証拠は得られなかった。 そこで我々は,ハイパーパラメータチューニングをモデル開発の不可欠な部分として扱うことを推奨し,ライブラリのデフォルトへのヒューリスティックな依存よりも,原則付きデータ駆動型検索戦略を推奨する。

関連論文リスト

• Informed Initialization for Bayesian Optimization and Active Learning [13.105080815344174]
  本稿では,情報理論の原理を用いたハイパーパラメータ学習と予測不確実性低減のバランスをとる新しい獲得戦略を提案する。 本研究は,アクティブラーニングと数発のBOの広範な実験を通して,その効果を実証する。
  論文  参考訳（メタデータ） (2025-10-27T15:05:12Z)
• On the Optimal Construction of Unbiased Gradient Estimators for Zeroth-Order Optimization [57.179679246370114]
  既存の手法の潜在的な制限は、ステップサイズが提案されない限り、ほとんどの摂動推定器に固有のバイアスである。 本稿では, 良好な構成を維持しつつ, バイアスを排除した非バイアス勾配スケーリング推定器のファミリーを提案する。
  論文  参考訳（メタデータ） (2025-10-22T18:25:43Z)
• Adaptive Bayesian Optimization for Robust Identification of Stochastic Dynamical Systems [4.0148499400442095]
  本稿では,システム係数と雑音分散を含む線形導出システムの同定について述べる。 ベイズ最適化に基づく標本効率のよい大域最適化法を提案する。 実験により、EGPに基づくBOは定常フィルタリングと期待最大化によりMLEを一貫して上回ることを示した。
  論文  参考訳（メタデータ） (2025-03-09T01:38:21Z)
• Poisson Process for Bayesian Optimization [126.51200593377739]
  本稿では、Poissonプロセスに基づくランキングベースの代理モデルを提案し、Poisson Process Bayesian Optimization(PoPBO)と呼ばれる効率的なBOフレームワークを提案する。 従来のGP-BO法と比較すると,PoPBOはコストが低く,騒音に対する堅牢性も良好であり,十分な実験により検証できる。
  論文  参考訳（メタデータ） (2024-02-05T02:54:50Z)
• Provably Efficient Bayesian Optimization with Unknown Gaussian Process Hyperparameter Estimation [44.53678257757108]
  目的関数の大域的最適値にサブ線形収束できる新しいBO法を提案する。 本手法では,BOプロセスにランダムなデータポイントを追加するために,マルチアームバンディット法 (EXP3) を用いる。 提案手法は, 様々な合成および実世界の問題に対して, 既存の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-06-12T03:35:45Z)
• Sample-Efficient Optimisation with Probabilistic Transformer Surrogates [66.98962321504085]
  本稿では,ベイズ最適化における最先端確率変換器の適用可能性について検討する。 トレーニング手順と損失定義から生じる2つの欠点を観察し、ブラックボックス最適化のプロキシとして直接デプロイすることを妨げる。 1)非一様分散点を前処理するBO調整トレーニング,2)予測性能を向上させるために最適な定常点をフィルタする新しい近似後正則整定器トレードオフ精度と入力感度を導入する。
  論文  参考訳（メタデータ） (2022-05-27T11:13:17Z)
• Towards Learning Universal Hyperparameter Optimizers with Transformers [57.35920571605559]
  我々は,テキストベースのトランスフォーマーHPOフレームワークであるOptFormerを紹介した。 実験の結果,OptFormerは少なくとも7種類のHPOアルゴリズムを模倣できることがわかった。
  論文  参考訳（メタデータ） (2022-05-26T12:51:32Z)
• Trusted-Maximizers Entropy Search for Efficient Bayesian Optimization [39.824086260578646]
  本稿では,信頼度最大化エントロピー探索(TES)取得関数を提案する。 インプットがクエリの情報ゲインにどの程度貢献するかを、信頼された最大値の有限セット上で測定する。
  論文  参考訳（メタデータ） (2021-07-30T07:25:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。