論文の概要: How Many Initial Points Does Bayesian Optimization Need?

• arxiv url: http://arxiv.org/abs/2607.04356v1
• Date: Sun, 05 Jul 2026 15:22:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-07 22:26:29.907634
• Title: How Many Initial Points Does Bayesian Optimization Need?
• Title（参考訳）: ベイズ最適化に必要な初期ポイントはいくつあるか?
• Authors: Mujin Cheon, James Odgers, Dong-Yeun Koh, Calvin Tsay,
• Abstract要約: 評価の総コストは$n_$,すなわち,低すぎるか高すぎるかを選択することでリソースを浪費する。 BOは内部に曲がる前にハイパーキューブの角に早期の予算を燃やします。
• 参考スコア（独自算出の注目度）: 2.738648582869357
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Bayesian Optimization (BO) generally begins with an initialization phase: a batch of $n_0$ uninformed evaluations. The choice of $n_0$ remains largely heuristic, and we empirically observe that the total cost (random initial points plus BO iterations needed to find the global optimum) is U-shaped in $n_0$, i.e., a practitioner wastes resources by selecting either too low or too high a value of $n_0$. We find this tradeoff persists across MLE, Bayesian MCMC, and exact GP hyperparameters, as well as across acquisition functions. Toward the latter, Thompson Sampling appears an exception, with both total cost and simple regret essentially $n_0$-agnostic, though higher in our experiments. We attribute this U-shape to the known boundary issue of variance-driven BO: BO burns early budget on corners of the hypercube before turning inward. We demonstrate this effect using a 3D BO trajectory where the exact hyperparameters are known. We conclude with practical recommendations: use multi-step lookahead BO where possible; otherwise use Thompson Sampling when $n_0$ cannot be tuned, and a generously large $n_0$ when it can.
• Abstract（参考訳）: ベイズ最適化(BO)は一般に初期化フェーズから始まる。 n_0$という選択は概ねヒューリスティックであり、我々は、総コスト(ランダムな初期点とグローバルな最適点を見つけるのに必要なBO反復)が$n_0$のU字型であること、すなわち、実践者は、n_0$の値が低すぎるか高すぎるかを選択することでリソースを浪費していることを経験的に観察する。 このトレードオフは、MLE、ベイジアンMCMC、および正確なGPハイパーパラメータ、および取得関数間で持続する。 後者に向けて、トンプソンサンプリングは例外であり、総コストと単純な後悔の両方が本質的に$n_0$-agnosticである。 BOは内部に曲がる前にハイパーキューブの角に早期の予算を燃やします。 この効果は, 正確なハイパーパラメータが知られている3次元BO軌道を用いて実証する。 できれば、$n_0$をチューニングできないときにThompson Smplingを使い、可能であれば寛大な$n_0$を使う。

関連論文リスト

• Best-of-Majority: Minimax-Optimal Strategy for Pass@$k$ Inference Scaling [54.50689440956967]
  LLM推論は、しばしばプロンプトの一連の候補を生成し、多数決やBest-of-N (BoN)のような戦略を介して1つを選択する。 我々は,最上位の$k$報酬を選択する前に,上位の$N$サンプルにおいて,高い周波数の応答を候補に限定するピボットステップを備えたBest-of-Majority (BoM)を提案する。 多数決とBoNとは異なり、BoMは重要な利点がある:多数決とBoNとは異なり、そのパフォーマンスはN$を上昇しても低下しない。
  論文  参考訳（メタデータ） (2025-10-03T17:35:45Z)
• Bayesian Optimization from Human Feedback: Near-Optimal Regret Bounds [20.024434010891433]
  我々はこの問題をHuman Feedback (HF) からのベイズ最適化(Bayesian Optimization from Human Feedback)と呼ぶ。 目的は、限定された嗜好フレームワークを使用して、最良のアクションを特定することである。 言い換えれば、スカラー値のサンプルと同数の優先的な新規サンプルは、ほぼ最適解を見つけるのに十分である。
  論文  参考訳（メタデータ） (2025-05-29T17:17:29Z)
• Beyond likelihood ratio bias: Nested multi-time-scale stochastic approximation for likelihood-free parameter estimation [49.78792404811239]
  確率分析形式が不明なシミュレーションベースモデルにおける推論について検討する。 我々は、スコアを同時に追跡し、パラメータ更新を駆動する比率のないネスト型マルチタイムスケール近似(SA)手法を用いる。 我々のアルゴリズムは、オリジナルのバイアス$Obig(sqrtfrac1Nbig)$を排除し、収束率を$Obig(beta_k+sqrtfracalpha_kNbig)$から加速できることを示す。
  論文  参考訳（メタデータ） (2024-11-20T02:46:15Z)
• (Accelerated) Noise-adaptive Stochastic Heavy-Ball Momentum [7.095058159492494]
  ヘビーボール運動量(SHB)は機械学習モデルのトレーニングに一般的に用いられ、勾配よりも経験的な結果を提供することが多い。 SHBは, 条件値 $kappa2$ の閾値 $b*$ よりも小さい場合に, 高速化されたミニバッチサイズが得られることを示す。
  論文  参考訳（メタデータ） (2024-01-12T18:17:28Z)
• Kernelized Normalizing Constant Estimation: Bridging Bayesian Quadrature and Bayesian Optimization [51.533164528799084]
  小さい相対誤差内で正規化定数を推定するために、難易度は$lambda$の値に依存する。 関数評価がノイズである場合でも,このパターンは真であることがわかった。
  論文  参考訳（メタデータ） (2024-01-11T07:45:09Z)
• $\pi$BO: Augmenting Acquisition Functions with User Beliefs for Bayesian Optimization [40.30019289383378]
  最適位置に関する事前の信念を取り入れた,取得関数の一般化である$pi$BOを提案する。 従来のアプローチとは対照的に、$pi$BOは概念的にはシンプルで、既存のライブラリや多くの取得関数と簡単に統合できる。 また、一般的なディープラーニングタスクの最先端性能を$pi$BOで改善し、12.5$times$タイム・トゥ・クオリティ・スピードアップを実現した。
  論文  参考訳（メタデータ） (2022-04-23T11:07:13Z)
• Approximate Function Evaluation via Multi-Armed Bandits [51.146684847667125]
  既知の滑らかな関数 $f$ の値を未知の点 $boldsymbolmu in mathbbRn$ で推定する問題について検討する。 我々は、各座標の重要性に応じてサンプルを学習するインスタンス適応アルゴリズムを設計し、少なくとも1-delta$の確率で$epsilon$の正確な推定値である$f(boldsymbolmu)$を返す。
  論文  参考訳（メタデータ） (2022-03-18T18:50:52Z)
• Bayesian Optimistic Optimisation with Exponentially Decaying Regret [58.02542541410322]
  現在の実用的なBOアルゴリズムは、$mathcalO(fraclogNsqrtN)$から$mathcalO(e-sqrtN)$まで、$N$は評価の数である。 本稿では,boと木に基づく楽観的楽観化の概念を絡み合うことにより,無音環境における後悔を改善できる可能性について検討する。 次数$mathcal O(N-sqrt)で指数的再帰を達成できる最初の実践的手法であるBOOアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-05-10T13:07:44Z)
• MOTS: Minimax Optimal Thompson Sampling [89.2370817955411]
  トンプソンサンプリングがミニマックス下限の$Omega(sqrtKT)$と$K$の武器付きバンディット問題に一致するかどうかという未解決の問題のままである。 我々は,各タイミングで選択した腕のサンプリングインスタンスを適応的にクリップするMOTSと呼ばれるトンプソンサンプリングの変種を提案する。 我々は、この単純なトンプソンサンプリングの変種が、有限時間地平線に対して$O(sqrtKT)$のミニマックス最適後悔境界と、$T$が無限に近づくときのガウス報酬に対する最適後悔境界を達成することを証明した。
  論文  参考訳（メタデータ） (2020-03-03T21:24:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。