論文の概要: ORTHOBO: Orthogonal Bayesian Hyperparameter Optimization

• arxiv url: http://arxiv.org/abs/2605.06454v1
• Date: Thu, 07 May 2026 15:49:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-08 22:27:11.956823
• Title: ORTHOBO: Orthogonal Bayesian Hyperparameter Optimization
• Title（参考訳）: ORTHOBO: 直交ベイズ型ハイパーパラメータ最適化
• Authors: Maresa Schröder, Pascal Janetzky, Michael Klar, Stefan Feuerriegel,
• Abstract要約: 騒々しい買収予測は 不安定な決定につながる 我々は,アンサンブルサロゲートと外部ログ変換を備えたベイズ最適化フレームワークOrthoBOを紹介する。 理論的には, 推定器が目標を保ち, ばらつきを低減し, ペアのランク安定性を向上することを示す。
• 参考スコア（独自算出の注目度）: 31.941089890706348
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Bayesian optimization is widely used for hyperparameter optimization when model evaluations are expensive; however, noisy acquisition estimates can lead to unstable decisions. We identify acquisition estimation noise as a failure mode that was previously overlooked: even when the surrogate model and acquisition target are correctly specified, finite-sample Monte Carlo error can perturb acquisition values. This can, in turn, flip candidate rankings and lead to suboptimal BO decisions. As a remedy, we aim at variance reduction and propose an orthogonal acquisition estimator that subtracts an optimally weighted score-function control variate, which yields an acquisition residual orthogonal to posterior score directions and which thus reduces Monte Carlo variance. We further introduce OrthoBO: a Bayesian optimization framework that combines our orthogonal acquisition estimator with ensemble surrogates and an outer log transformation. We show theoretically that our estimator preserves the target, leads to variance reduction, and improves pairwise ranking stability. We further verify the theoretical properties of OrthoBO through numerical experiments where our framework reduces acquisition estimation variance, stabilizes candidate rankings, and achieves strong performance. We also demonstrate the downstream utility of OrthoBO in hyperparameter optimization for neural network training and fine-tuning.
• Abstract（参考訳）: ベイズ最適化は、モデル評価が高価である場合、ハイパーパラメータ最適化に広く用いられているが、ノイズの多い取得推定は不安定な決定につながる可能性がある。 探索モデルと取得対象が正しく特定された場合でも、有限サンプルモンテカルロ誤差は取得値を摂動することができる。 これは代わりに、候補者のランクを下げ、最適なBO決定につながる可能性がある。 緩和策として,最適重み付きスコア関数制御バリアイトを減算し,後方スコア方向と直交する獲得残差を求める直交獲得推定器を提案し,モンテカルロ分散を低減させる。 さらに,直交獲得推定器とアンサンブルサロゲートと外ログ変換を組み合わせたベイズ最適化フレームワークOrthoBOを紹介する。 理論的には, 推定器が目標を保ち, ばらつきを低減し, ペアのランク安定性を向上することを示す。 さらに,OrthoBOの理論的特性を数値実験により検証し,提案手法は獲得推定のばらつきを低減し,候補ランキングを安定化し,高い性能を達成する。 また、ニューラルネットワークのトレーニングと微調整のためのハイパーパラメータ最適化におけるOrthoBOのダウンストリームの有用性を実証する。

関連論文リスト

• On the Optimal Construction of Unbiased Gradient Estimators for Zeroth-Order Optimization [57.179679246370114]
  既存の手法の潜在的な制限は、ステップサイズが提案されない限り、ほとんどの摂動推定器に固有のバイアスである。 本稿では, 良好な構成を維持しつつ, バイアスを排除した非バイアス勾配スケーリング推定器のファミリーを提案する。
  論文  参考訳（メタデータ） (2025-10-22T18:25:43Z)
• From Noisy Traces to Stable Gradients: Bias-Variance Optimized Preference Optimization for Aligning Large Reasoning Models [90.45197506653341]
  大規模推論モデルは最終回答を生成する前に中間的推論トレースを生成する。 LRMと人間の好みの整合性は、モデルデプロイメントにとって重要な前提条件であり、まだ過小評価されていない。 共通の回避策は1つのサンプル軌道を最適化し、トレースサンプリングからかなり勾配のばらつきをもたらす。
  論文  参考訳（メタデータ） (2025-10-06T17:58:01Z)
• Adaptive Bayesian Optimization for Robust Identification of Stochastic Dynamical Systems [4.0148499400442095]
  本稿では,システム係数と雑音分散を含む線形導出システムの同定について述べる。 ベイズ最適化に基づく標本効率のよい大域最適化法を提案する。 実験により、EGPに基づくBOは定常フィルタリングと期待最大化によりMLEを一貫して上回ることを示した。
  論文  参考訳（メタデータ） (2025-03-09T01:38:21Z)
• Robust Bayesian Optimization via Localized Online Conformal Prediction [37.549297668783254]
  局所化オンライン共形予測に基づくベイズ最適化(LOCBO)を導入する。 LOCBOは局所オンライン共形予測(CP)によりGPモデルを校正する 観測対象関数を保留するLOCBOのイテレートについて理論的性能保証を行う。
  論文  参考訳（メタデータ） (2024-11-26T12:45:54Z)
• Truncating Trajectories in Monte Carlo Policy Evaluation: an Adaptive Approach [51.76826149868971]
  モンテカルロシミュレーションによる政策評価は多くのMC強化学習(RL)アルゴリズムの中核にある。 本研究では,異なる長さの軌跡を用いた回帰推定器の平均二乗誤差のサロゲートとして品質指標を提案する。 本稿では,Robust and Iterative Data Collection Strategy Optimization (RIDO) という適応アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-10-17T11:47:56Z)
• Model-based Causal Bayesian Optimization [78.120734120667]
  モデルに基づく因果ベイズ最適化(MCBO)を提案する。 MCBOは介入と逆のペアをモデリングするのではなく、完全なシステムモデルを学ぶ。 標準的なベイズ最適化とは異なり、我々の取得関数は閉形式では評価できない。
  論文  参考訳（メタデータ） (2022-11-18T14:28:21Z)
• Optimization of Annealed Importance Sampling Hyperparameters [77.34726150561087]
  Annealed Importance Smpling (AIS) は、深層生成モデルの難易度を推定するために使われる一般的なアルゴリズムである。 本稿では、フレキシブルな中間分布を持つパラメータAISプロセスを提案し、サンプリングに少ないステップを使用するようにブリッジング分布を最適化する。 我々は, 最適化AISの性能評価を行い, 深部生成モデルの限界推定を行い, 他の推定値と比較した。
  論文  参考訳（メタデータ） (2022-09-27T07:58:25Z)
• Variational Refinement for Importance Sampling Using the Forward Kullback-Leibler Divergence [77.06203118175335]
  変分推論(VI)はベイズ推論における正確なサンプリングの代替として人気がある。 重要度サンプリング(IS)は、ベイズ近似推論手順の推定を微調整し、偏りを逸脱するためにしばしば用いられる。 近似ベイズ推論のための最適化手法とサンプリング手法の新たな組み合わせを提案する。
  論文  参考訳（メタデータ） (2021-06-30T11:00:24Z)
• On Low-rank Trace Regression under General Sampling Distribution [9.699586426043885]
  クロスバリデード推定器は一般仮定でほぼ最適誤差境界を満たすことを示す。 また, クロスバリデーション推定器はパラメータ選択理論に着想を得た手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2019-04-18T02:56:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。