論文の概要: No-Regret Bayesian Optimization with Finite-Library Input-Warped Kernels

• arxiv url: http://arxiv.org/abs/2609.02993v1
• Date: Wed, 02 Sep 2026 16:04:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-04 18:28:38.815854
• Title: No-Regret Bayesian Optimization with Finite-Library Input-Warped Kernels
• Title（参考訳）: 有限ライブラリ入力 Warped カーネルによる非回帰ベイズ最適化
• Abstract要約: 本研究では,有限個のスムーズな入力マップのライブラリから履歴に依存したルールでワープを選択するFLIWBO(Finite-Library Input-Warped Bayesian Optimization)を提案する。 高確率収束保証を維持しながら、入力幾何学に適応して学習を加速する。 制御された診断は、有限自由度ワープ修復が幾何ミスマッチを植え付け、FLIWBO故障例を同定したことを示している。
• 参考スコア（独自算出の注目度）: 1.2432856108679675
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Gaussian-process Bayesian optimization (GP-BO) excels at black-box optimization of costly functions, e.g., hyperparameter optimization (HPO) and multi-agent system (MAS) design. Convergence-rate guarantees exist for select methods, notably GP upper confidence bound (GP-UCB), but require a fixed kernel. Critically, the kernel encodes how input proximity affects objective value similarity. When raw coordinates poorly match this geometry - as with log-scaled hyperparameters or localized peaks - input warping can greatly improve sample efficiency, yet known GP-UCB proofs require a fixed kernel. We propose Finite-Library Input-Warped Bayesian Optimization (FLIWBO), which selects warps from a finite library of smooth input maps by any history-dependent rule. It adapts the input geometry to accelerate learning while retaining high-probability convergence guarantees under mild hypotheses, with an explicit $\sqrt(N_\varepsilon)$ library-size cost. Controlled diagnostics show that finite-library warping repairs planted geometry mismatches and identify FLIWBO failure cases. Across four repeated benchmarks - warped synthetic objectives, a confidence-fence trap, and Fashion-MNIST HPO - FLIWBO-UCB beats raw-coordinate GP-UCB under misspecified geometry, escapes traps that defeat even oracle-warp expected improvement, and recovers much of the gain from manual log scaling, while leading the tested methods that admit a matching regret guarantee. A 20-dimensional MAS design study further shows feasibility under costly noisy evaluations. Code for experiments is available: https://github.com/edvin-ketabati/bogp-paper-experiments.
• Abstract（参考訳）: ガウス過程ベイズ最適化(GP-BO)は、コストのかかる関数、例えば、ハイパーパラメータ最適化(HPO)、マルチエージェントシステム(MAS)の設計のブラックボックス最適化において優れている。 コンバージェンス・レート保証は、GP上信頼境界(GP-UCB)など、特定のメソッドに対して存在するが、固定されたカーネルを必要とする。 カーネルは、入力近接が目的値の類似性にどのように影響するかを符号化する。 原座標がこの幾何 – ログスケールのハイパーパラメータやローカライズされたピーク – にマッチしない場合、入力のワープはサンプル効率を大幅に改善するが、既知のGP-UCB証明は固定されたカーネルを必要とする。 本研究では,有限個のスムーズな入力マップのライブラリから履歴に依存したルールでワープを選択するFLIWBO(Finite-Library Input-Warped Bayesian Optimization)を提案する。 入力幾何を適応させて学習を加速し、緩やかな仮説の下で高い確率収束保証を維持し、明示的な$\sqrt(N_\varepsilon)$ライブラリサイズコストを課す。 制御された診断は、有限自由度ワープ修復が幾何ミスマッチを植え付け、FLIWBO故障例を同定したことを示している。 4つの繰り返しベンチマーク - 警告された合成目標、信頼度トラップ、Fashion-MNIST HPO - FLIWBO-UCBは、不正な幾何学の下で生調整されたGP-UCBを破り、オラクルワープが期待する改善を破るトラップを回避し、手動のログスケーリングによる多くの利益を回復し、一致した後悔の保証を認めるテストメソッドをリードする。 20次元MAS設計研究は、コストの高いノイズ評価の下でも実現可能であることを示す。 実験用のコードは、https://github.com/edvin-ketabati/bogp-paper-experiments.comにある。

関連論文リスト

• High-Probability Convergence in Decentralized Stochastic Optimization with Gradient Tracking [69.90407799170687]
  分散最適化における高確率収束保証について検討する。 その結果, 地平線上の条件は, 比較時間と同一であることがわかった。
  論文  参考訳（メタデータ） (2026-04-30T22:45:21Z)
• Equation Discovery with Bayesian Spike-and-Slab Priors and Efficient Kernels [57.46832672991433]
  ケルネル学習とBayesian Spike-and-Slab pres (KBASS)に基づく新しい方程式探索法を提案する。 カーネルレグレッションを用いてターゲット関数を推定する。これはフレキシブルで表現力があり、データ空間やノイズに対してより堅牢である。 我々は,効率的な後部推論と関数推定のための予測伝搬予測最大化アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2023-10-09T03:55:09Z)
• Universal Online Learning with Gradient Variations: A Multi-layer Online Ensemble Approach [57.92727189589498]
  本稿では,2段階の適応性を持つオンライン凸最適化手法を提案する。 我々は$mathcalO(log V_T)$, $mathcalO(d log V_T)$, $hatmathcalO(sqrtV_T)$ regret bounds for strong convex, exp-concave and convex loss function。
  論文  参考訳（メタデータ） (2023-07-17T09:55:35Z)
• Nonconvex Stochastic Bregman Proximal Gradient Method with Application to Deep Learning [9.202586157819693]
  非合成対象函数のロバスト性を最小化する二次法は、典型的には微分可能部分のリプシッツ滑らか性に依存する。 本稿では適応性のみを考慮したBregman(SBPG)手法のファミリーを提案する。 MSBPGは運動量に基づく変種であり、ミニバッチサイズ要求を緩和することで収束感度を高める。
  論文  参考訳（メタデータ） (2023-06-26T08:54:46Z)
• Bayesian Kernelized Tensor Factorization as Surrogate for Bayesian Optimization [13.896697187967545]
  カーネル最適化(BO)は主にガウス過程(GP)をキーサロゲートモデルとして用いている。 本稿では,BOにおける新しい代理モデルとしてベイズ因子化(BKTF)を提案する。 BKTFは、不確実量化を伴う複素関数を特徴づけるための柔軟で効果的なアプローチを提供する。
  論文  参考訳（メタデータ） (2023-02-28T12:00:21Z)
• online and lightweight kernel-based approximated policy iteration for dynamic p-norm linear adaptive filtering [8.319127681936815]
  本稿では, 線形適応フィルタリングにおいて, 最適p-ノルムを動的(オンライン)に選択する問題の解を提案する。 提案するフレームワークはカーネルベース強化学習(KBRL)に基づいている。
  論文  参考訳（メタデータ） (2022-10-21T06:29:01Z)
• Sample-Then-Optimize Batch Neural Thompson Sampling [50.800944138278474]
  我々はトンプソンサンプリング(TS)ポリシーに基づくブラックボックス最適化のための2つのアルゴリズムを提案する。 入力クエリを選択するには、NNをトレーニングし、トレーニングされたNNを最大化してクエリを選択するだけです。 我々のアルゴリズムは、大きなパラメータ行列を逆転する必要性を助長するが、TSポリシーの妥当性は保たれている。
  論文  参考訳（メタデータ） (2022-10-13T09:01:58Z)
• Surrogate modeling for Bayesian optimization beyond a single Gaussian process [62.294228304646516]
  本稿では,探索空間の活用と探索のバランスをとるための新しいベイズ代理モデルを提案する。 拡張性のある関数サンプリングを実現するため、GPモデル毎にランダムな特徴ベースのカーネル近似を利用する。 提案した EGP-TS を大域的最適に収束させるため,ベイズ的後悔の概念に基づいて解析を行う。
  論文  参考訳（メタデータ） (2022-05-27T16:43:10Z)
• Misspecified Gaussian Process Bandit Optimization [59.30399661155574]
  カーネル化されたバンディットアルゴリズムは、この問題に対して強い経験的および理論的性能を示した。 本稿では、未知関数を$epsilon$-一様近似で近似できるエンフェミス特定カーネル化帯域設定を、ある再生カーネルヒルベルト空間(RKHS)において有界ノルムを持つ関数で導入する。 提案アルゴリズムは,不特定性に関する事前知識を伴わず,$epsilon$への最適依存を実現する。
  論文  参考訳（メタデータ） (2021-11-09T09:00:02Z)
• Adversarial Robustness Guarantees for Gaussian Processes [22.403365399119107]
  ガウス過程(GP)は、モデルの不確実性の原理的計算を可能にし、安全性に重要なアプリケーションに魅力的です。 境界付き摂動に対するモデル決定の不変性として定義されるGPの対向的堅牢性を分析するためのフレームワークを提案する。 我々は境界を洗練し、任意の$epsilon > 0$に対して、我々のアルゴリズムが有限個の反復で実際の値に$epsilon$-closeの値に収束することを保証していることを示す分岐とバウンドのスキームを開発する。
  論文  参考訳（メタデータ） (2021-04-07T15:14:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。