論文の概要: Provable Accelerated Bayesian Optimization with Knowledge Transfer
- arxiv url: http://arxiv.org/abs/2511.03125v1
- Date: Wed, 05 Nov 2025 02:25:20 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-11-06 18:19:32.298499
- Title: Provable Accelerated Bayesian Optimization with Knowledge Transfer
- Title（参考訳）: 知識伝達を用いた確率的ベイズ最適化
- Authors: Haitao Lin, Boxin Zhao, Mladen Kolar, Chong Liu,
- Abstract要約: 本研究では,ベイズ最適化を対象タスクに対して,関連するソースタスクから伝達される履歴知識を用いて高速化する方法について検討する。
本稿では、ソース関数とターゲット関数の差分関数$delta$に基づいて、新しい不確実性量子化手法を構築するデルタBOアルゴリズムを提案する。
軽度の仮定では、DeltaBOの後悔は$tildemathcalO(sqrtT (T/N + gamma_delta))$である。
- 参考スコア（独自算出の注目度）: 28.895892053851966
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We study how Bayesian optimization (BO) can be accelerated on a target task with historical knowledge transferred from related source tasks. Existing works on BO with knowledge transfer either do not have theoretical guarantees or achieve the same regret as BO in the non-transfer setting, $\tilde{\mathcal{O}}(\sqrt{T \gamma_f})$, where $T$ is the number of evaluations of the target function and $\gamma_f$ denotes its information gain. In this paper, we propose the DeltaBO algorithm, in which a novel uncertainty-quantification approach is built on the difference function $\delta$ between the source and target functions, which are allowed to belong to different reproducing kernel Hilbert spaces (RKHSs). Under mild assumptions, we prove that the regret of DeltaBO is of order $\tilde{\mathcal{O}}(\sqrt{T (T/N + \gamma_\delta)})$, where $N$ denotes the number of evaluations from source tasks and typically $N \gg T$. In many applications, source and target tasks are similar, which implies that $\gamma_\delta$ can be much smaller than $\gamma_f$. Empirical studies on both real-world hyperparameter tuning tasks and synthetic functions show that DeltaBO outperforms other baseline methods and support our theoretical claims.
- Abstract（参考訳）: 本研究では,ベイズ最適化(BO)を対象タスクに対して,関連するソースタスクから移行した履歴知識を用いて高速化する方法について検討する。
知識伝達を持つBO上の既存の作業は、理論的な保証を持っていないか、非伝達設定でBOと同じ後悔を達成するか、$\tilde{\mathcal{O}}(\sqrt{T \gamma_f})$で、$T$は対象関数の評価数であり、$\gamma_f$はその情報ゲインを表す。
本稿では、ソース関数とターゲット関数の差分関数$\delta$に基づいて、新しい不確実性量子化アプローチを構築し、異なる再生カーネルヒルベルト空間(RKHS)に属することができるDeltaBOアルゴリズムを提案する。
穏やかな仮定では、DeltaBO の後悔は次数 $\tilde{\mathcal{O}}(\sqrt{T (T/N + \gamma_\delta)})$ であることを証明する。
多くのアプリケーションでは、ソースタスクとターゲットタスクは似ているため、$\gamma_\delta$は$\gamma_f$よりもはるかに小さい可能性がある。
実世界のハイパーパラメータチューニングタスクと合成関数の両方に関する実証研究は、DeltaBOが他のベースライン法よりも優れ、我々の理論的な主張を支持していることを示している。
関連論文リスト
- Transfer Q Star: Principled Decoding for LLM Alignment [105.89114186982972]
Transfer $Q*$は、ベースラインモデルを通してターゲット報酬$r$の最適値関数を推定する。
提案手法は, 従来のSoTA法で観測された準最適差を著しく低減する。
論文 参考訳（メタデータ） (2024-05-30T21:36:12Z) - Boosting Gradient Ascent for Continuous DR-submodular Maximization [18.040022136474114]
Projected Gradient Ascent (PGA)は、機械学習および運用研究分野で最もよく使われている最適化スキームである。
本稿では,目的関数にわずかな変更を加えるだけで,標準PGAの近似保証を最適に向上できるブースティング手法を提案する。
得られたPGAの変動は、近似比や効率などのいくつかの面で、以前の標準PGAを上回りました。
論文 参考訳（メタデータ） (2024-01-16T12:49:10Z) - Kernelized Normalizing Constant Estimation: Bridging Bayesian Quadrature
and Bayesian Optimization [51.533164528799084]
小さい相対誤差内で正規化定数を推定するために、難易度は$lambda$の値に依存する。
関数評価がノイズである場合でも,このパターンは真であることがわかった。
論文 参考訳（メタデータ） (2024-01-11T07:45:09Z) - Regret-Optimal Federated Transfer Learning for Kernel Regression with Applications in American Option Pricing [8.723136784230906]
本稿では、中央プランナーがデータセットにアクセス可能なフェデレーショントランスファー学習のための最適反復スキームを提案する。
我々の目標は、生成されたパラメータの累積偏差を$thetai(t)_t=0T$で最小化することである。
後悔と最適化のアルゴリズム内で対称性を活用することで, $mathcalO(Np2)$少なめの初等演算を伴って動作する,ほぼ後悔のいく$_optimalを開発する。
論文 参考訳（メタデータ） (2023-09-08T19:17:03Z) - On the Interplay Between Misspecification and Sub-optimality Gap in
Linear Contextual Bandits [76.2262680277608]
本研究では,線形関数クラスによって期待される報酬関数を近似できるような,不特定条件下での線形文脈帯域について検討する。
このアルゴリズムは, 対数的因子に比例した設定において, ギャップ依存の残差が$tilde O (d2/Delta)$と同じであることを示す。
論文 参考訳（メタデータ） (2023-03-16T15:24:29Z) - Horizon-Free and Variance-Dependent Reinforcement Learning for Latent
Markov Decision Processes [62.90204655228324]
我々は,後期マルコフ決定過程(LMDP)における強化学習(RL)の文脈を考慮した後悔の最小化について検討した。
我々は,モデル最適化と値最適化の両手法でインスタンス化できる,新しいモデルベースアルゴリズムフレームワークを設計する。
論文 参考訳（メタデータ） (2022-10-20T21:32:01Z) - Bayesian Optimistic Optimisation with Exponentially Decaying Regret [58.02542541410322]
現在の実用的なBOアルゴリズムは、$mathcalO(fraclogNsqrtN)$から$mathcalO(e-sqrtN)$まで、$N$は評価の数である。
本稿では,boと木に基づく楽観的楽観化の概念を絡み合うことにより,無音環境における後悔を改善できる可能性について検討する。
次数$mathcal O(N-sqrt)で指数的再帰を達成できる最初の実践的手法であるBOOアルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-05-10T13:07:44Z) - Learning to extrapolate using continued fractions: Predicting the
critical temperature of superconductor materials [5.905364646955811]
人工知能(AI)と機械学習(ML)の分野では、未知のターゲット関数 $y=f(mathbfx)$ の近似が共通の目的である。
トレーニングセットとして$S$を参照し、新しいインスタンス$mathbfx$に対して、このターゲット関数を効果的に近似できる低複雑さの数学的モデルを特定することを目的としている。
論文 参考訳（メタデータ） (2020-11-27T04:57:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。