論文の概要: Adaptive Kernel Design for Bayesian Optimization Is a Piece of CAKE with LLMs

• arxiv url: http://arxiv.org/abs/2509.17998v2
• Date: Tue, 23 Sep 2025 12:57:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-24 14:02:59.937879
• Title: Adaptive Kernel Design for Bayesian Optimization Is a Piece of CAKE with LLMs
• Title（参考訳）: ベイズ最適化のための適応カーネル設計
• Authors: Richard Cornelius Suwandi, Feng Yin, Juntao Wang, Renjie Li, Tsung-Hui Chang, Sergios Theodoridis,
• Abstract要約: 大規模言語モデル(LLM)を用いたBO強化のためのコンテキスト認識カーネル進化(CAKE)を提案する。 我々の新しいCAKEベースのBO法は、さまざまな現実世界のタスクで確立されたベースラインを一貫して上回ります。
• 参考スコア（独自算出の注目度）: 31.28294215349796
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The efficiency of Bayesian optimization (BO) relies heavily on the choice of the Gaussian process (GP) kernel, which plays a central role in balancing exploration and exploitation under limited evaluation budgets. Traditional BO methods often rely on fixed or heuristic kernel selection strategies, which can result in slow convergence or suboptimal solutions when the chosen kernel is poorly suited to the underlying objective function. To address this limitation, we propose a freshly-baked Context-Aware Kernel Evolution (CAKE) to enhance BO with large language models (LLMs). Concretely, CAKE leverages LLMs as the crossover and mutation operators to adaptively generate and refine GP kernels based on the observed data throughout the optimization process. To maximize the power of CAKE, we further propose BIC-Acquisition Kernel Ranking (BAKER) to select the most effective kernel through balancing the model fit measured by the Bayesian information criterion (BIC) with the expected improvement at each iteration of BO. Extensive experiments demonstrate that our fresh CAKE-based BO method consistently outperforms established baselines across a range of real-world tasks, including hyperparameter optimization, controller tuning, and photonic chip design. Our code is publicly available at https://github.com/richardcsuwandi/cake.
• Abstract（参考訳）: ベイズ最適化(BO)の効率はガウス過程(GP)カーネルの選択に大きく依存している。 従来のBO法は固定的あるいはヒューリスティックなカーネル選択戦略に依存しており、選択されたカーネルが基礎となる目的関数に不適な場合には、収束が遅く、あるいは最適でない解が得られる。 この制限に対処するため、我々は大規模な言語モデル(LLM)でBOを強化するための新しいコンテキスト認識カーネル進化(CAKE)を提案する。 具体的には、CAKEは、最適化プロセス全体を通して観測されたデータに基づいてGPカーネルを適応的に生成・洗練するために、LSMをクロスオーバーおよび突然変異演算子として活用する。 CAKEのパワーを最大化するために,ベイズ情報基準(BIC)によって測定されたモデル適合度とBOの各イテレーションで期待される改善とのバランスをとることで,最も有効なカーネルを選択するためのBIC-Acquisition Kernel Ranking (BAKER)を提案する。 大規模な実験により、我々の新しいCAKEベースのBO法は、ハイパーパラメータ最適化、コントローラチューニング、フォトニックチップ設計など、さまざまな現実世界のタスクにおいて、確立されたベースラインを一貫して上回ります。 私たちのコードはhttps://github.com/richardcsuwandi/cake.comで公開されています。

関連論文リスト

• Towards Robust Agentic CUDA Kernel Benchmarking, Verification, and Optimization [25.135006275638172]
  本稿では,カーネル性能の厳密な評価と,さまざまなシナリオにおける正当性評価のための新しいベンチマークである,ロバスト・クベンチを紹介する。 また、トーチコードをカーネルに変換し、ランタイム設定を反復的に改善する包括的なエージェントフレームワークを提案する。 提案手法は,フォワードパスやバックパスを含む,実用アプリケーションのためのトーチ実装よりも優れたカーネルを生成する。
  論文  参考訳（メタデータ） (2025-09-16T11:08:30Z)
• Sample-efficient Bayesian Optimisation Using Known Invariances [56.34916328814857]
  バニラと制約付きBOアルゴリズムは、不変目的を最適化する際の非効率性を示す。 我々はこれらの不変カーネルの最大情報ゲインを導出する。 核融合炉用電流駆動システムの設計に本手法を用い, 高性能溶液の探索を行った。
  論文  参考訳（メタデータ） (2024-10-22T12:51:46Z)
• Poisson Process for Bayesian Optimization [126.51200593377739]
  本稿では、Poissonプロセスに基づくランキングベースの代理モデルを提案し、Poisson Process Bayesian Optimization(PoPBO)と呼ばれる効率的なBOフレームワークを提案する。 従来のGP-BO法と比較すると,PoPBOはコストが低く,騒音に対する堅牢性も良好であり,十分な実験により検証できる。
  論文  参考訳（メタデータ） (2024-02-05T02:54:50Z)
• LABCAT: Locally adaptive Bayesian optimization using principal-component-aligned trust regions [0.0]
  信頼領域に基づくBOを拡張した LABCAT アルゴリズムを提案する。 このアルゴリズムは、最先端のBOや他のブラックボックス最適化アルゴリズムよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-11-19T13:56:24Z)
• CARE: Confidence-rich Autonomous Robot Exploration using Bayesian Kernel Inference and Optimization [12.32946442160165]
  未知・複雑な環境における情報に基づく自律ロボット探査の効率化を検討する。 ベイジアンカーネル推論と最適化に基づく新しい軽量情報ゲイン推定法(BKIO)を提案する。 異なる非構造, 乱雑な環境下での探索性能を損なうことなく, 提案手法の所望の効率性を示す。
  論文  参考訳（メタデータ） (2023-09-11T02:30:06Z)
• Learning Regions of Interest for Bayesian Optimization with Adaptive Level-Set Estimation [84.0621253654014]
  本稿では,高信頼領域を適応的にフィルタするBALLETというフレームワークを提案する。 理論的には、BALLETは探索空間を効率的に縮小することができ、標準BOよりも厳密な後悔を示すことができる。
  論文  参考訳（メタデータ） (2023-07-25T09:45:47Z)
• Compacting Binary Neural Networks by Sparse Kernel Selection [58.84313343190488]
  本稿は,BNNにおけるバイナリカーネルの分散化がほぼ不可能であることを示すものである。 我々は、選択過程をエンドツーエンドに最適化するだけでなく、選択したコードワードの非反復的占有を維持できる置換ストレートスルー推定器(PSTE)を開発した。 実験により,提案手法はモデルサイズとビット幅の計算コストの両方を削減し,同等の予算下での最先端のBNNと比較して精度の向上を実現する。
  論文  参考訳（メタデータ） (2023-03-25T13:53:02Z)
• Model-based Causal Bayesian Optimization [78.120734120667]
  モデルに基づく因果ベイズ最適化(MCBO)を提案する。 MCBOは介入と逆のペアをモデリングするのではなく、完全なシステムモデルを学ぶ。 標準的なベイズ最適化とは異なり、我々の取得関数は閉形式では評価できない。
  論文  参考訳（メタデータ） (2022-11-18T14:28:21Z)
• Accelerating Bayesian Optimization for Biological Sequence Design with Denoising Autoencoders [28.550684606186884]
  我々は,識別可能なマルチタスクガウスプロセスヘッドを用いて,デノナイズドオートエンコーダを共同で訓練する手法を開発した。 我々はZINCデータセットに基づく小分子上でLaMBOを評価し,蛍光タンパク質をターゲットとした新しい大規模分子タスクを導入する。
  論文  参考訳（メタデータ） (2022-03-23T21:58:45Z)
• Meta-Learning Hypothesis Spaces for Sequential Decision-making [79.73213540203389]
  オフラインデータ(Meta-KeL)からカーネルをメタ学習することを提案する。 穏やかな条件下では、推定されたRKHSが有効な信頼セットを得られることを保証します。 また,ベイズ最適化におけるアプローチの有効性を実証的に評価した。
  論文  参考訳（メタデータ） (2022-02-01T17:46:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。