論文の概要: Automated Kernel Discovery Towards Understanding High-dimensional Bayesian Optimization

• arxiv url: http://arxiv.org/abs/2605.20249v1
• Date: Mon, 18 May 2026 07:35:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-21 19:19:56.235035
• Title: Automated Kernel Discovery Towards Understanding High-dimensional Bayesian Optimization
• Title（参考訳）: 高次元ベイズ最適化の理解に向けてのカーネル発見の自動化
• Authors: Taeyoung Yun, Woocheol Shin, Inhyuck Song, Jaewoo Lee, Jinkyoo Park,
• Abstract要約: textbf Kernel Discoveryは、事前に定義されたコンポジションルールを超えて、より広いカーネル空間を探索するフレームワークである。 また、過度に適合したカーネルをペナライズする選択基準として、LOO-CRPS(Left-out Continuous Rank probability score)を提案する。 提案手法は17点中平均のtextbf1.2 のランクを達成し,競争基準よりも優れていた。
• 参考スコア（独自算出の注目度）: 29.146209129804152
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Gaussian Process (GP) kernels are central to Bayesian optimization (BO), yet designing effective kernels for high-dimensional problems still relies on extensive manual engineering. Existing automated approaches struggle in high dimensions for two bottlenecks: their kernel search space is limited to additions and multiplications of base kernels, and LLM-based approaches require conditioning on raw observations, which becomes infeasible due to context-length limits and the difficulty of extracting meaningful patterns. We introduce \textbf{Kernel Discovery}, a LLM-driven evolutionary framework for high-dimensional BO that searches a broader kernel space beyond predefined composition rules and does not require conditioning on observations. Motivated by the observation that directly prompting an LLM to generate kernel code yields syntactically varied but functionally identical kernels, we adopt a two-stage approach: an LLM first proposes novel mathematical forms, then a second LLM call converts each form into validated, executable code. We also propose a leave-one-out continuous ranked probability score (LOO-CRPS) as a selection criterion that penalizes overfitted kernels. On five high-dimensional BO benchmarks, our method achieves an average rank of \textbf{1.2 out of 17}, outperforming competitive baselines. We further analyze the discovered kernels to identify which kernels lead to improvements in high-dimensional BO.
• Abstract（参考訳）: ガウス過程 (GP) カーネルはベイズ最適化 (BO) の中心であるが、高次元問題に対する効率的なカーネルの設計は依然として広範な手動技術に依存している。 既存の自動化アプローチでは、カーネル検索空間はベースカーネルの追加や乗算に限られており、LLMベースのアプローチでは、コンテキスト長の制限と意味のあるパターンの抽出が困難になるため、生の観測を条件付けする必要がある。 我々は、高次元BOのためのLLM駆動の進化的フレームワークである‘textbf{Kernel Discovery} を紹介する。 LLMは、まず新しい数学的形式を提案し、次に第2のLLMコールは各フォームを検証可能な実行可能コードに変換する。 また、過度に適合したカーネルをペナライズする選択基準として、LOO-CRPS(Left-out Continuous Rank probability score)を提案する。 5つの高次元BOベンチマークにおいて,提案手法は平均ランクが 17 のうち \textbf{1.2 となり,競争基準よりも優れていた。 さらに、発見されたカーネルを分析し、どのカーネルが高次元BOの改善につながるかを同定する。

関連論文リスト

• DPO Kernels: A Semantically-Aware, Kernel-Enhanced, and Divergence-Rich Paradigm for Direct Preference Optimization [6.303144414273044]
  大規模言語モデル(LLM)は、多くのアプリケーションをアンロックしただけでなく、様々な値や好みと整合させることの難しさも浮き彫りにしている。 直接選好最適化(DPO)は、アライメントの中心であるが、固定された発散と限られた特徴変換によって制約される。
  論文  参考訳（メタデータ） (2025-01-05T00:08:52Z)
• Mirror Descent on Reproducing Kernel Banach Spaces [12.716091600034543]
  本稿では,再生カーネルを用いたバナッハ空間の学習問題に対処する。 再生カーネルを用いてバナッハ空間の双対空間における勾配ステップを利用するアルゴリズムを提案する。 実際にこのアルゴリズムをインスタンス化するために、$p$-normのRKBSの新しいファミリーを導入する。
  論文  参考訳（メタデータ） (2024-11-18T02:18:32Z)
• Multiple Kernel Clustering with Dual Noise Minimization [56.009011016367744]
  マルチカーネルクラスタリング(MKC)は、ベースカーネルから補完的な情報を統合することでデータをグループ化する。 本稿では,双対雑音を厳密に定義し,パラメータフリーなMKCアルゴリズムを提案する。 二重ノイズはブロック対角構造を汚染し,クラスタリング性能の劣化を招き,CノイズはNノイズよりも強い破壊を示す。
  論文  参考訳（メタデータ） (2022-07-13T08:37:42Z)
• Local Sample-weighted Multiple Kernel Clustering with Consensus Discriminative Graph [73.68184322526338]
  マルチカーネルクラスタリング(MKC)は、ベースカーネルの集合から最適な情報融合を実現するためにコミットされる。 本稿では,新しい局所サンプル重み付きマルチカーネルクラスタリングモデルを提案する。 実験により, LSWMKCはより優れた局所多様体表現を有し, 既存のカーネルやグラフベースのクラスタリングアルゴリズムよりも優れていた。
  論文  参考訳（メタデータ） (2022-07-05T05:00:38Z)
• Flow-based Kernel Prior with Application to Blind Super-Resolution [143.21527713002354]
  カーネル推定は一般にブラインド画像超解像(SR)の鍵となる問題の一つである 本稿では,カーネルモデリングのための正規化フローベースカーネルプリレント(fkp)を提案する。 合成および実世界の画像の実験により、提案したFKPがカーネル推定精度を大幅に向上することを示した。
  論文  参考訳（メタデータ） (2021-03-29T22:37:06Z)
• End-to-end Kernel Learning via Generative Random Fourier Features [31.57596752889935]
  ランダムフーリエ機能(RFF)は、スペクトルケースでのカーネル学習に有望な方法を提供する。 本稿では,カーネル学習と線形学習を統一フレームワークに組み込む一段階プロセスについて考察する。
  論文  参考訳（メタデータ） (2020-09-10T00:27:39Z)
• Kernel-Based Reinforcement Learning: A Finite-Time Analysis [53.47210316424326]
  モデルに基づく楽観的アルゴリズムであるKernel-UCBVIを導入する。 スパース報酬を伴う連続MDPにおける我々のアプローチを実証的に検証する。
  論文  参考訳（メタデータ） (2020-04-12T12:23:46Z)
• Learning Deep Kernels for Non-Parametric Two-Sample Tests [50.92621794426821]
  2組のサンプルが同じ分布から引き出されるかどうかを判定するカーネルベースの2サンプルテストのクラスを提案する。 私たちのテストは、テストパワーを最大化するためにトレーニングされたディープニューラルネットワークによってパラメータ化されたカーネルから構築されます。
  論文  参考訳（メタデータ） (2020-02-21T03:54:23Z)
• PolyScientist: Automatic Loop Transformations Combined with Microkernels for Optimization of Deep Learning Primitives [55.79741270235602]
  深層学習カーネル開発のためのハイブリッドソリューションを開発する。 我々は、高度な多面体技術を用いて、パフォーマンスのために外部ループを自動的に調整する。
  論文  参考訳（メタデータ） (2020-02-06T08:02:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。