論文の概要: Enhancing Bayesian Optimization and Active Learning Through Kernel Diversity

• arxiv url: http://arxiv.org/abs/2608.24721v2
• Date: Sun, 30 Aug 2026 17:21:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-01 15:47:04.06752
• Title: Enhancing Bayesian Optimization and Active Learning Through Kernel Diversity
• Title（参考訳）: カーネル多様性によるベイズ最適化とアクティブラーニングの強化
• Abstract要約: 本稿では, Ensemble Gaussian Processes (EGP) と不一致認識獲得戦略を統合した統合フレームワーク KENDO を提案する。 KENDO-BOは最先端の手法と比較して、競争力や優れた最適化性能を達成している。
• 参考スコア（独自算出の注目度）: 13.065036862403966
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Hyperparameter selection remains a key challenge in Bayesian optimization (BO) and Bayesian active learning (AL), as model misspecification can lead to suboptimal performance, while more accurate fully Bayesian treatments typically rely on computationally expensive MCMC sampling. This paper proposes a unified framework, KENDO (Kernel ENsemble Disagreement-aware Operator), that integrates Ensemble Gaussian Processes (EGP) with disagreement-aware acquisition strategies. The central idea is to replace hyperparameter sampling with a kernel ensemble and adaptive Bayesian weighting, combined with disagreement-aware acquisition strategies. Within this unified framework, we instantiate KENDO-BO for BO and KENDO-AL for Bayesian AL, demonstrating that both arise from a common self-correcting mechanism with task-specific acquisition objectives. We further extend the approach to multi-objective optimization via random scalarization that preserves the single-optimizer conditioning structure. Thorough numerical tests on synthetic and real-world benchmarks across single-objective optimization, multi-objective optimization, and active learning demonstrate that (i) KENDO-BO achieves competitive or superior optimization performance compared to state-of-the-art methods while reducing computational overhead by up to $5\times$ and (ii) KENDO-AL achieves superior predictive calibration over MCMC-based active learning baselines with up to $27\times$ speedup.
• Abstract（参考訳）: ベイズ最適化(BO)とベイズ能動学習(AL)において、モデルの不特定が最適以下の性能をもたらすため、ハイパーパラメータ選択は依然として重要な課題であり、より正確なベイズ処理は計算に高価なMCMCサンプリングに依存する。 本稿では,KENDO(Kernel ENsemble Disagreement-aware Operator)という統合フレームワークを提案する。 中心となる考え方は、ハイパーパラメータサンプリングをカーネルアンサンブルと適応ベイズ重み付けに置き換え、不一致を意識した取得戦略と組み合わせることである。 この統合フレームワーク内では,BO用KENDO-BOとBayesian AL用KENDO-ALをインスタンス化し,タスク固有の獲得目標を持つ共通自己修正機構から生じることを実証する。 さらに、単一最適化条件構造を保存するランダムスカラー化により、多目的最適化へのアプローチをさらに拡張する。 単目的最適化、多目的最適化、アクティブラーニングにまたがる合成および実世界のベンチマークに関する詳細な数値実験は、そのことを証明している。 (i)KENDO-BOは、最先端手法と比較して、計算オーバーヘッドを最大5\times$と最大5\times$に減らしながら、競争力や優れた最適化性能を達成する。 (II)KENDO-ALは,MCMCベースのアクティブラーニングベースラインに対して,最大27ドル以上のスピードアップで優れた予測キャリブレーションを実現する。

関連論文リスト

• VBO-MI: A Fully Gradient-Based Bayesian Optimization Framework Using Variational Mutual Information Estimation [1.0829694003408499]
  VBO-MIは多変量相互情報推定の最近の進歩を生かした,完全な勾配に基づくBOフレームワークである。 提案手法は,高次元合成関数や複雑な実世界のタスクを含む,多種多様なベンチマークを用いて評価する。
  論文  参考訳（メタデータ） (2026-01-13T03:07:52Z)
• MAESTRO: Meta-learning Adaptive Estimation of Scalarization Trade-offs for Reward Optimization [56.074760766965085]
  大規模言語モデル(LLM)の整合性のための効率的なパラダイムとしてグループ相対政策最適化が登場している。 我々は,報酬スカラー化を動的潜在ポリシーとして扱い,モデルの終端隠蔽状態を意味的ボトルネックとして活用するMAESTROを提案する。 本稿では,軽量コンダクタネットワークがメタリワード信号としてグループ相対的優位性を生かしてポリシと共進化する,双方向最適化フレームワークにおけるコンテキスト的帯域幅問題としてこれを定式化する。
  論文  参考訳（メタデータ） (2026-01-12T05:02:48Z)
• A Provably Convergent Plug-and-Play Framework for Stochastic Bilevel Optimization [4.703514158152835]
  Bilevelは最近、幅広いアプリケーションと高度な階層最適化機能のために、機械学習に大きな注目を集めている。 本稿では,双方向最適化手法の開発と解析を行うためのBOというプラグイン・アンド・プレイフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-05-02T13:26:43Z)
• On the Role of Feedback in Test-Time Scaling of Agentic AI Workflows [71.92083784393418]
  エージェントAI(自律的な計画と行動を行うシステム)は広く普及しているが、複雑なタスクにおけるタスクの成功率は低いままである。 推論時のアライメントは、サンプリング、評価、フィードバックの3つのコンポーネントに依存します。 本稿では,様々な形態の批判から抽出されたフィードバックを繰り返し挿入するIterative Agent Decoding(IAD)を紹介する。
  論文  参考訳（メタデータ） (2025-04-02T17:40:47Z)
• Batched Bayesian optimization by maximizing the probability of including the optimum [44.38372821900645]
  純粋に活用する qPO (multipoint of Optimality) による離散最適化のための獲得戦略を提案する。 提案手法を大規模化学ライブラリのモデル誘導探索に適用し,バッチ化ベイズ最適化における他の最先端手法と競合することを示す実証的証拠を提供する。
  論文  参考訳（メタデータ） (2024-10-08T20:13:12Z)
• Cost-Sensitive Multi-Fidelity Bayesian Optimization with Transfer of Learning Curve Extrapolation [55.75188191403343]
  各ユーザが事前に定義した機能であるユーティリティを導入し,BOのコストと性能のトレードオフについて述べる。 このアルゴリズムをLCデータセット上で検証した結果,従来のマルチファイルBOや転送BOベースラインよりも優れていた。
  論文  参考訳（メタデータ） (2024-05-28T07:38:39Z)
• qPOTS: Efficient batch multiobjective Bayesian optimization via Pareto optimal Thompson sampling [0.0]
  多目的最適化を解くためのサンプル効率のアプローチは、プロセス・オラクル・サロゲート(GP)とMOBOOTS$である。 我々はトンプソンサンプリング(TS)に基づくアプローチ(qtextttPOTS$)を提案する。 $qtextttPOTS$は、GP後部の安価な多目的最適化を進化的アプローチで解決する。
  論文  参考訳（メタデータ） (2023-10-24T12:35:15Z)
• Learning Regions of Interest for Bayesian Optimization with Adaptive Level-Set Estimation [84.0621253654014]
  本稿では,高信頼領域を適応的にフィルタするBALLETというフレームワークを提案する。 理論的には、BALLETは探索空間を効率的に縮小することができ、標準BOよりも厳密な後悔を示すことができる。
  論文  参考訳（メタデータ） (2023-07-25T09:45:47Z)
• BOtied: Multi-objective Bayesian optimization with tied multivariate ranks [33.414682601242006]
  本稿では,非支配解と結合累積分布関数の極端量子化との自然な関係を示す。 このリンクにより、我々はPareto対応CDFインジケータと関連する取得関数BOtiedを提案する。 種々の合成および実世界の問題に対する実験により,BOtied は最先端MOBO 取得関数より優れていることが示された。
  論文  参考訳（メタデータ） (2023-06-01T04:50:06Z)
• Optimizer Amalgamation [124.33523126363728]
  私たちは、Amalgamationという新しい問題の研究を動機付けています。"Teacher"アマルガメーションのプールを、より強力な問題固有のパフォーマンスを持つ単一の"学生"にどのように組み合わせるべきなのでしょうか? まず、勾配降下による解析のプールをアマルガメートする3つの異なるメカニズムを定義する。 また, プロセスの分散を低減するため, 目標を摂動させることでプロセスの安定化を図る。
  論文  参考訳（メタデータ） (2022-03-12T16:07:57Z)
• Sparse Bayesian Optimization [16.867375370457438]
  よりスパースで解釈可能な構成を発見できる正規化ベースのアプローチをいくつか提示する。 そこで本研究では,同相連続に基づく新たな微分緩和法を提案し,空間的空間的空間的空間的空間的空間的空間的空間的空間的空間的空間的空間的空間的空間的空間的空間的空間的空間的空間的空間的空間的空間的空間的空間的空間的空間的空間的空間的空間的空間的空間的空間的空間的空間 スパシティのために効率的に最適化できることが示されています。
  論文  参考訳（メタデータ） (2022-03-03T18:25:33Z)
• Bilevel Optimization: Convergence Analysis and Enhanced Design [63.64636047748605]
  バイレベル最適化は多くの機械学習問題に対するツールである。 Stoc-BiO という新しい確率効率勾配推定器を提案する。
  論文  参考訳（メタデータ） (2020-10-15T18:09:48Z)
• Bayesian Optimization for Selecting Efficient Machine Learning Models [53.202224677485525]
  本稿では,予測効率とトレーニング効率の両面において,モデルを協調最適化するための統一ベイズ最適化フレームワークを提案する。 レコメンデーションタスクのためのモデル選択の実験は、この方法で選択されたモデルがモデルのトレーニング効率を大幅に改善することを示している。
  論文  参考訳（メタデータ） (2020-08-02T02:56:30Z)
• BOSH: Bayesian Optimization by Sampling Hierarchically [10.10241176664951]
  本稿では,階層的なガウス過程と情報理論の枠組みを組み合わせたBOルーチンを提案する。 BOSHは, ベンチマーク, シミュレーション最適化, 強化学習, ハイパーパラメータチューニングタスクにおいて, 標準BOよりも効率的で高精度な最適化を実現する。
  論文  参考訳（メタデータ） (2020-07-02T07:35:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。