Fugu-MT 論文翻訳(概要): Clustering-based Meta Bayesian Optimization with Theoretical Guarantee

論文の概要: Clustering-based Meta Bayesian Optimization with Theoretical Guarantee

arxiv url: http://arxiv.org/abs/2503.06093v1
Date: Sat, 08 Mar 2025 06:46:28 GMT
ステータス: 翻訳完了
システム内更新日: 2025-03-11 15:52:11.295425
Title: Clustering-based Meta Bayesian Optimization with Theoretical Guarantee
Title（参考訳）: 理論的保証を用いたクラスタリングに基づくメタベイズ最適化
Authors: Khoa Nguyen, Viet Huynh, Binh Tran, Tri Pham, Tin Huynh, Thin Nguyen,
Abstract要約: 異種および大規模メタタスクにおける重要な課題に対処するために,スケーラブルで堅牢なメタBO手法を提案する。提案手法は,移動したメタファンクションを高均一なクラスタに効果的に分割し,幾何学に基づくサロゲートプロトタイプを学習し,オンラインフェーズにおいてメタプライアを適応的に合成する。
参考スコア（独自算出の注目度）: 9.821653903127107
License:
Abstract: Bayesian Optimization (BO) is a well-established method for addressing black-box optimization problems. In many real-world scenarios, optimization often involves multiple functions, emphasizing the importance of leveraging data and learned functions from prior tasks to enhance efficiency in the current task. To expedite convergence to the global optimum, recent studies have introduced meta-learning strategies, collectively referred to as meta-BO, to incorporate knowledge from historical tasks. However, in practical settings, the underlying functions are often heterogeneous, which can adversely affect optimization performance for the current task. Additionally, when the number of historical tasks is large, meta-BO methods face significant scalability challenges. In this work, we propose a scalable and robust meta-BO method designed to address key challenges in heterogeneous and large-scale meta-tasks. Our approach (1) effectively partitions transferred meta-functions into highly homogeneous clusters, (2) learns the geometry-based surrogate prototype that capture the structural patterns within each cluster, and (3) adaptively synthesizes meta-priors during the online phase using statistical distance-based weighting policies. Experimental results on real-world hyperparameter optimization (HPO) tasks, combined with theoretical guarantees, demonstrate the robustness and effectiveness of our method in overcoming these challenges.
Abstract（参考訳）: ベイズ最適化(英: Bayesian Optimization、BO)は、ブラックボックス最適化問題に対処するための確立された方法である。多くの実世界のシナリオでは、最適化はしばしば複数の関数を伴い、現在のタスクの効率を高めるために、前のタスクからデータと学習した関数を活用することの重要性を強調します。グローバルな最適性への収束を早めるため、近年の研究では、メタ学習戦略(メタBO)を導入し、歴史的タスクからの知識を取り入れている。しかし、実際的な設定では、基礎となる関数はしばしば不均一であり、現在のタスクの最適化性能に悪影響を及ぼす可能性がある。さらに、履歴タスクの数が多ければ、メタBOメソッドは大きなスケーラビリティの課題に直面します。本研究では,異種および大規模メタタスクにおける重要な課題に対処するために,スケーラブルで堅牢なメタBO手法を提案する。提案手法は,移動したメタファンクションを高度に均質なクラスタに効果的に分割し,(2)各クラスタ内の構造パターンをキャプチャする幾何ベースのサロゲートプロトタイプを学習し,(3)統計的距離に基づく重み付けポリシを用いてオンラインフェーズにおいてメタプライアを適応的に合成する。実世界のハイパーパラメータ最適化(HPO)タスクと理論的保証を組み合わせることで,これらの課題を克服する上での手法の堅牢性と有効性を示す。

関連論文リスト

Meta-Reinforcement Learning with Universal Policy Adaptation: Provable Near-Optimality under All-task Optimum Comparator [9.900800253949512]
本稿では,メタRL(BO-MRL)の2段階最適化フレームワークを開発し,タスク固有のポリシー適応のためのメタプライヤを学習する。提案手法の精度を実証的に検証し,提案アルゴリズムがベンチマークよりも優れていることを示す。
論文参考訳（メタデータ） (2024-10-13T05:17:58Z)
Optima: Optimizing Effectiveness and Efficiency for LLM-Based Multi-Agent System [75.25394449773052]
大規模言語モデル (LLM) に基づくマルチエージェントシステム (MAS) は協調的問題解決において顕著な可能性を示している。通信効率の低下、スケーラビリティの低下、効果的なパラメータ更新方法の欠如などです。本稿では,コミュニケーション効率とタスク効率を両立させ,これらの課題に対処する新しいフレームワークOptimaを提案する。
論文参考訳（メタデータ） (2024-10-10T17:00:06Z)
An Invariant Information Geometric Method for High-Dimensional Online Optimization [9.538618632613714]
本稿では,対応するフレームワークから派生した,完全な不変性指向進化戦略アルゴリズムを提案する。ベイズ最適化と進化戦略における主要なアルゴリズムに対してSynCMAをベンチマークする。あらゆるシナリオにおいて、SynCMAはサンプル効率において他のアルゴリズムよりも優れた能力を示す。
論文参考訳（メタデータ） (2024-01-03T07:06:26Z)
High-dimensional Bayesian Optimization with Group Testing [7.12295305987761]
本研究では,高次元領域における効率的な最適化を容易にするために,能動変数を同定するグループテスト手法を提案する。提案したアルゴリズムであるグループテストベイズ最適化(GTBO)は、まず変数のグループを体系的に選択し、テストするテストフェーズを実行する。第2段階では、GTBOは活性次元をより重要視することで最適化を導く。
論文参考訳（メタデータ） (2023-10-05T12:52:27Z)
HomOpt: A Homotopy-Based Hyperparameter Optimization Method [10.11271414863925]
一般化加法モデル(GAM)とホモトピー最適化を組み合わせたデータ駆動型手法であるHomOptを提案する。本稿では,HomOptが任意のメソッドの性能と有効性を向上し,連続離散およびカテゴリー領域空間上での最適収束を高速化する方法について述べる。
論文参考訳（メタデータ） (2023-08-07T06:01:50Z)
End-to-End Meta-Bayesian Optimisation with Transformer Neural Processes [52.818579746354665]
本稿では,ニューラルネットワークを一般化し,トランスフォーマーアーキテクチャを用いて獲得関数を学習する,エンド・ツー・エンドの差別化可能な最初のメタBOフレームワークを提案する。我々は、この強化学習(RL)によるエンドツーエンドのフレームワークを、ラベル付き取得データの欠如に対処できるようにします。
論文参考訳（メタデータ） (2023-05-25T10:58:46Z)
Scalable PAC-Bayesian Meta-Learning via the PAC-Optimal Hyper-Posterior: From Theory to Practice [54.03076395748459]
メタラーニング文学の中心的な疑問は、目に見えないタスクへの一般化を保証するために、いかに正規化するかである。本稿では,Rothfussらによって最初に導かれたメタラーニングの一般化について述べる。 PAC-Bayesian per-task 学習境界におけるメタラーニングの条件と程度について,理論的解析および実証事例研究を行った。
論文参考訳（メタデータ） (2022-11-14T08:51:04Z)
Pre-training helps Bayesian optimization too [49.28382118032923]
機能的事前設定のための代替的なプラクティスを模索する。特に、より厳密な分布を事前訓練できるような、類似した関数のデータを持つシナリオを考察する。提案手法は, 競合する手法の少なくとも3倍の効率で, 優れたハイパーパラメータを見つけることができることを示す。
論文参考訳（メタデータ） (2022-07-07T04:42:54Z)
Meta-Learning with Neural Tangent Kernels [58.06951624702086]
メタモデルのニューラルタンジェントカーネル(NTK)によって誘導される再生カーネルヒルベルト空間(RKHS)における最初のメタラーニングパラダイムを提案する。このパラダイムでは,MAMLフレームワークのように,最適な反復内ループ適応を必要としない2つのメタ学習アルゴリズムを導入する。本研究の目的は,1) 適応をRKHSの高速適応正則化器に置き換えること,2) NTK理論に基づいて解析的に適応を解くことである。
論文参考訳（メタデータ） (2021-02-07T20:53:23Z)
On the Global Optimality of Model-Agnostic Meta-Learning [133.16370011229776]
モデル・ア・メタラーニング(MAML)は、メタラーニングを二段階最適化問題として定式化し、内部レベルが各サブタスクを、共有された事前に基づいて解決する。学習と教師あり学習の両方においてMAMLが達成した定常点の最適性を特徴付ける。
論文参考訳（メタデータ） (2020-06-23T17:33:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。