論文の概要: Using Distance Correlation for Efficient Bayesian Optimization
- arxiv url: http://arxiv.org/abs/2102.08993v2
- Date: Fri, 16 May 2025 03:23:27 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-19 14:36:10.675911
- Title: Using Distance Correlation for Efficient Bayesian Optimization
- Title（参考訳）: 効率の良いベイズ最適化のための距離相関の利用
- Authors: Takuya Kanazawa,
- Abstract要約: 距離相関と呼ばれる2つの確率変数の相関関係の統計的尺度とBOを統合したBOスキームBDCを提案する。
BDCの探索は自動的にバランスと利用のバランスを保ち、手動のハイパーパラメータチューニングを必要としない。
我々はBDCを様々なベンチマークテストで評価し、一般的なBO法と同等に動作することを観察する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The need to collect data via expensive measurements of black-box functions is prevalent across science, engineering and medicine. As an example, hyperparameter tuning of a large AI model is critical to its predictive performance but is generally time-consuming and unwieldy. Bayesian optimization (BO) is a collection of methods that aim to address this issue by means of Bayesian statistical inference. In this work, we put forward a BO scheme named BDC, which integrates BO with a statistical measure of association of two random variables called Distance Correlation. BDC balances exploration and exploitation automatically, and requires no manual hyperparameter tuning. We evaluate BDC on a range of benchmark tests and observe that it performs on per with popular BO methods such as the expected improvement and max-value entropy search. We also apply BDC to optimization of sequential integral observations of an unknown terrain and confirm its utility.
- Abstract（参考訳）: ブラックボックス関数の高価な測定によってデータを収集する必要性は、科学、工学、医学に広く浸透している。
例えば、大規模なAIモデルのハイパーパラメータチューニングは、予測パフォーマンスには不可欠だが、一般的には時間がかかり、扱いにくい。
ベイジアン最適化(英: Bayesian optimization, BO)は、ベイジアン統計推論を用いてこの問題に対処する手法の集合である。
本研究では,BDCと呼ばれるBOスキームを提案し,BOを距離相関と呼ばれる2つの確率変数の相関関係の統計的尺度と統合する。
BDCは自動的に探索と利用のバランスをとり、手動のハイパーパラメータチューニングを必要としない。
我々は,BDCを様々なベンチマークテストで評価し,期待される改善や最大値エントロピー探索など,BO法と同等に動作することを示した。
また、未知の地形の逐次積分観測の最適化にBDCを適用し、その有用性を確認する。
関連論文リスト
- $f$-PO: Generalizing Preference Optimization with $f$-divergence Minimization [91.43730624072226]
$f$-POは、既存のアプローチを一般化し拡張する新しいフレームワークである。
ベンチマークデータセットを用いて最先端言語モデルの実験を行う。
論文 参考訳（メタデータ） (2024-10-29T02:11:45Z) - Memory-Efficient Gradient Unrolling for Large-Scale Bi-level Optimization [71.35604981129838]
従来の勾配に基づく二段階最適化アルゴリズムは、大規模アプリケーションの要求を満たすには不適である。
両レベル最適化のためのメタ勾配の偏りのない近似を実現するための$(textFG)2textU$を導入する。
$(textFG)2textU$は本質的に並列コンピューティングをサポートするように設計されており、大規模分散コンピューティングシステムを効果的に活用することができる。
論文 参考訳（メタデータ） (2024-06-20T08:21:52Z) - A Specialized Semismooth Newton Method for Kernel-Based Optimal
Transport [92.96250725599958]
カーネルベース最適輸送(OT)推定器は、サンプルからOT問題に対処するための代替的機能的推定手順を提供する。
SSN法は, 標準正規性条件下でのグローバル収束率$O (1/sqrtk)$, 局所二次収束率を達成できることを示す。
論文 参考訳（メタデータ） (2023-10-21T18:48:45Z) - Ensemble-based gradient inference for particle methods in optimization
and sampling [2.9005223064604078]
本稿では,関数評価とベイズ推定に基づく高次微分情報抽出手法を提案する。
我々は,この情報を用いて,アンサンブルに基づく数値法の改良を行い,最適化とサンプリングを行うことを提案する。
論文 参考訳（メタデータ） (2022-09-23T09:21:35Z) - Surrogate modeling for Bayesian optimization beyond a single Gaussian
process [62.294228304646516]
本稿では,探索空間の活用と探索のバランスをとるための新しいベイズ代理モデルを提案する。
拡張性のある関数サンプリングを実現するため、GPモデル毎にランダムな特徴ベースのカーネル近似を利用する。
提案した EGP-TS を大域的最適に収束させるため,ベイズ的後悔の概念に基づいて解析を行う。
論文 参考訳（メタデータ） (2022-05-27T16:43:10Z) - DoCoM: Compressed Decentralized Optimization with Near-Optimal Sample
Complexity [25.775517797956237]
本稿では,Douubly Compressed Momentum-assisted tracking algorithm $ttDoCoM$ for communicationを提案する。
我々のアルゴリズムは、実際にいくつかの最先端のアルゴリズムより優れていることを示す。
論文 参考訳（メタデータ） (2022-02-01T07:27:34Z) - Bayesian Optimistic Optimisation with Exponentially Decaying Regret [58.02542541410322]
現在の実用的なBOアルゴリズムは、$mathcalO(fraclogNsqrtN)$から$mathcalO(e-sqrtN)$まで、$N$は評価の数である。
本稿では,boと木に基づく楽観的楽観化の概念を絡み合うことにより,無音環境における後悔を改善できる可能性について検討する。
次数$mathcal O(N-sqrt)で指数的再帰を達成できる最初の実践的手法であるBOOアルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-05-10T13:07:44Z) - Stochastic Optimization of Areas Under Precision-Recall Curves with
Provable Convergence [66.83161885378192]
ROC(AUROC)と精度リコール曲線(AUPRC)の下の領域は、不均衡問題に対する分類性能を評価するための一般的な指標である。
本稿では,深層学習のためのAUPRCの最適化手法を提案する。
論文 参考訳（メタデータ） (2021-04-18T06:22:21Z) - Efficient Bayesian Optimization using Multiscale Graph Correlation [0.0]
GP-MGCというベイズ最適化手法を提案する。
本稿では, GP-MGC の評価を, ベンチマーク関数と実世界のデータセットの両方の応用に適用する。
論文 参考訳（メタデータ） (2021-03-17T04:35:09Z) - Optimistic search strategy: Change point detection for large-scale data
via adaptive logarithmic queries [1.3212010735248336]
変更点検出は、データセグメント化時の適合性の改善を記述したゲイン関数の最大値の探索として、しばしば定式化される。
我々は、ゲイン関数の特定の構造を利用した楽観的な探索戦略を$O(log T)$で提案する。
論文 参考訳（メタデータ） (2020-10-20T11:09:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。