論文の概要: Co-Learning Bayesian Optimization

• arxiv url: http://arxiv.org/abs/2501.13332v1
• Date: Thu, 23 Jan 2025 02:25:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-24 15:59:22.253098
• Title: Co-Learning Bayesian Optimization
• Title（参考訳）: 共学習ベイズ最適化
• Authors: Zhendong Guo, Yew-Soon Ong, Tiantian He, Haitao Liu,
• Abstract要約: 本稿では,モデル多様性とラベルなし情報の一致を両立させ,限られたサンプルを用いて全体のサロゲート精度を向上させる,コラーニングBO (CLBO) とラベル付けされた新しいBOアルゴリズムを提案する。 5つの数値玩具問題と3つのエンジニアリングベンチマークの試験を通じて,提案したCLBOの有効性を実証した。
• 参考スコア（独自算出の注目度）: 28.394424693363103
• License:
• Abstract: Bayesian optimization (BO) is well known to be sample-efficient for solving black-box problems. However, the BO algorithms can sometimes get stuck in suboptimal solutions even with plenty of samples. Intrinsically, such suboptimal problem of BO can attribute to the poor surrogate accuracy of the trained Gaussian process (GP), particularly that in the regions where the optimal solutions locate. Hence, we propose to build multiple GP models instead of a single GP surrogate to complement each other and thus resolving the suboptimal problem of BO. Nevertheless, according to the bias-variance tradeoff equation, the individual prediction errors can increase when increasing the diversity of models, which may lead to even worse overall surrogate accuracy. On the other hand, based on the theory of Rademacher complexity, it has been proved that exploiting the agreement of models on unlabeled information can help to reduce the complexity of the hypothesis space, and therefore achieving the required surrogate accuracy with fewer samples. Such value of model agreement has been extensively demonstrated for co-training style algorithms to boost model accuracy with a small portion of samples. Inspired by the above, we propose a novel BO algorithm labeled as co-learning BO (CLBO), which exploits both model diversity and agreement on unlabeled information to improve the overall surrogate accuracy with limited samples, and therefore achieving more efficient global optimization. Through tests on five numerical toy problems and three engineering benchmarks, the effectiveness of proposed CLBO has been well demonstrated.
• Abstract（参考訳）: ベイズ最適化(BO)はブラックボックス問題の解法においてサンプリング効率が良く知られている。 しかし、BOアルゴリズムは、多くのサンプルを伴っても、時として準最適解において立ち往生することがある。 本質的には、BOのそのような準最適問題は、訓練されたガウス過程(GP)の低い代理精度、特に最適解が位置する領域に起因している。 そこで我々は,1つのGPサロゲートの代わりに複数のGPモデルを構築して相互補完し,BOの最適部分問題を解くことを提案する。 それでも、バイアス分散トレードオフ方程式によれば、モデルの多様性を増大させると個々の予測誤差が増加し、全体的なサロゲート精度はさらに悪化する可能性がある。 一方、ラデマッハの複雑性の理論に基づいて、ラベルのない情報に対するモデルの一致を利用して仮説空間の複雑さを減らし、より少ないサンプルで必要なサロゲート精度を達成することが証明されている。 このようなモデル一致の値は、サンプルのごく一部でモデルの精度を高めるためのコトレーニングスタイルのアルゴリズムで広く実証されている。 そこで本研究では,モデル多様性とラベルなし情報の一致を両立させ,限られたサンプルを用いて全体のサロゲート精度を向上し,より効率的なグローバル最適化を実現する,コラーニングBO(CLBO)と呼ばれる新しいBOアルゴリズムを提案する。 5つの数値玩具問題と3つのエンジニアリングベンチマークの試験を通じて,提案したCLBOの有効性を実証した。

関連論文リスト

• Faster WIND: Accelerating Iterative Best-of-$N$ Distillation for LLM Alignment [81.84950252537618]
  本稿では,反復的BONDと自己プレイアライメントの統一的なゲーム理論接続を明らかにする。 WINレート支配(WIN rate Dominance, WIND)という新しいフレームワークを構築し, 正規化利率支配最適化のためのアルゴリズムを多数提案する。
  論文  参考訳（メタデータ） (2024-10-28T04:47:39Z)
• A Performance Analysis of Basin Hopping Compared to Established Metaheuristics for Global Optimization [2.209921757303168]
  BBOBテスト関数セットと2つの困難な実世界の問題を用いたIOHプロファイラ環境を用いた数値実験を行った。 その結果, 流域ホッピングは, より確立されたメタヒューリスティクスとともに, 大域的な数値最適化問題の候補となる可能性が示唆された。
  論文  参考訳（メタデータ） (2024-03-09T11:02:47Z)
• Poisson Process for Bayesian Optimization [126.51200593377739]
  本稿では、Poissonプロセスに基づくランキングベースの代理モデルを提案し、Poisson Process Bayesian Optimization(PoPBO)と呼ばれる効率的なBOフレームワークを提案する。 従来のGP-BO法と比較すると,PoPBOはコストが低く,騒音に対する堅牢性も良好であり,十分な実験により検証できる。
  論文  参考訳（メタデータ） (2024-02-05T02:54:50Z)
• Best Arm Identification with Fixed Budget: A Large Deviation Perspective [54.305323903582845]
  我々は、様々な武器の報酬間の経験的ギャップに基づいて、あらゆるラウンドで腕を拒絶できる真に適応的なアルゴリズムであるsredを提示する。 特に、様々な武器の報酬の間の経験的ギャップに基づいて、あらゆるラウンドで腕を拒絶できる真に適応的なアルゴリズムであるsredを提示する。
  論文  参考訳（メタデータ） (2023-12-19T13:17:43Z)
• Parallel Bayesian Optimization Using Satisficing Thompson Sampling for Time-Sensitive Black-Box Optimization [0.0]
  本稿では,Thompsonサンプリングに基づく並列BO手法を提案する。 ターゲットを最適なソリューションから、学習しやすい満足できるソリューションにシフトします。 リチウムイオン電池の高速充電設計問題に対して提案手法の有効性を実証した。
  論文  参考訳（メタデータ） (2023-10-19T07:03:51Z)
• An Optimization-based Deep Equilibrium Model for Hyperspectral Image Deconvolution with Convergence Guarantees [71.57324258813675]
  本稿では,ハイパースペクトル画像のデコンボリューション問題に対処する新しい手法を提案する。 新しい最適化問題を定式化し、学習可能な正規化器をニューラルネットワークの形で活用する。 導出した反復解法は、Deep Equilibriumフレームワーク内の不動点計算問題として表現される。
  論文  参考訳（メタデータ） (2023-06-10T08:25:16Z)
• No-Regret Constrained Bayesian Optimization of Noisy and Expensive Hybrid Models using Differentiable Quantile Function Approximations [0.0]
  Constrained Upper Quantile Bound (CUQB) は、制約近似を避けるための概念的に単純で決定論的アプローチである。 CUQBは制約のある場合と制約のない場合の両方において従来のベイズ最適化よりも著しく優れることを示す。
  論文  参考訳（メタデータ） (2023-05-05T19:57:36Z)
• On the role of Model Uncertainties in Bayesian Optimization [8.659630453400593]
  本稿では,BO性能(regret)と一般的なサロゲートモデルの不確実性校正の関係について検討する。 本研究は, 校正誤差と後悔の関連性を示すが, 興味深いことに, 解析におけるモデルの種類を制御した場合に, この関連は消失する。
  論文  参考訳（メタデータ） (2023-01-14T21:45:17Z)
• A model aggregation approach for high-dimensional large-scale optimization [2.1104930506758275]
  本研究では,高次元大規模最適化問題を効率的に解くため,ベイズ最適化(MamBO)アルゴリズムにおけるモデル集約手法を提案する。 MamBOはサブサンプリングとサブスペース埋め込みを組み合わせることで、高次元と大規模問題に一括して対処する。 提案手法は,これらの低次元サロゲートモデルリスクを低減し,BOアルゴリズムのロバスト性を向上させる。
  論文  参考訳（メタデータ） (2022-05-16T08:58:42Z)
• Cauchy-Schwarz Regularized Autoencoder [68.80569889599434]
  変分オートエンコーダ(VAE)は、強力で広く使われている生成モデルのクラスである。 GMMに対して解析的に計算できるCauchy-Schwarz分散に基づく新しい制約対象を導入する。 本研究の目的は,密度推定,教師なしクラスタリング,半教師なし学習,顔分析における変分自動エンコーディングモデルの改善である。
  論文  参考訳（メタデータ） (2021-01-06T17:36:26Z)
• Adaptive Sampling for Best Policy Identification in Markov Decision Processes [79.4957965474334]
  本稿では,学習者が生成モデルにアクセスできる場合の,割引マルコフ決定(MDP)における最良の政治的識別の問題について検討する。 最先端アルゴリズムの利点を論じ、解説する。
  論文  参考訳（メタデータ） (2020-09-28T15:22:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。