論文の概要: VBO-MI: A Differentiable Black-Box Optimization Framework via Variational Mutual Information Estimation
- arxiv url: http://arxiv.org/abs/2610.24491v1
- Date: Sat, 17 Oct 2026 06:25:23 GMT
- ステータス: 情報取得中
- システム内更新日: 2026-10-20 11:58:39.654622
- Title: VBO-MI: A Differentiable Black-Box Optimization Framework via Variational Mutual Information Estimation
- Title（参考訳）: VBO-MI:変分相互情報推定による差別化可能なブラックボックス最適化フレームワーク
- Abstract要約: VBO-MI は完全に勾配に基づく BO フレームワークで、ガウス前科や変分後科に$f$以上の仮定を必要としない。
提案手法は,高次元合成関数や複雑な実世界のタスクを含む,多種多様なベンチマークを用いて評価する。
- 参考スコア（独自算出の注目度）: 1.0829694003408499
- License:
- Abstract: Many real-world tasks require optimizing expensive black-box functions accessible only through noisy evaluations, a setting commonly addressed with Bayesian optimization. While Gaussian processes(GPs) and Bayesian neural networks have driven significant progress, GP-based methods scale cubically with observations, and BNN-based approaches remain burdened by expensive posterior sampling such as Hamiltonian Monte Carlo, and inner-loop acquisition optimization in high-dimensional setting. In this work, we propose VBO-MI, a fully gradient-based BO framework that requires no assumptions on a Gaussian prior or a variational posterior family over $f$. While our framework uses gradient-based updates to train the internal action and information-estimation networks, it treats the objective function $f$ as a strict black box, requiring only zeroth-order evaluations. To enable end-to-end gradient flow, we employ an actor-critic architecture consisting of an action-net to navigate the input space and a variational critic to estimate a surrogate information signal for exploration. Additionally, we design a lightweight surrogate that approximates the objective from observed data using a replay buffer, which reduces the total required real function queries to one batch per iteration. We provide theoretical analysis for our framework, establishing convergence of its training objective and surrogate estimator, and showing, that near-optimal solutions exist. We evaluate our method on a diverse suite of benchmarks, including high-dimensional synthetic function and complex real-world tasks such as Rover Trajectory planning optimization, the Lunar Lander, and Pest Control problems. Our experiments demonstrate that VBO-MI provides the same or superior optimization performance over the various baselines.
- Abstract（参考訳）: 多くの実世界のタスクでは、ノイズ評価によってのみアクセス可能な高価なブラックボックス関数を最適化する必要がある。
ガウス過程(GP)とベイズニューラルネットワークは大きな進歩を遂げているが、GPベースの手法は観測によって3乗スケールし、BNNベースの手法はハイダリアンモンテカルロのような高価な後続サンプリングや高次元環境でのインナーループ取得最適化によって負担を受け続けている。
本研究では,VBO-MIを提案する。これは完全勾配に基づくBOフレームワークで,ガウス前科や変分後科では$f$以上の仮定を必要としない。
我々のフレームワークは、内部アクションと情報推定ネットワークをトレーニングするために勾配ベースの更新を使用するが、目的関数$f$を厳密なブラックボックスとして扱い、ゼロ階評価しか必要としない。
本研究では,入力空間をナビゲートするアクションネットと,探索のための代理情報信号の推定を行う変分批評家からなるアクタ批判アーキテクチャを用いて,エンドツーエンドの勾配流を実現する。
さらに、リプレイバッファを用いて観測データから目的を近似する軽量サロゲートを設計し、要求される実関数クエリを1イテレーション毎に1バッチに削減する。
我々は,本フレームワークの理論的解析を行い,その学習目標の収束とシュロゲート推定器を構築し,ほぼ最適解が存在することを示す。
本稿では,高次元合成関数やローバー軌道計画最適化,Lunar Lander,Pest Control問題などの複雑な実世界のタスクを含む,多種多様なベンチマークを用いて評価を行った。
実験の結果,VBO-MIは様々なベースラインに対して,同じあるいは優れた最適化性能を提供することがわかった。
関連論文リスト
- Artificial Neural Networks as Surrogate Models in Black Box Optimization [0.0]
ブラックボックス最適化(BBO)は、いくつかの工学分野に適用され、数値測度とシミュレーション技術の進歩を利用することができる。
サーチスペース内の入力ポイントのみを必要とするメトオドに依存し、対応する目的関数値とペアリングし、センサ、実験、シミュレーションなどの非分析手段によって得られる。
BBO法は目的関数の値にのみ依存するため、一般に多くの評価を必要とする。
本稿では,ニューラルネットワークを用いた新しいサロゲートモデルを提案する。
論文 参考訳（メタデータ） (2026-09-16T09:45:37Z) - VBO-MI: A Fully Gradient-Based Bayesian Optimization Framework Using Variational Mutual Information Estimation [1.0829694003408499]
VBO-MIは多変量相互情報推定の最近の進歩を生かした,完全な勾配に基づくBOフレームワークである。
提案手法は,高次元合成関数や複雑な実世界のタスクを含む,多種多様なベンチマークを用いて評価する。
論文 参考訳（メタデータ） (2026-01-13T03:07:52Z) - Neural Nonmyopic Bayesian Optimization in Dynamic Cost Settings [73.44599934855067]
LookaHESは、動的で履歴に依存したコスト環境のために設計された非心筋BOフレームワークである。
LookaHESは、$H$-Entropy Searchのマルチステップ版と、パスワイズサンプリングとニューラルポリシー最適化を組み合わせたものだ。
私たちの革新は、構造化されたドメイン固有のアクションスペースを効果的にナビゲートするために、大きな言語モデルを含むニューラルポリシーの統合です。
論文 参考訳（メタデータ） (2026-01-10T09:49:45Z) - Decentralized Nonconvex Composite Federated Learning with Gradient Tracking and Momentum [78.27945336558987]
分散サーバ(DFL)はクライアント・クライアント・アーキテクチャへの依存をなくす。
非滑らかな正規化はしばしば機械学習タスクに組み込まれる。
本稿では,これらの問題を解決する新しいDNCFLアルゴリズムを提案する。
論文 参考訳（メタデータ） (2025-04-17T08:32:25Z) - Indirect Query Bayesian Optimization with Integrated Feedback [17.66813850517961]
我々は,未知関数の条件付き期待値$f$を最適化することで,統合されたフィードバックが与えられるような,ベイズ最適化の新たなクラスを開発する。
目的は、条件分布によって変換された空間を適応的にクエリし、観察することで、$f$のグローバルな最適値を見つけることである。
これは、プライバシ、ハードウェア、計算上の制約による直接的なフィードバックにアクセスできない現実世界のアプリケーションによって動機付けられている。
論文 参考訳（メタデータ） (2024-12-18T07:20:33Z) - Approximation-Aware Bayesian Optimization [34.56666383247348]
高次元ベイズ最適化(BO)タスクは、意味のある結果を得る前に10,000の関数評価を必要とすることが多い。
本稿では,小変動ガウス過程 (SVGP) をBOの目標とよく一致させるために修正する。
ユーティリティ校正変分推論の枠組みを用いて,GP近似とデータ取得を共同最適化問題に統一する。
論文 参考訳（メタデータ） (2024-06-06T17:55:02Z) - BOtied: Multi-objective Bayesian optimization with tied multivariate ranks [33.414682601242006]
本稿では,非支配解と結合累積分布関数の極端量子化との自然な関係を示す。
このリンクにより、我々はPareto対応CDFインジケータと関連する取得関数BOtiedを提案する。
種々の合成および実世界の問題に対する実験により,BOtied は最先端MOBO 取得関数より優れていることが示された。
論文 参考訳（メタデータ） (2023-06-01T04:50:06Z) - Surrogate modeling for Bayesian optimization beyond a single Gaussian
process [62.294228304646516]
本稿では,探索空間の活用と探索のバランスをとるための新しいベイズ代理モデルを提案する。
拡張性のある関数サンプリングを実現するため、GPモデル毎にランダムな特徴ベースのカーネル近似を利用する。
提案した EGP-TS を大域的最適に収束させるため,ベイズ的後悔の概念に基づいて解析を行う。
論文 参考訳（メタデータ） (2022-05-27T16:43:10Z) - JUMBO: Scalable Multi-task Bayesian Optimization using Offline Data [86.8949732640035]
追加データをクエリすることで制限をサイドステップするMBOアルゴリズムであるJUMBOを提案する。
GP-UCBに類似した条件下では, 応答が得られないことを示す。
実世界の2つの最適化問題に対する既存手法に対する性能改善を実証的に示す。
論文 参考訳（メタデータ） (2021-06-02T05:03:38Z) - Global Optimization of Gaussian processes [52.77024349608834]
少数のデータポイントで学習したガウス過程を訓練した空間定式化を提案する。
このアプローチはまた、より小さく、計算的にもより安価なサブソルバを低いバウンディングに導く。
提案手法の順序の順序による時間収束を,総じて低減する。
論文 参考訳（メタデータ） (2020-05-21T20:59:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。