論文の概要: An Efficient Spatial Branch-and-Bound Algorithm for Global Optimization of Gaussian Process Posterior Mean Functions
- arxiv url: http://arxiv.org/abs/2605.00855v1
- Date: Tue, 21 Apr 2026 01:13:54 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-11 06:56:26.468144
- Title: An Efficient Spatial Branch-and-Bound Algorithm for Global Optimization of Gaussian Process Posterior Mean Functions
- Title(参考訳): ガウス過程後平均関数の大域最適化のための効率的な空間分岐境界アルゴリズム
- Authors: Wei-Ting Tang, Akshay Kudva, Calvin Tsay, Joel A. Paulson,
- Abstract要約: 空間空間の分枝および分枝における部分解析的下界表現が平均値に有効であることを示す。
その結果,PALM-Meanはデータ点数の増加に伴い,汎用的グローバルトレーニングの改善を図っている。
- 参考スコア(独自算出の注目度): 2.738648582869357
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We study the deterministic global optimization of trained Gaussian process posterior mean functions over hyperrectangular domains. Although the posterior mean function has a compact closed-form representation, its global optimization is challenging because it remains nonlinear and nonconvex. Existing exact deterministic approaches become increasingly difficult to scale as the number of training data points grows, leading to approximation-based methods that improve tractability by optimizing a modified (inexact) objective. In this work, we propose PALM-Mean, a piecewise-analytic lower-bounding framework embedded in reduced-space spatial branch-and-bound. At each node, kernel terms that are locally important are replaced by a sign-aware piecewise-linear relaxation in an appropriate scalar distance variable, while the remaining terms are bounded analytically in closed form. We show this hybrid approach yields a valid lower bound for the posterior mean, while limiting the size of the branch-and-bound subproblems. We establish validity of the node lower bounds and $\varepsilon$-global convergence of the resulting algorithm. Computational results on synthetic benchmarks and real-world application problems show that PALM-Mean improves scalability relative to representative general-purpose deterministic global solvers, particularly as the number of training data points increases.
- Abstract(参考訳): 訓練されたガウス過程の後方平均関数の超矩形領域に対する決定論的大域的最適化について検討する。
後進平均関数はコンパクトな閉形式表現を持つが、その大域的最適化は非線形かつ非凸であるため困難である。
既存の決定論的アプローチは、トレーニングデータポイントの数が増えるにつれてスケールがますます難しくなり、修正された(非現実的な)目的を最適化することで、トラクタビリティを改善する近似ベースの手法が実現される。
本研究では,空間の空間分岐とバウンドに埋め込まれた部分解析的下界フレームワークであるPALM-Meanを提案する。
各ノードにおいて、局所的に重要なカーネル用語は、適切なスカラー距離変数における符号認識の断片的線形緩和に置き換えられ、残りの用語は解析的にクローズドな形で境界づけられる。
このハイブリッドアプローチは、分岐と結合のサブプロブレムのサイズを制限しながら、後方平均に対して有効な下界が得られることを示す。
ノードの下位境界と結果のアルゴリズムの$\varepsilon$-global収束の妥当性を確立する。
合成ベンチマークと実世界のアプリケーション問題に対する計算結果から、PALM-Meanは、特にトレーニングデータポイントの数が増加するにつれて、一般的な汎用決定論的大域的解法と比較してスケーラビリティを向上することが示された。
関連論文リスト
- Decentralized Nonconvex Composite Federated Learning with Gradient Tracking and Momentum [78.27945336558987]
分散サーバ(DFL)はクライアント・クライアント・アーキテクチャへの依存をなくす。
非滑らかな正規化はしばしば機械学習タスクに組み込まれる。
本稿では,これらの問題を解決する新しいDNCFLアルゴリズムを提案する。
論文 参考訳(メタデータ) (2025-04-17T08:32:25Z) - Langevin Multiplicative Weights Update with Applications in Polynomial Portfolio Management [14.310970006771717]
非漸近収束解析により,LMvinvinをベースとした勾配局所最小値が得られた。
LMvinvinアルゴリズムは,非漸近収束解析による大域最小解法であることを示す。
論文 参考訳(メタデータ) (2025-02-26T15:13:08Z) - Inexact subgradient methods for semialgebraic functions [18.293072574300798]
機械学習における近似勾配の広範囲な適用を動機として, 永続的な誤差を受ける部分エクサクティヴな加算法について検討する。
我々の分析は、消滅と定常的なステップサイズ体制の両方に対処する。
論文 参考訳(メタデータ) (2024-04-30T12:47:42Z) - Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。
最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
論文 参考訳(メタデータ) (2023-10-20T12:45:12Z) - ProGO: Probabilistic Global Optimizer [9.772380490791635]
本稿では,いくつかの温和な条件下でのグローバルオプティマに収束するアルゴリズムを開発する。
提案アルゴリズムは,従来の最先端手法よりも桁違いに優れていることを示す。
論文 参考訳(メタデータ) (2023-10-04T22:23:40Z) - Sampling from Gaussian Process Posteriors using Stochastic Gradient
Descent [43.097493761380186]
勾配アルゴリズムは線形系を解くのに有効な方法である。
最適値に収束しない場合であっても,勾配降下は正確な予測を導出することを示す。
実験的に、勾配降下は十分に大規模または不条件の回帰タスクにおいて最先端の性能を達成する。
論文 参考訳(メタデータ) (2023-06-20T15:07:37Z) - Constrained Optimization via Exact Augmented Lagrangian and Randomized
Iterative Sketching [55.28394191394675]
等式制約付き非線形非IBS最適化問題に対する適応的不正確なニュートン法を開発した。
ベンチマーク非線形問題,LVMのデータによる制約付きロジスティック回帰,PDE制約問題において,本手法の優れた性能を示す。
論文 参考訳(メタデータ) (2023-05-28T06:33:37Z) - Efficient Methods for Structured Nonconvex-Nonconcave Min-Max
Optimization [98.0595480384208]
定常点に収束する一般化外空間を提案する。
このアルゴリズムは一般の$p$ノルド空間だけでなく、一般の$p$次元ベクトル空間にも適用される。
論文 参考訳(メタデータ) (2020-10-31T21:35:42Z) - Global Optimization of Gaussian processes [52.77024349608834]
少数のデータポイントで学習したガウス過程を訓練した空間定式化を提案する。
このアプローチはまた、より小さく、計算的にもより安価なサブソルバを低いバウンディングに導く。
提案手法の順序の順序による時間収束を,総じて低減する。
論文 参考訳(メタデータ) (2020-05-21T20:59:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。