論文の概要: Warm Start Marginal Likelihood Optimisation for Iterative Gaussian Processes
- arxiv url: http://arxiv.org/abs/2405.18328v1
- Date: Tue, 28 May 2024 16:22:18 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-29 17:40:27.927934
- Title: Warm Start Marginal Likelihood Optimisation for Iterative Gaussian Processes
- Title（参考訳）: 反復ガウス過程に対する温暖化開始連関最適化
- Authors: Jihao Andreas Lin, Shreyas Padhy, Bruno Mlodozeniec, José Miguel Hernández-Lobato,
- Abstract要約: 反復ガウス過程に対する限界確率最適化の3レベル階層を導入する。
次に,線形システムソルバの解を次のステップで初期化として再利用することにより,計算の補正を提案する。
- 参考スコア（独自算出の注目度）: 30.475300015723256
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Gaussian processes are a versatile probabilistic machine learning model whose effectiveness often depends on good hyperparameters, which are typically learned by maximising the marginal likelihood. In this work, we consider iterative methods, which use iterative linear system solvers to approximate marginal likelihood gradients up to a specified numerical precision, allowing a trade-off between compute time and accuracy of a solution. We introduce a three-level hierarchy of marginal likelihood optimisation for iterative Gaussian processes, and identify that the computational costs are dominated by solving sequential batches of large positive-definite systems of linear equations. We then propose to amortise computations by reusing solutions of linear system solvers as initialisations in the next step, providing a $\textit{warm start}$. Finally, we discuss the necessary conditions and quantify the consequences of warm starts and demonstrate their effectiveness on regression tasks, where warm starts achieve the same results as the conventional procedure while providing up to a $16 \times$ average speed-up among datasets.
- Abstract（参考訳）: ガウス過程(英: Gaussian process)は、しばしば良いハイパーパラメータに依存する多目的確率的機械学習モデルである。
本研究では, 繰り返し線形系解法を用いて, 計算時間と解の精度のトレードオフを可能とし, 与えられた数値精度までの距離勾配を近似する反復的手法について考察する。
本稿では,線形方程式の大規模正定値系の逐次バッチを解くことによって計算コストが支配されることを示す。
次に、線形システムソルバの解を次のステップで初期化として再利用して計算を補正し、$\textit{warm start}$を提供する。
最後に、必要な条件について議論し、ウォームスタートの結果を定量化し、その効果を回帰タスクで実証する。
関連論文リスト
- Improving Linear System Solvers for Hyperparameter Optimisation in Iterative Gaussian Processes [31.305425519412758]
本稿では,線形系解法を用いる反復法に着目し,限界次数勾配を推定する。
本稿では,解決者間で適用可能な3つの重要な改善点について論じる。
これらのテクニックは、トレランスの解決時に最大7,2倍のスピードアップを提供し、停止時に平均残留ノルムを最大7,7倍まで下げる。
論文 参考訳（メタデータ） (2024-05-28T16:58:37Z) - Stochastic Gradient Descent for Gaussian Processes Done Right [86.83678041846971]
emphdone right -- 最適化とカーネルコミュニティからの具体的な洞察を使用するという意味で -- が、勾配降下は非常に効果的であることを示している。
本稿では,直感的に設計を記述し,設計選択について説明する。
本手法は,分子結合親和性予測のための最先端グラフニューラルネットワークと同程度にガウス過程の回帰を配置する。
論文 参考訳（メタデータ） (2023-10-31T16:15:13Z) - Learning to Relax: Setting Solver Parameters Across a Sequence of Linear System Instances [42.16343861129583]
オンライン学習アルゴリズムでは、シーケンス長が増加するにつれて、全体のコストが最高の$omega$に近づくように、一連のインスタンスに対してパラメータを選択できることが示される。
我々の研究は、高精度線形システム解法の最初の学習理論処理と、データ駆動型科学計算のエンドツーエンド保証を提供する。
論文 参考訳（メタデータ） (2023-10-03T17:51:42Z) - Neural incomplete factorization: learning preconditioners for the conjugate gradient method [2.899792823251184]
我々は、効率的なプレコンディショナーの生成を加速するためのデータ駆動型アプローチを開発する。
一般的に手動のプリコンディショナーをグラフニューラルネットワークの出力に置き換える。
本手法は, 行列の不完全分解を発生させ, 神経不完全分解(NeuralIF)と呼ばれる。
論文 参考訳（メタデータ） (2023-05-25T11:45:46Z) - OKRidge: Scalable Optimal k-Sparse Ridge Regression [21.17964202317435]
スパースリッジ回帰のための高速アルゴリズムOKRidgeを提案する。
また,ビームサーチを利用した解法を温める方法を提案する。
論文 参考訳（メタデータ） (2023-04-13T17:34:44Z) - Accelerated First-Order Optimization under Nonlinear Constraints [73.2273449996098]
我々は、制約付き最適化のための一階アルゴリズムと非滑らかなシステムの間で、新しい一階アルゴリズムのクラスを設計する。
これらのアルゴリズムの重要な性質は、制約がスパース変数の代わりに速度で表されることである。
論文 参考訳（メタデータ） (2023-02-01T08:50:48Z) - Nearly Minimax Optimal Reinforcement Learning for Linear Markov Decision
Processes [80.89852729380425]
そこで本研究では,最小限の最小残差である$tilde O(dsqrtH3K)$を計算効率よく実現したアルゴリズムを提案する。
我々の研究は線形 MDP を用いた最適 RL に対する完全な答えを提供する。
論文 参考訳（メタデータ） (2022-12-12T18:58:59Z) - Safe Real-Time Optimization using Multi-Fidelity Gaussian Processes [0.0]
本稿では,不確実なプロセスのシステムミスマッチを克服するリアルタイム最適化手法を提案する。
提案方式では, 既知のプロセスモデルをエミュレートする2つのガウス過程と, 測定による真のシステムを用いる。
論文 参考訳（メタデータ） (2021-11-10T09:31:10Z) - Combining Deep Learning and Optimization for Security-Constrained
Optimal Power Flow [94.24763814458686]
セキュリティに制約のある最適電力フロー(SCOPF)は、電力システムの基本である。
SCOPF問題におけるAPRのモデル化は、複雑な大規模混合整数プログラムをもたらす。
本稿では,ディープラーニングとロバスト最適化を組み合わせた新しい手法を提案する。
論文 参考訳（メタデータ） (2020-07-14T12:38:21Z) - Global Optimization of Gaussian processes [52.77024349608834]
少数のデータポイントで学習したガウス過程を訓練した空間定式化を提案する。
このアプローチはまた、より小さく、計算的にもより安価なサブソルバを低いバウンディングに導く。
提案手法の順序の順序による時間収束を,総じて低減する。
論文 参考訳（メタデータ） (2020-05-21T20:59:11Z) - A Near-Optimal Gradient Flow for Learning Neural Energy-Based Models [93.24030378630175]
学習エネルギーベースモデル(EBM)の勾配流を最適化する新しい数値スキームを提案する。
フォッカー・プランク方程式から大域相対エントロピーの2階ワッサーシュタイン勾配流を導出する。
既存のスキームと比較して、ワッサーシュタイン勾配流は実データ密度を近似するより滑らかで近似的な数値スキームである。
論文 参考訳（メタデータ） (2019-10-31T02:26:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。