論文の概要: Warm Start Marginal Likelihood Optimisation for Iterative Gaussian Processes

• arxiv url: http://arxiv.org/abs/2405.18328v1
• Date: Tue, 28 May 2024 16:22:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-05-29 17:40:27.927934
• Title: Warm Start Marginal Likelihood Optimisation for Iterative Gaussian Processes
• Title（参考訳）: 反復ガウス過程に対する温暖化開始連関最適化
• Authors: Jihao Andreas Lin, Shreyas Padhy, Bruno Mlodozeniec, José Miguel Hernández-Lobato,
• Abstract要約: 反復ガウス過程に対する限界確率最適化の3レベル階層を導入する。 次に,線形システムソルバの解を次のステップで初期化として再利用することにより,計算の補正を提案する。
• 参考スコア（独自算出の注目度）: 30.475300015723256
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Gaussian processes are a versatile probabilistic machine learning model whose effectiveness often depends on good hyperparameters, which are typically learned by maximising the marginal likelihood. In this work, we consider iterative methods, which use iterative linear system solvers to approximate marginal likelihood gradients up to a specified numerical precision, allowing a trade-off between compute time and accuracy of a solution. We introduce a three-level hierarchy of marginal likelihood optimisation for iterative Gaussian processes, and identify that the computational costs are dominated by solving sequential batches of large positive-definite systems of linear equations. We then propose to amortise computations by reusing solutions of linear system solvers as initialisations in the next step, providing a $\textit{warm start}$. Finally, we discuss the necessary conditions and quantify the consequences of warm starts and demonstrate their effectiveness on regression tasks, where warm starts achieve the same results as the conventional procedure while providing up to a $16 \times$ average speed-up among datasets.
• Abstract（参考訳）: ガウス過程(英: Gaussian process)は、しばしば良いハイパーパラメータに依存する多目的確率的機械学習モデルである。 本研究では, 繰り返し線形系解法を用いて, 計算時間と解の精度のトレードオフを可能とし, 与えられた数値精度までの距離勾配を近似する反復的手法について考察する。 本稿では,線形方程式の大規模正定値系の逐次バッチを解くことによって計算コストが支配されることを示す。 次に、線形システムソルバの解を次のステップで初期化として再利用して計算を補正し、$\textit{warm start}$を提供する。 最後に、必要な条件について議論し、ウォームスタートの結果を定量化し、その効果を回帰タスクで実証する。

関連論文リスト

• Improving Linear System Solvers for Hyperparameter Optimisation in Iterative Gaussian Processes [31.305425519412758]
  本稿では,線形系解法を用いる反復法に着目し,限界次数勾配を推定する。 本稿では,解決者間で適用可能な3つの重要な改善点について論じる。 これらのテクニックは、トレランスの解決時に最大7,2倍のスピードアップを提供し、停止時に平均残留ノルムを最大7,7倍まで下げる。
  論文  参考訳（メタデータ） (2024-05-28T16:58:37Z)
• Stochastic Gradient Descent for Gaussian Processes Done Right [86.83678041846971]
  emphdone right -- 最適化とカーネルコミュニティからの具体的な洞察を使用するという意味で -- が、勾配降下は非常に効果的であることを示している。 本稿では,直感的に設計を記述し,設計選択について説明する。 本手法は,分子結合親和性予測のための最先端グラフニューラルネットワークと同程度にガウス過程の回帰を配置する。
  論文  参考訳（メタデータ） (2023-10-31T16:15:13Z)
• Value-Biased Maximum Likelihood Estimation for Model-based Reinforcement Learning in Discounted Linear MDPs [16.006893624836554]
  本稿では,VBMLE (Value-Biased Maximum Likelihood Estimation) のレンズによる線形MDPの解法を提案する。 VBMLEは、各時間ステップで1つの最適化問題だけを解決する必要があるため、計算的により効率的である。 後悔する解析では、線形MDPにおけるMLEの一般収束結果が、新しいスーパーマーチンゲール構造を通して提供される。
  論文  参考訳（メタデータ） (2023-10-17T18:27:27Z)
• Learning to Relax: Setting Solver Parameters Across a Sequence of Linear System Instances [42.16343861129583]
  オンライン学習アルゴリズムでは、シーケンス長が増加するにつれて、全体のコストが最高の$omega$に近づくように、一連のインスタンスに対してパラメータを選択できることが示される。 我々の研究は、高精度線形システム解法の最初の学習理論処理と、データ駆動型科学計算のエンドツーエンド保証を提供する。
  論文  参考訳（メタデータ） (2023-10-03T17:51:42Z)
• Neural incomplete factorization: learning preconditioners for the conjugate gradient method [2.899792823251184]
  我々は、効率的なプレコンディショナーの生成を加速するためのデータ駆動型アプローチを開発する。 一般的に手動のプリコンディショナーをグラフニューラルネットワークの出力に置き換える。 本手法は, 行列の不完全分解を発生させ, 神経不完全分解(NeuralIF)と呼ばれる。
  論文  参考訳（メタデータ） (2023-05-25T11:45:46Z)
• OKRidge: Scalable Optimal k-Sparse Ridge Regression [21.17964202317435]
  スパースリッジ回帰のための高速アルゴリズムOKRidgeを提案する。 また,ビームサーチを利用した解法を温める方法を提案する。
  論文  参考訳（メタデータ） (2023-04-13T17:34:44Z)
• Accelerated First-Order Optimization under Nonlinear Constraints [73.2273449996098]
  我々は、制約付き最適化のための一階アルゴリズムと非滑らかなシステムの間で、新しい一階アルゴリズムのクラスを設計する。 これらのアルゴリズムの重要な性質は、制約がスパース変数の代わりに速度で表されることである。
  論文  参考訳（メタデータ） (2023-02-01T08:50:48Z)
• Nearly Minimax Optimal Reinforcement Learning for Linear Markov Decision Processes [80.89852729380425]
  そこで本研究では,最小限の最小残差である$tilde O(dsqrtH3K)$を計算効率よく実現したアルゴリズムを提案する。 我々の研究は線形 MDP を用いた最適 RL に対する完全な答えを提供する。
  論文  参考訳（メタデータ） (2022-12-12T18:58:59Z)
• Safe Real-Time Optimization using Multi-Fidelity Gaussian Processes [0.0]
  本稿では,不確実なプロセスのシステムミスマッチを克服するリアルタイム最適化手法を提案する。 提案方式では, 既知のプロセスモデルをエミュレートする2つのガウス過程と, 測定による真のシステムを用いる。
  論文  参考訳（メタデータ） (2021-11-10T09:31:10Z)
• Sparse Algorithms for Markovian Gaussian Processes [18.999495374836584]
  スパースマルコフ過程は、誘導変数の使用と効率的なカルマンフィルタライク再帰を結合する。 我々は,局所ガウス項を用いて非ガウス的確率を近似する一般的なサイトベースアプローチであるsitesを導出する。 提案手法は,変動推論,期待伝播,古典非線形カルマンスムーサなど,機械学習と信号処理の両方から得られるアルゴリズムの新たなスパース拡張の一群を導出する。 派生した方法は、モデルが時間と空間の両方で別々の誘導点を持つ文学時間データに適しています。
  論文  参考訳（メタデータ） (2021-03-19T09:50:53Z)
• Combining Deep Learning and Optimization for Security-Constrained Optimal Power Flow [94.24763814458686]
  セキュリティに制約のある最適電力フロー(SCOPF)は、電力システムの基本である。 SCOPF問題におけるAPRのモデル化は、複雑な大規模混合整数プログラムをもたらす。 本稿では,ディープラーニングとロバスト最適化を組み合わせた新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-07-14T12:38:21Z)
• Real-Time Regression with Dividing Local Gaussian Processes [62.01822866877782]
  局所ガウス過程は、ガウス過程の回帰に基づく新しい、計算効率の良いモデリング手法である。 入力空間の反復的データ駆動分割により、実際にはトレーニングポイントの総数において、サブ線形計算複雑性が達成される。 実世界のデータセットに対する数値的な評価は、予測と更新の速度だけでなく、精度の点で他の最先端手法よりも有利であることを示している。
  論文  参考訳（メタデータ） (2020-06-16T18:43:31Z)
• Effective Dimension Adaptive Sketching Methods for Faster Regularized Least-Squares Optimization [56.05635751529922]
  スケッチに基づくL2正規化最小二乗問題の解法を提案する。 我々は、最も人気のあるランダム埋め込みの2つ、すなわちガウス埋め込みとサブサンプリングランダム化アダマール変換(SRHT)を考える。
  論文  参考訳（メタデータ） (2020-06-10T15:00:09Z)
• Global Optimization of Gaussian processes [52.77024349608834]
  少数のデータポイントで学習したガウス過程を訓練した空間定式化を提案する。 このアプローチはまた、より小さく、計算的にもより安価なサブソルバを低いバウンディングに導く。 提案手法の順序の順序による時間収束を,総じて低減する。
  論文  参考訳（メタデータ） (2020-05-21T20:59:11Z)
• A Near-Optimal Gradient Flow for Learning Neural Energy-Based Models [93.24030378630175]
  学習エネルギーベースモデル(EBM)の勾配流を最適化する新しい数値スキームを提案する。 フォッカー・プランク方程式から大域相対エントロピーの2階ワッサーシュタイン勾配流を導出する。 既存のスキームと比較して、ワッサーシュタイン勾配流は実データ密度を近似するより滑らかで近似的な数値スキームである。
  論文  参考訳（メタデータ） (2019-10-31T02:26:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。