論文の概要: Improving Linear System Solvers for Hyperparameter Optimisation in Iterative Gaussian Processes

• arxiv url: http://arxiv.org/abs/2405.18457v2
• Date: Thu, 6 Jun 2024 10:54:31 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-07 20:03:47.990091
• Title: Improving Linear System Solvers for Hyperparameter Optimisation in Iterative Gaussian Processes
• Title（参考訳）: 反復ガウス過程における過パラメータ最適化のための線形系解法の改良
• Authors: Jihao Andreas Lin, Shreyas Padhy, Bruno Mlodozeniec, Javier Antorán, José Miguel Hernández-Lobato,
• Abstract要約: 本稿では,線形系解法を用いる反復法に着目し,限界次数勾配を推定する。 本稿では,解決者間で適用可能な3つの重要な改善点について論じる。 これらのテクニックは、トレランスの解決時に最大7,2倍のスピードアップを提供し、停止時に平均残留ノルムを最大7,7倍まで下げる。
• 参考スコア（独自算出の注目度）: 31.305425519412758
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Scaling hyperparameter optimisation to very large datasets remains an open problem in the Gaussian process community. This paper focuses on iterative methods, which use linear system solvers, like conjugate gradients, alternating projections or stochastic gradient descent, to construct an estimate of the marginal likelihood gradient. We discuss three key improvements which are applicable across solvers: (i) a pathwise gradient estimator, which reduces the required number of solver iterations and amortises the computational cost of making predictions, (ii) warm starting linear system solvers with the solution from the previous step, which leads to faster solver convergence at the cost of negligible bias, (iii) early stopping linear system solvers after a limited computational budget, which synergises with warm starting, allowing solver progress to accumulate over multiple marginal likelihood steps. These techniques provide speed-ups of up to $72\times$ when solving to tolerance, and decrease the average residual norm by up to $7\times$ when stopping early.
• Abstract（参考訳）: 非常に大きなデータセットへのハイパーパラメータ最適化のスケーリングは、ガウスのプロセスコミュニティでは未解決の問題である。 本稿では, 共役勾配, 交互射影, 確率勾配勾配などの線形系解法を用いて, 限界次数勾配を推定する反復法について述べる。 解決者間で適用可能な3つの重要な改善点について論じる。 (i)パスワイズ勾配推定器で、必要な解法反復数を減らし、予測を行う計算コストを補正する。 (II) 先段からの解を用いた温かい開始線形系解法は、無視バイアスのコストでより高速な解法収束をもたらす。 3) 線形系解法は, 計算予算が限られており, 温暖化開始と相乗効果があり, 解法の進行が複数の余分な確率ステップで蓄積される。 これらのテクニックは、トレランスを解決した場合に最大72\times$のスピードアップを提供し、早期停止時には平均残留ノルムを最大7\times$まで下げる。

関連論文リスト

• Warm Start Marginal Likelihood Optimisation for Iterative Gaussian Processes [30.475300015723256]
  反復ガウス過程に対する限界確率最適化の3レベル階層を導入する。 次に,線形システムソルバの解を次のステップで初期化として再利用することにより,計算の補正を提案する。
  論文  参考訳（メタデータ） (2024-05-28T16:22:18Z)
• Fast, Scalable, Warm-Start Semidefinite Programming with Spectral Bundling and Sketching [53.91395791840179]
  我々は、大規模なSDPを解くための、証明可能な正確で高速でスケーラブルなアルゴリズムであるUnified Spectral Bundling with Sketching (USBS)を提案する。 USBSは、20億以上の決定変数を持つインスタンス上で、最先端のスケーラブルなSDP解決器よりも500倍のスピードアップを提供する。
  論文  参考訳（メタデータ） (2023-12-19T02:27:22Z)
• Stochastic Gradient Descent for Gaussian Processes Done Right [86.83678041846971]
  emphdone right -- 最適化とカーネルコミュニティからの具体的な洞察を使用するという意味で -- が、勾配降下は非常に効果的であることを示している。 本稿では,直感的に設計を記述し,設計選択について説明する。 本手法は,分子結合親和性予測のための最先端グラフニューラルネットワークと同程度にガウス過程の回帰を配置する。
  論文  参考訳（メタデータ） (2023-10-31T16:15:13Z)
• Accelerated First-Order Optimization under Nonlinear Constraints [73.2273449996098]
  我々は、制約付き最適化のための一階アルゴリズムと非滑らかなシステムの間で、新しい一階アルゴリズムのクラスを設計する。 これらのアルゴリズムの重要な性質は、制約がスパース変数の代わりに速度で表されることである。
  論文  参考訳（メタデータ） (2023-02-01T08:50:48Z)
• The Curse of Unrolling: Rate of Differentiating Through Optimization [35.327233435055305]
  未分化は反復解法を用いて解を近似し、計算経路を通して解を微分する。 我々は,(1)高速収束につながる大きな学習率を選択することができるが,アルゴリズムが任意に長いバーンインフェーズを持つことを受け入れるか,あるいは(2)即時収束につながるより少ない学習率を選択するかのどちらかを示す。
  論文  参考訳（メタデータ） (2022-09-27T09:27:29Z)
• AI-enhanced iterative solvers for accelerating the solution of large scale parametrized linear systems of equations [0.0]
  本稿では、最新のMLツールを活用し、線形方程式系の反復解法をカスタマイズする。 その結果,従来の反復解法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2022-07-06T09:47:14Z)
• A Two-Time-Scale Stochastic Optimization Framework with Applications in Control and Reinforcement Learning [13.908826484332282]
  最適化問題の解法として,新しい2段階勾配法を提案する。 最初の貢献は、提案した2時間スケール勾配アルゴリズムの有限時間複雑性を特徴づけることである。 我々は、強化学習における勾配に基づく政策評価アルゴリズムに適用する。
  論文  参考訳（メタデータ） (2021-09-29T23:15:23Z)
• Improving quantum linear system solvers via a gradient descent perspective [3.0969191504482247]
  我々は凸最適化の観点から量子線形系解法を再考する。 これにより、実行時にかなりの定数のイテレーションが発生します。 本研究では,子・子・子・ソマの最適量子線形系解法が勾配降下アルゴリズムとどのように関係しているかを示す。
  論文  参考訳（メタデータ） (2021-09-09T13:16:28Z)
• Short-Term Memory Optimization in Recurrent Neural Networks by Autoencoder-based Initialization [79.42778415729475]
  線形オートエンコーダを用いた列列の明示的暗記に基づく代替解を提案する。 このような事前学習が、長いシーケンスで難しい分類タスクを解くのにどのように役立つかを示す。 提案手法は, 長周期の復元誤差をはるかに小さくし, 微調整時の勾配伝播を良くすることを示す。
  論文  参考訳（メタデータ） (2020-11-05T14:57:16Z)
• Proximal Gradient Algorithm with Momentum and Flexible Parameter Restart for Nonconvex Optimization [73.38702974136102]
  アルゴリズムの高速化のために,パラメータ再起動方式が提案されている。 本論文では,非滑らかな問題を解くアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-02-26T16:06:27Z)
• Implicit differentiation of Lasso-type models for hyperparameter optimization [82.73138686390514]
  ラッソ型問題に適した行列逆転のない効率的な暗黙微分アルゴリズムを提案する。 提案手法は,解の空間性を利用して高次元データにスケールする。
  論文  参考訳（メタデータ） (2020-02-20T18:43:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。