論文の概要: Inverse-Free Sparse Variational Gaussian Processes

• arxiv url: http://arxiv.org/abs/2604.00697v1
• Date: Wed, 01 Apr 2026 09:53:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-02 16:44:31.931408
• Title: Inverse-Free Sparse Variational Gaussian Processes
• Title（参考訳）: 逆自由スパース変分ガウス過程
• Abstract要約: スパース変分GP近似のドロップイン置換を提案する。 提案手法は従来の手法と類似した性能を回復し,順調に調整された場合のベースラインよりも高速であることを示す。
• 参考スコア（独自算出の注目度）: 24.916660624139638
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Gaussian processes (GPs) offer appealing properties but are costly to train at scale. Sparse variational GP (SVGP) approximations reduce cost yet still rely on Cholesky decompositions of kernel matrices, ill-suited to low-precision, massively parallel hardware. While one can construct valid variational bounds that rely only on matrix multiplications (matmuls) via an auxiliary matrix parameter, optimising them with off-the-shelf first-order methods is challenging. We make the inverse-free approach practical by proposing a better-conditioned bound and deriving a matmul-only natural-gradient update for the auxiliary parameter, markedly improving stability and convergence. We further provide simple heuristics, such as step-size schedules and stopping criteria, that make the overall optimisation routine fit seamlessly into existing workflows. Across regression and classification benchmarks, we demonstrate that our method 1) serves as a drop-in replacement in SVGP-based models (e.g., deep GPs), 2) recovers similar performance to traditional methods, and 3) can be faster than baselines when well tuned.
• Abstract（参考訳）: ガウス過程(GP)は魅力的な特性を提供するが、大規模に訓練するのにはコストがかかる。 Sparse variational GP (SVGP) 近似はコストを削減するが、低精度で超並列ハードウェアに不適なカーネル行列のチョレスキー分解に依存している。 行列乗法 (matmuls) にのみ依存する有効な変分境界を補助行列パラメータで構築することは可能であるが、それらをオフザシェルフの1次法で最適化することは困難である。 本研究では, 最適条件付きバウンダリを提案し, 補助パラメータに対する行列のみの自然な漸進的な更新を導出し, 安定性と収束性を著しく向上させることにより, 逆フリーアプローチを実用化する。 さらに、ステップサイズのスケジュールや停止基準といった単純なヒューリスティックスを提供して、全体的な最適化ルーチンを既存のワークフローにシームレスに適合させます。 回帰と分類のベンチマークを通じて、我々の方法が示される。 1)SVGPベースのモデル(例えば、ディープGP)のドロップイン代替として機能する。 2)従来の方法と同様のパフォーマンスを回復し、 3) 順調に調整すると,ベースラインよりも高速になる。

関連論文リスト

• Parameter-Free Non-Ergodic Extragradient Algorithms for Solving Monotone Variational Inequalities [0.0]
  拘束単調なVIsに対する非漸近的最終定位保証を用いたパラメータフリーの指数分解法を開発した。 このフレームワークをバックトラックラインサーチによりローカルリプシッツ演算子に拡張し,パラメータ自由性を保ちながら同じレートを得る。
  論文  参考訳（メタデータ） (2026-04-09T00:02:30Z)
• Adaptive Matrix Online Learning through Smoothing with Guarantees for Nonsmooth Nonconvex Optimization [54.723834588133165]
  我々は,演算子AMLによる行列変数を用いたオンライン線形最適化について検討した。 プロジェクションを避ける2つの効率的な手法でこのフレームワークをインスタンス化する。 両手法とも, クローズドフォーム更新はシャンプーの後悔と一致し, 計算コストを大幅に削減することを示した。
  論文  参考訳（メタデータ） (2026-02-09T03:09:47Z)
• Parallel Diffusion Solver via Residual Dirichlet Policy Optimization [88.7827307535107]
  拡散モデル(DM)は、最先端の生成性能を達成したが、シーケンシャルなデノナイジング特性のため、高いサンプリング遅延に悩まされている。 既存のソルバベースの加速度法では、低次元の予算で画像品質が著しく低下することが多い。 本研究では,各ステップに複数の勾配並列評価を組み込んだ新しいODE解法であるEnsemble Parallel Directionsolvr(EPD-EPr)を提案する。
  論文  参考訳（メタデータ） (2025-12-28T05:48:55Z)
• Inertial Quadratic Majorization Minimization with Application to Kernel Regularized Learning [1.0282274843007797]
  外部補間(QMME)フレームワークを導入し,その逐次収束特性を確立する。 実効性を示すために,大規模カーネル正規化学習問題にQMMEを適用した。
  論文  参考訳（メタデータ） (2025-07-06T05:17:28Z)
• Scaling Probabilistic Circuits via Monarch Matrices [109.65822339230853]
  確率回路(PC)は確率分布の抽出可能な表現である。 そこで本研究では,PCの和ブロックに対する新しいスパースパラメータと構造化パラメータ化を提案する。
  論文  参考訳（メタデータ） (2025-06-14T07:39:15Z)
• Improving Adaptive Moment Optimization via Preconditioner Diagonalization [11.01832755213396]
  提案手法は,現代適応法の収束速度を大幅に向上させることができることを示す。 LLaMAのような大きな言語モデルでは、ベースラインであるAdamと比較して2倍のスピードアップが達成できます。
  論文  参考訳（メタデータ） (2025-02-11T11:48:04Z)
• Smooth over-parameterized solvers for non-smooth structured optimization [3.756550107432323]
  非滑らか性 (non-smoothness) は、空間性、群空間性、低ランクエッジ、鋭いエッジなどの解の構造的制約を符号化する。 我々は、基礎となる非滑らかな最適化問題の非重み付きだが滑らかな過度パラメータ化を運用する。 我々の主な貢献は変数の一部を明示的に最小化することで新しい定式化を定義する変数射影(VarPro)を適用することです。
  論文  参考訳（メタデータ） (2022-05-03T09:23:07Z)
• Unified Convergence Analysis for Adaptive Optimization with Moving Average Estimator [75.05106948314956]
  1次モーメントに対する大きな運動量パラメータの増大は適応的スケーリングに十分であることを示す。 また,段階的に減少するステップサイズに応じて,段階的に運動量を増加させるための洞察を与える。
  論文  参考訳（メタデータ） (2021-04-30T08:50:24Z)
• Self-Tuning Stochastic Optimization with Curvature-Aware Gradient Filtering [53.523517926927894]
  サンプルごとのHessian-vector積と勾配を用いて、自己チューニングの二次構造を構築する。 モデルに基づく手続きが雑音勾配設定に収束することを証明する。 これは自己チューニング二次体を構築するための興味深いステップである。
  論文  参考訳（メタデータ） (2020-11-09T22:07:30Z)
• Obtaining Adjustable Regularization for Free via Iterate Averaging [43.75491612671571]
  最適化のための正規化は、機械学習の過度な適合を避けるための重要なテクニックである。 我々は、任意の強凸かつ滑らかな対象関数上のSGDの繰り返しを正規化された関数に変換する平均化スキームを確立する。 提案手法は,高速化および事前条件最適化手法にも利用できる。
  論文  参考訳（メタデータ） (2020-08-15T15:28:05Z)
• Balancing Rates and Variance via Adaptive Batch-Size for Stochastic Optimization Problems [120.21685755278509]
  本研究は,ステップサイズの減衰が正確な収束に必要であるという事実と,一定のステップサイズがエラーまでの時間でより速く学習するという事実のバランスをとることを目的とする。 ステップサイズのミニバッチを最初から修正するのではなく,パラメータを適応的に進化させることを提案する。
  論文  参考訳（メタデータ） (2020-07-02T16:02:02Z)
• Optimizing generalization on the train set: a novel gradient-based framework to train parameters and hyperparameters simultaneously [0.0]
  一般化は機械学習における中心的な問題である。 本稿では,新たなリスク尺度に基づく新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-06-11T18:04:36Z)
• Multi-Objective Matrix Normalization for Fine-grained Visual Recognition [153.49014114484424]
  双線形プールは細粒度視覚認識(FGVC)において大きな成功を収める 近年,行列パワー正規化は双線形特徴量において2次情報を安定化させることができることが示されている。 両線形表現を同時に正規化できる効率的な多目的行列正規化法(MOMN)を提案する。
  論文  参考訳（メタデータ） (2020-03-30T08:40:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。