論文の概要: Sparse Variational Student-t Processes
- arxiv url: http://arxiv.org/abs/2312.05568v2
- Date: Mon, 11 Aug 2025 09:18:14 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-08-12 21:23:28.010983
- Title: Sparse Variational Student-t Processes
- Title（参考訳）: スパース変分学生-t過程
- Authors: Jian Xu, Delu Zeng,
- Abstract要約: 学生Tプロセスは、重い尾の分布とデータセットをアウトリーチでモデル化するために使用される。
本研究では,学生プロセスが現実のデータセットに対してより柔軟になるためのスパース表現フレームワークを提案する。
UCIとKaggleの様々な合成および実世界のデータセットに対する2つの提案手法の評価を行った。
- 参考スコア（独自算出の注目度）: 7.165002658532572
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The theory of Bayesian learning incorporates the use of Student-t Processes to model heavy-tailed distributions and datasets with outliers. However, despite Student-t Processes having a similar computational complexity as Gaussian Processes, there has been limited emphasis on the sparse representation of this model. This is mainly due to the increased difficulty in modeling and computation compared to previous sparse Gaussian Processes. Our motivation is to address the need for a sparse representation framework that reduces computational complexity, allowing Student-t Processes to be more flexible for real-world datasets. To achieve this, we leverage the conditional distribution of Student-t Processes to introduce sparse inducing points. Bayesian methods and variational inference are then utilized to derive a well-defined lower bound, facilitating more efficient optimization of our model through stochastic gradient descent. We propose two methods for computing the variational lower bound, one utilizing Monte Carlo sampling and the other employing Jensen's inequality to compute the KL regularization term in the loss function. We propose adopting these approaches as viable alternatives to Gaussian processes when the data might contain outliers or exhibit heavy-tailed behavior, and we provide specific recommendations for their applicability. We evaluate the two proposed approaches on various synthetic and real-world datasets from UCI and Kaggle, demonstrating their effectiveness compared to baseline methods in terms of computational complexity and accuracy, as well as their robustness to outliers.
- Abstract（参考訳）: ベイズ学習の理論は、重い尾の分布とデータセットを外れ値でモデル化する学生プロセス(英語版)を取り入れている。
しかし、ガウス過程と類似した計算複雑性を持つ学生-tプロセスにもかかわらず、このモデルのスパース表現に限定的に重点を置いている。
これは主に、以前のスパースガウス過程と比較してモデリングと計算の難しさが増しているためである。
私たちのモチベーションは、計算の複雑さを減らし、現実世界のデータセットをより柔軟にするためのスパース表現フレームワークの必要性に対処することにあります。
これを実現するために,学生プロセスの条件分布を利用してスパース誘導点を導入する。
ベイズ法と変分推論を用いて、明確に定義された下界を導出し、確率勾配勾配によるモデルのより効率的な最適化を容易にする。
本稿では,モンテカルロサンプリングとJensenの不等式を用いて損失関数のKL正規化項を計算する2つの方法を提案する。
本稿では, ガウス過程の代替として, データが外れ値を含む場合や, 重み付けされた振る舞いを示す場合の代替として, これらのアプローチを採用することを提案する。
UCI と Kaggle から得られた様々な合成および実世界のデータセットに対する2つの提案手法の評価を行い,計算複雑性と精度の点でベースライン法と比較し,その有効性を示した。
関連論文リスト
- Fast Gaussian Processes under Monotonicity Constraints [4.184089306037526]
単調性制約下での制約付きGPモデル構築のための新しい仮想点ベースフレームワークを提案する。
このフレームワークは微分方程式系の代理モデルを構築するためにさらに応用される。
論文 参考訳（メタデータ） (2025-07-09T09:09:00Z) - Vecchia-Inducing-Points Full-Scale Approximations for Gaussian Processes [9.913418444556486]
ガウス過程に対するVecchia-inducing-points full-scale (VIF)近似を提案する。
我々は、VIF近似は計算効率が良く、また、最先端の代替手法よりも精度が高く、数値的に安定であることを示した。
すべてのメソッドは、オープンソースのC++ライブラリGPBoostで実装され、ハイレベルなPythonとRインターフェースを持つ。
論文 参考訳（メタデータ） (2025-07-07T14:49:06Z) - Constructing Gaussian Processes via Samplets [0.0]
最適収束率を持つモデルを特定するために,最近の収束結果について検討する。
本稿では,ガウス過程を効率的に構築・訓練するためのサンプルベースアプローチを提案する。
論文 参考訳（メタデータ） (2024-11-11T18:01:03Z) - Efficient Fairness-Performance Pareto Front Computation [51.558848491038916]
最適公正表現はいくつかの有用な構造特性を持つことを示す。
そこで,これらの近似問題は,凹凸プログラミング法により効率的に解けることを示す。
論文 参考訳（メタデータ） (2024-09-26T08:46:48Z) - Iterative Methods for Full-Scale Gaussian Process Approximations for Large Spatial Data [9.913418444556486]
本稿では, FSAを用いた確率, 勾配, 予測分布の計算コストの削減に, 反復法をどのように利用できるかを示す。
また,推定法や反復法に依存する予測分散を計算する新しい,正確かつ高速な手法を提案する。
すべてのメソッドは、ハイレベルなPythonとRパッケージを備えたフリーのC++ソフトウェアライブラリで実装されている。
論文 参考訳（メタデータ） (2024-05-23T12:25:22Z) - Parallel and Limited Data Voice Conversion Using Stochastic Variational
Deep Kernel Learning [2.5782420501870296]
本稿では,限られたデータを扱う音声変換手法を提案する。
変分深層学習(SVDKL)に基づく。
非滑らかでより複雑な関数を推定することができる。
論文 参考訳（メタデータ） (2023-09-08T16:32:47Z) - Learning Unnormalized Statistical Models via Compositional Optimization [73.30514599338407]
実データと人工雑音のロジスティックな損失として目的を定式化することにより, ノイズコントラスト推定(NCE)を提案する。
本稿では,非正規化モデルの負の対数類似度を最適化するための直接的アプローチについて検討する。
論文 参考訳（メタデータ） (2023-06-13T01:18:16Z) - Pathwise Conditioning of Gaussian Processes [72.61885354624604]
ガウス過程後部をシミュレーションするための従来のアプローチでは、有限個の入力位置のプロセス値の限界分布からサンプルを抽出する。
この分布中心の特徴づけは、所望のランダムベクトルのサイズで3次スケールする生成戦略をもたらす。
条件付けのこのパスワイズ解釈が、ガウス過程の後部を効率的にサンプリングするのに役立てる近似の一般族をいかに生み出すかを示す。
論文 参考訳（メタデータ） (2020-11-08T17:09:37Z) - Efficient Marginalization of Discrete and Structured Latent Variables
via Sparsity [26.518803984578867]
離散的な(分類的または構造化された)潜在変数を持つニューラルネットワークモデルを訓練することは、計算的に困難である。
典型的には、真の限界のサンプリングに基づく近似に頼っている。
そこで本研究では,これらの推定器を高精度かつ効率的なマージン化によって置き換える新たなトレーニング戦略を提案する。
論文 参考訳（メタデータ） (2020-07-03T19:36:35Z) - Real-Time Regression with Dividing Local Gaussian Processes [62.01822866877782]
局所ガウス過程は、ガウス過程の回帰に基づく新しい、計算効率の良いモデリング手法である。
入力空間の反復的データ駆動分割により、実際にはトレーニングポイントの総数において、サブ線形計算複雑性が達成される。
実世界のデータセットに対する数値的な評価は、予測と更新の速度だけでなく、精度の点で他の最先端手法よりも有利であることを示している。
論文 参考訳（メタデータ） (2020-06-16T18:43:31Z) - Beyond the Mean-Field: Structured Deep Gaussian Processes Improve the
Predictive Uncertainties [12.068153197381575]
高速収束を達成しつつ、潜在過程間の共分散を維持できる新しい変分族を提案する。
新しいアプローチの効率的な実装を提供し、それをいくつかのベンチマークデータセットに適用します。
優れた結果をもたらし、最先端の代替品よりも精度とキャリブレーションされた不確実性推定とのバランスが良くなる。
論文 参考訳（メタデータ） (2020-05-22T11:10:59Z) - Global Optimization of Gaussian processes [52.77024349608834]
少数のデータポイントで学習したガウス過程を訓練した空間定式化を提案する。
このアプローチはまた、より小さく、計算的にもより安価なサブソルバを低いバウンディングに導く。
提案手法の順序の順序による時間収束を,総じて低減する。
論文 参考訳（メタデータ） (2020-05-21T20:59:11Z) - Distributed Averaging Methods for Randomized Second Order Optimization [54.51566432934556]
我々はヘッセン語の形成が計算的に困難であり、通信がボトルネックとなる分散最適化問題を考察する。
我々は、ヘッセンのサンプリングとスケッチを用いたランダム化二階最適化のための非バイアスパラメータ平均化手法を開発した。
また、不均一なコンピューティングシステムのための非バイアス分散最適化フレームワークを導入するために、二階平均化手法のフレームワークを拡張した。
論文 参考訳（メタデータ） (2020-02-16T09:01:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。