論文の概要: A Framework for Nonstationary Gaussian Processes with Neural Network Parameters
- arxiv url: http://arxiv.org/abs/2507.12262v1
- Date: Wed, 16 Jul 2025 14:09:49 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-07-17 19:00:11.425481
- Title: A Framework for Nonstationary Gaussian Processes with Neural Network Parameters
- Title（参考訳）: ニューラルネットワークパラメータを持つ非定常ガウス過程の枠組み
- Authors: Zachary James, Joseph Guinness,
- Abstract要約: 本稿では,パラメータが特徴空間によって異なる非定常カーネルを用いて,これらのパラメータをニューラルネットワークの出力としてモデル化するフレームワークを提案する。
提案手法は,非定常パラメータの挙動を明確に記述し,大規模データセットへのスケーリングのための近似手法と互換性がある。
いくつかの機械学習データセット上で,本手法の非定常変動と雑音変動を検証した結果,定常モデルと階層モデルの両方に近似して精度とログスコアが得られた。
- 参考スコア（独自算出の注目度）: 0.8057006406834466
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Gaussian processes have become a popular tool for nonparametric regression because of their flexibility and uncertainty quantification. However, they often use stationary kernels, which limit the expressiveness of the model and may be unsuitable for many datasets. We propose a framework that uses nonstationary kernels whose parameters vary across the feature space, modeling these parameters as the output of a neural network that takes the features as input. The neural network and Gaussian process are trained jointly using the chain rule to calculate derivatives. Our method clearly describes the behavior of the nonstationary parameters and is compatible with approximation methods for scaling to large datasets. It is flexible and easily adapts to different nonstationary kernels without needing to redesign the optimization procedure. Our methods are implemented with the GPyTorch library and can be readily modified. We test a nonstationary variance and noise variant of our method on several machine learning datasets and find that it achieves better accuracy and log-score than both a stationary model and a hierarchical model approximated with variational inference. Similar results are observed for a model with only nonstationary variance. We also demonstrate our approach's ability to recover the nonstationary parameters of a spatial dataset.
- Abstract（参考訳）: ガウス過程は、その柔軟性と不確実な定量化のため、非パラメトリック回帰の一般的なツールとなった。
しかし、彼らはしばしば定常カーネルを使用し、モデルの表現性を制限し、多くのデータセットには適さない可能性がある。
本稿では,パラメータが特徴空間によって異なる非定常カーネルを用いて,これらのパラメータを特徴を入力とするニューラルネットワークの出力としてモデル化するフレームワークを提案する。
ニューラルネットワークとガウス過程は、導関数を計算するために連鎖則を用いて共同で訓練される。
提案手法は,非定常パラメータの挙動を明確に記述し,大規模データセットへのスケーリングのための近似手法と互換性がある。
柔軟性があり、最適化手順を再設計することなく、異なる非定常カーネルに容易に適応できる。
我々のメソッドはGPyTorchライブラリで実装されており、簡単に修正できる。
いくつかの機械学習データセット上で,本手法の非定常変動と雑音変動を検証した結果,定常モデルと階層モデルの両方に近似して精度とログスコアが得られた。
同様の結果は、非定常分散しか持たないモデルに対して観察される。
また、空間データセットの非定常パラメータを復元する手法の能力を実証する。
関連論文リスト
- Accelerated zero-order SGD under high-order smoothness and overparameterized regime [79.85163929026146]
凸最適化問題を解くための新しい勾配のないアルゴリズムを提案する。
このような問題は医学、物理学、機械学習で発生する。
両種類の雑音下で提案アルゴリズムの収束保証を行う。
論文 参考訳（メタデータ） (2024-11-21T10:26:17Z) - Computation-Aware Gaussian Processes: Model Selection And Linear-Time Inference [55.150117654242706]
我々は、1.8万のデータポイントでトレーニングされた計算対応GPのモデル選択が、1つのGPU上で数時間以内に可能であることを示す。
この研究の結果、ガウス過程は、不確実性を定量化する能力を著しく妥協することなく、大規模なデータセットで訓練することができる。
論文 参考訳（メタデータ） (2024-11-01T21:11:48Z) - Neural Operator Variational Inference based on Regularized Stein
Discrepancy for Deep Gaussian Processes [23.87733307119697]
本稿では,深いガウス過程に対するニューラル演算子変分推論(NOVI)を提案する。
NOVIは、ニューラルジェネレータを使用してサンプリング装置を取得し、生成された分布と真の後部の間のL2空間における正規化スタインの離散性を最小化する。
提案手法が提案するバイアスは定数で発散を乗算することで制御可能であることを示す。
論文 参考訳（メタデータ） (2023-09-22T06:56:35Z) - Parallel and Limited Data Voice Conversion Using Stochastic Variational
Deep Kernel Learning [2.5782420501870296]
本稿では,限られたデータを扱う音声変換手法を提案する。
変分深層学習(SVDKL)に基づく。
非滑らかでより複雑な関数を推定することができる。
論文 参考訳（メタデータ） (2023-09-08T16:32:47Z) - Efficient Large-scale Nonstationary Spatial Covariance Function
Estimation Using Convolutional Neural Networks [3.5455896230714194]
非定常データからサブリージョンを導出するためにConvNetsを使用します。
定常場に類似した振る舞いを示す部分領域を同定するために選択機構を用いる。
提案手法の性能を大規模に評価する。
論文 参考訳（メタデータ） (2023-06-20T12:17:46Z) - Low-rank extended Kalman filtering for online learning of neural
networks from streaming data [71.97861600347959]
非定常データストリームから非線形関数のパラメータを推定するための効率的なオンライン近似ベイズ推定アルゴリズムを提案する。
この方法は拡張カルマンフィルタ (EKF) に基づいているが、新しい低ランク+斜角行列分解法を用いている。
変分推論に基づく手法とは対照的に,本手法は完全に決定論的であり,ステップサイズチューニングを必要としない。
論文 参考訳（メタデータ） (2023-05-31T03:48:49Z) - Faithful Heteroscedastic Regression with Neural Networks [2.2835610890984164]
パラメータマップにニューラルネットワークを使用するパラメトリックメソッドは、データ内の複雑な関係をキャプチャすることができる。
ヘテロスセダティックなモデルを生成するために最適化に2つの簡単な修正を加え、ホモスセダティックなモデルとほぼ同等の精度で推定する。
提案手法は,等しくフレキシブルな平均値のみのモデルの精度を維持しつつ,クラスごとの分散キャリブレーションも提供する。
論文 参考訳（メタデータ） (2022-12-18T22:34:42Z) - RFFNet: Large-Scale Interpretable Kernel Methods via Random Fourier Features [3.0079490585515347]
RFFNetは1次最適化によってカーネルの関連性をリアルタイムで学習するスケーラブルな手法である。
提案手法はメモリフットプリントが小さく,実行時,予測誤差が低く,関連する特徴を効果的に識別できることを示す。
私たちは、Scikit-learn標準APIと結果を完全に再現するためのコードに準拠した、効率的でPyTorchベースのライブラリをユーザに提供します。
論文 参考訳（メタデータ） (2022-11-11T18:50:34Z) - FaDIn: Fast Discretized Inference for Hawkes Processes with General
Parametric Kernels [82.53569355337586]
この研究は、有限なサポートを持つ一般パラメトリックカーネルを用いた時間点プロセス推論の効率的な解を提供する。
脳磁図(MEG)により記録された脳信号からの刺激誘発パターンの発生をモデル化し,その有効性を評価する。
その結果,提案手法により,最先端技術よりもパターン遅延の推定精度が向上することが示唆された。
論文 参考訳（メタデータ） (2022-10-10T12:35:02Z) - Off-the-grid learning of mixtures from a continuous dictionary [2.774897240515734]
我々は,信号が未知の,おそらく増大する可能性のある,真の非線形パラメータによってパラメータ化された連続辞書から発行される特徴量の有限混合である一般非線形モデルを考える。
そこで本研究では,パラメータ空間上の離散化スキームを一切用いないオフ・ザ・グリッド最適化手法を提案する。
線形パラメータと非線形パラメータの両方に対する推定の質を高い確率で定量化する収束率を確立する。
論文 参考訳（メタデータ） (2022-06-29T07:55:20Z) - Scaling Structured Inference with Randomization [64.18063627155128]
本稿では、構造化されたモデルを数万の潜在状態に拡張するためにランダム化された動的プログラミング(RDP)のファミリを提案する。
我々の手法は古典的DPベースの推論に広く適用できる。
また、自動微分とも互換性があり、ニューラルネットワークとシームレスに統合できる。
論文 参考訳（メタデータ） (2021-12-07T11:26:41Z) - Scalable Variational Gaussian Processes via Harmonic Kernel
Decomposition [54.07797071198249]
汎用性を維持しつつ高い忠実度近似を提供する,スケーラブルな変分ガウス過程近似を導入する。
様々な回帰問題や分類問題において,本手法は変換やリフレクションなどの入力空間対称性を活用できることを実証する。
提案手法は, 純粋なGPモデルのうち, CIFAR-10 の最先端化を実現する。
論文 参考訳（メタデータ） (2021-06-10T18:17:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。