論文の概要: Scalable Gaussian Processes with Low-Rank Deep Kernel Decomposition

• arxiv url: http://arxiv.org/abs/2505.18526v1
• Date: Sat, 24 May 2025 05:42:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-27 16:58:42.479123
• Title: Scalable Gaussian Processes with Low-Rank Deep Kernel Decomposition
• Title（参考訳）: 低ランク深層カーネル分解によるスケーラブルガウス過程
• Authors: Yunqin Zhu, Henry Shaowu Yuchi, Yao Xie,
• Abstract要約: カーネルはガウス過程(GP)モデルにおいて、事前の信念とデータ構造を符号化する鍵である。 ディープカーネル学習は、標準的なパラメトリック形式を適用する前に、ニューラルネットワークを介して入力を入力することで、カーネルの柔軟性を向上させる。 我々は、ニューラルネットワークが直接低ランクカーネルを表現する、完全にデータ駆動でスケーラブルなディープカーネル表現を導入する。
• 参考スコア（独自算出の注目度）: 7.532273334759435
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Kernels are key to encoding prior beliefs and data structures in Gaussian process (GP) models. The design of expressive and scalable kernels has garnered significant research attention. Deep kernel learning enhances kernel flexibility by feeding inputs through a neural network before applying a standard parametric form. However, this approach remains limited by the choice of base kernels, inherits high inference costs, and often demands sparse approximations. Drawing on Mercer's theorem, we introduce a fully data-driven, scalable deep kernel representation where a neural network directly represents a low-rank kernel through a small set of basis functions. This construction enables highly efficient exact GP inference in linear time and memory without invoking inducing points. It also supports scalable mini-batch training based on a principled variational inference framework. We further propose a simple variance correction procedure to guard against overconfidence in uncertainty estimates. Experiments on synthetic and real-world data demonstrate the advantages of our deep kernel GP in terms of predictive accuracy, uncertainty quantification, and computational efficiency.
• Abstract（参考訳）: カーネルはガウス過程(GP)モデルにおいて、事前の信念とデータ構造を符号化する鍵である。 表現的かつスケーラブルなカーネルの設計は、大きな研究の注目を集めている。 ディープカーネル学習は、標準的なパラメトリック形式を適用する前に、ニューラルネットワークを介して入力を入力することで、カーネルの柔軟性を向上させる。 しかし、このアプローチは、ベースカーネルの選択によって制限され、高い推論コストを継承し、しばしばスパース近似を要求する。 マーサーの定理に基づいて、ニューラルネットワークが基底関数の小さなセットを通して、直接低ランクカーネルを表現する完全データ駆動でスケーラブルなディープカーネル表現を導入する。 この構成により、ポイントを誘導することなく、線形時間とメモリにおける高い効率の正確なGP推論が可能となる。 また、原則付き変分推論フレームワークに基づいたスケーラブルなミニバッチトレーニングもサポートする。 さらに,不確実性推定における過信を回避するための簡易な分散補正手法を提案する。 合成および実世界のデータに関する実験は、予測精度、不確かさの定量化、計算効率の観点から、私たちのディープカーネルGPの利点を実証している。

関連論文リスト

• SEEK: Self-adaptive Explainable Kernel For Nonstationary Gaussian Processes [0.0]
  ガウス過程を通じて複雑な非定常関数をモデル化するための学習可能なカーネルのクラスであるSEEKを紹介する。 人工ニューロンにインスパイアされたSEEKは、対称性と正の半定性を保証するための第一原理から導かれる。 我々は,本手法が設計選択の多くに対して堅牢であるだけでなく,予測精度と不確かさの両面で既存の定常・非定常カーネルよりも優れていることを示すため,包括的感度解析と比較研究を実施している。
  論文  参考訳（メタデータ） (2025-03-18T23:30:02Z)
• RFFNet: Large-Scale Interpretable Kernel Methods via Random Fourier Features [3.0079490585515347]
  RFFNetは1次最適化によってカーネルの関連性をリアルタイムで学習するスケーラブルな手法である。 提案手法はメモリフットプリントが小さく,実行時,予測誤差が低く,関連する特徴を効果的に識別できることを示す。 私たちは、Scikit-learn標準APIと結果を完全に再現するためのコードに準拠した、効率的でPyTorchベースのライブラリをユーザに提供します。
  論文  参考訳（メタデータ） (2022-11-11T18:50:34Z)
• FaDIn: Fast Discretized Inference for Hawkes Processes with General Parametric Kernels [82.53569355337586]
  この研究は、有限なサポートを持つ一般パラメトリックカーネルを用いた時間点プロセス推論の効率的な解を提供する。 脳磁図(MEG)により記録された脳信号からの刺激誘発パターンの発生をモデル化し,その有効性を評価する。 その結果,提案手法により,最先端技術よりもパターン遅延の推定精度が向上することが示唆された。
  論文  参考訳（メタデータ） (2022-10-10T12:35:02Z)
• Inducing Gaussian Process Networks [80.40892394020797]
  本稿では,特徴空間と誘導点を同時に学習するシンプルなフレームワークであるGaussian Process Network (IGN)を提案する。 特に誘導点は特徴空間で直接学習され、複雑な構造化領域のシームレスな表現を可能にする。 実世界のデータセットに対する実験結果から,IGNは最先端の手法よりも大幅に進歩していることを示す。
  論文  参考訳（メタデータ） (2022-04-21T05:27:09Z)
• Meta-Learning Hypothesis Spaces for Sequential Decision-making [79.73213540203389]
  オフラインデータ(Meta-KeL)からカーネルをメタ学習することを提案する。 穏やかな条件下では、推定されたRKHSが有効な信頼セットを得られることを保証します。 また,ベイズ最適化におけるアプローチの有効性を実証的に評価した。
  論文  参考訳（メタデータ） (2022-02-01T17:46:51Z)
• Kernel Identification Through Transformers [54.3795894579111]
  カーネル選択はガウス過程(GP)モデルの性能決定において中心的な役割を果たす。 この研究は、高次元GP回帰モデルのためのカスタムカーネル関数を構築するという課題に対処する。 KITT: Kernel Identification through Transformersを提案する。
  論文  参考訳（メタデータ） (2021-06-15T14:32:38Z)
• Random Features for the Neural Tangent Kernel [57.132634274795066]
  完全接続型ReLUネットワークのニューラルタンジェントカーネル(NTK)の効率的な特徴マップ構築を提案する。 得られた特徴の次元は、理論と実践の両方で比較誤差境界を達成するために、他のベースライン特徴マップ構造よりもはるかに小さいことを示しています。
  論文  参考訳（メタデータ） (2021-04-03T09:08:12Z)
• Flow-based Kernel Prior with Application to Blind Super-Resolution [143.21527713002354]
  カーネル推定は一般にブラインド画像超解像(SR)の鍵となる問題の一つである 本稿では,カーネルモデリングのための正規化フローベースカーネルプリレント(fkp)を提案する。 合成および実世界の画像の実験により、提案したFKPがカーネル推定精度を大幅に向上することを示した。
  論文  参考訳（メタデータ） (2021-03-29T22:37:06Z)
• Learning Compositional Sparse Gaussian Processes with a Shrinkage Prior [26.52863547394537]
  本稿では,カーネル選択のスパーシティをホースシュープリアーで処理することにより,カーネル構成を学習するための新しい確率論的アルゴリズムを提案する。 本モデルは,計算時間を大幅に削減した時系列特性をキャプチャし,実世界のデータセット上での競合回帰性能を有する。
  論文  参考訳（メタデータ） (2020-12-21T13:41:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。