論文の概要: Randomly Projected Additive Gaussian Processes for Regression

• arxiv url: http://arxiv.org/abs/1912.12834v1
• Date: Mon, 30 Dec 2019 07:26:18 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-17 02:06:29.182291
• Title: Randomly Projected Additive Gaussian Processes for Regression
• Title（参考訳）: 回帰のためのランダム射影付加ガウス過程
• Authors: Ian A. Delbridge, David S. Bindel, Andrew Gordon Wilson
• Abstract要約: GPレグレッションにはカーネルの加算和を使用し、各カーネルはその入力の異なるランダムなプロジェクションで動作する。 この収束とその速度を証明し、純粋にランダムな射影よりも早く収束する決定論的アプローチを提案する。
• 参考スコア（独自算出の注目度）: 37.367935314532154
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Gaussian processes (GPs) provide flexible distributions over functions, with inductive biases controlled by a kernel. However, in many applications Gaussian processes can struggle with even moderate input dimensionality. Learning a low dimensional projection can help alleviate this curse of dimensionality, but introduces many trainable hyperparameters, which can be cumbersome, especially in the small data regime. We use additive sums of kernels for GP regression, where each kernel operates on a different random projection of its inputs. Surprisingly, we find that as the number of random projections increases, the predictive performance of this approach quickly converges to the performance of a kernel operating on the original full dimensional inputs, over a wide range of data sets, even if we are projecting into a single dimension. As a consequence, many problems can remarkably be reduced to one dimensional input spaces, without learning a transformation. We prove this convergence and its rate, and additionally propose a deterministic approach that converges more quickly than purely random projections. Moreover, we demonstrate our approach can achieve faster inference and improved predictive accuracy for high-dimensional inputs compared to kernels in the original input space.
• Abstract（参考訳）: ガウス過程(GP)は、カーネルによって制御される誘導バイアスを持つ関数上の柔軟な分布を提供する。 しかし、多くの応用において、ガウス過程は中等度な入力次元に苦しむことがある。 低次元プロジェクションの学習は、この呪いの次元性を軽減するのに役立つが、訓練可能なハイパーパラメータが多数導入されている。 我々はgp回帰のためにカーネルの加算和を使い、各カーネルは入力の異なるランダムな投影で動作する。 驚くべきことに、ランダムなプロジェクションの数が増えると、このアプローチの予測性能は、たとえ私たちが単一の次元に投影しているとしても、元の全次元入力で動作しているカーネルのパフォーマンスに素早く収束する。 その結果、多くの問題は変換を学習することなく、1次元の入力空間に著しく縮小することができる。 この収束とその速度を証明し、また純粋にランダムな射影よりも早く収束する決定論的アプローチを提案する。 さらに,本手法は,従来の入力空間のカーネルと比較して,高速な推論と高次元入力の予測精度の向上を実現する。

関連論文リスト

• Gaussian Processes Sampling with Sparse Grids under Additive Schwarz Preconditioner [6.408773096179187]
  本稿では,GPモデルの前と後をランダムに実現するためのスケーラブルなアルゴリズムを提案する。 提案アルゴリズムはスパースグリッドを用いた点近似と加法的シュワルツプレコンディショナーを利用する。
  論文  参考訳（メタデータ） (2024-08-01T00:19:36Z)
• Score-based Diffusion Models in Function Space [140.792362459734]
  拡散モデルは、最近、生成モデリングの強力なフレームワークとして登場した。 本稿では,関数空間における拡散モデルをトレーニングするためのDDO(Denoising Diffusion Operators)という,数学的に厳密なフレームワークを提案する。 データ解像度に依存しない固定コストで、対応する離散化アルゴリズムが正確なサンプルを生成することを示す。
  論文  参考訳（メタデータ） (2023-02-14T23:50:53Z)
• FaDIn: Fast Discretized Inference for Hawkes Processes with General Parametric Kernels [82.53569355337586]
  この研究は、有限なサポートを持つ一般パラメトリックカーネルを用いた時間点プロセス推論の効率的な解を提供する。 脳磁図(MEG)により記録された脳信号からの刺激誘発パターンの発生をモデル化し,その有効性を評価する。 その結果,提案手法により,最先端技術よりもパターン遅延の推定精度が向上することが示唆された。
  論文  参考訳（メタデータ） (2022-10-10T12:35:02Z)
• B\'ezier Gaussian Processes for Tall and Wide Data [24.00638575411818]
  入力機能の数に応じて指数関数的に変数の総和が増大するカーネルを導入する。 我々のカーネルはガウス過程の回帰において最もよく使われるカーネルのいくつかとよく似ていることを示す。
  論文  参考訳（メタデータ） (2022-09-01T10:22:14Z)
• Gaussian Processes and Statistical Decision-making in Non-Euclidean Spaces [96.53463532832939]
  我々はガウス過程の適用性を高める技術を開発した。 この観点から構築した効率的な近似を幅広く導入する。 非ユークリッド空間上のガウス過程モデルの集合を開発する。
  論文  参考訳（メタデータ） (2022-02-22T01:42:57Z)
• Scalable Variational Gaussian Processes via Harmonic Kernel Decomposition [54.07797071198249]
  汎用性を維持しつつ高い忠実度近似を提供する,スケーラブルな変分ガウス過程近似を導入する。 様々な回帰問題や分類問題において,本手法は変換やリフレクションなどの入力空間対称性を活用できることを実証する。 提案手法は, 純粋なGPモデルのうち, CIFAR-10 の最先端化を実現する。
  論文  参考訳（メタデータ） (2021-06-10T18:17:57Z)
• Factorized Gaussian Process Variational Autoencoders [6.866104126509981]
  変分オートエンコーダは、しばしば等方的ガウス先行と平均体後部を仮定するので、潜在変数間の類似性や一貫性を期待するシナリオでは構造を利用できない。 多くのデータセットに存在する補助的特徴の独立性を活用することにより、これらのモデルのよりスケーラブルな拡張を提案する。
  論文  参考訳（メタデータ） (2020-11-14T10:24:10Z)
• Sparse Spectrum Warped Input Measures for Nonstationary Kernel Learning [29.221457769884648]
  本研究では,非定常カーネルを学習するための明示的,入力に依存した,計測値のワーピングの一般的な形式を提案する。 提案した学習アルゴリズムは、標準定常カーネルの滑らかさを制御する条件付きガウス測度として入力をワープする。 我々は,小・大規模データ体制の学習問題において,ワーピング関数のパラメータ数に顕著な効率性を示す。
  論文  参考訳（メタデータ） (2020-10-09T01:10:08Z)
• Gaussianization Flows [113.79542218282282]
  そこで本研究では,サンプル生成における効率のよい繰り返しと効率のよい逆変換を両立できる新しい型正規化フローモデルを提案する。 この保証された表現性のため、サンプル生成の効率を損なうことなく、マルチモーダルなターゲット分布をキャプチャできる。
  論文  参考訳（メタデータ） (2020-03-04T08:15:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。