論文の概要: Projecting basis functions with tensor networks for Gaussian process regression

• arxiv url: http://arxiv.org/abs/2310.20630v1
• Date: Tue, 31 Oct 2023 16:59:07 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-01 14:04:25.914951
• Title: Projecting basis functions with tensor networks for Gaussian process regression
• Title（参考訳）: ガウス過程回帰のためのテンソルネットワークを用いた射影基底関数
• Authors: Clara Menzen, Eva Memmel, Kim Batselier, Manon Kok
• Abstract要約: 我々は,指数的計算複雑性を伴わない指数的基底関数を利用できるアプローチを開発した。 結果の重みを元の空間に投影してGP予測を行う。 18次元のベンチマークデータセットを用いた実験では,逆動力学問題に対する本手法の適用性を示す。
• 参考スコア（独自算出の注目度）: 5.482420806459269
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper presents a method for approximate Gaussian process (GP) regression with tensor networks (TNs). A parametric approximation of a GP uses a linear combination of basis functions, where the accuracy of the approximation depends on the total number of basis functions $M$. We develop an approach that allows us to use an exponential amount of basis functions without the corresponding exponential computational complexity. The key idea to enable this is using low-rank TNs. We first find a suitable low-dimensional subspace from the data, described by a low-rank TN. In this low-dimensional subspace, we then infer the weights of our model by solving a Bayesian inference problem. Finally, we project the resulting weights back to the original space to make GP predictions. The benefit of our approach comes from the projection to a smaller subspace: It modifies the shape of the basis functions in a way that it sees fit based on the given data, and it allows for efficient computations in the smaller subspace. In an experiment with an 18-dimensional benchmark data set, we show the applicability of our method to an inverse dynamics problem.
• Abstract（参考訳）: 本稿では,テンソルネットワーク(TN)を用いた近似ガウス過程(GP)回帰法を提案する。 gp のパラメトリック近似は基底関数の線形結合を用いており、近似の精度は基底関数の総数 $m$ に依存する。 我々は,指数的計算複雑性を伴わない指数的基底関数を利用できるアプローチを開発した。 これを実現するための重要なアイデアは、低ランクのTNを使用することだ。 まず、データから適切な低次元部分空間を見つけ、低ランク tn で記述する。 この低次元部分空間では、ベイズ推定問題を解くことによってモデルの重みを推測する。 最後に、結果の重みを元の空間に投影し、GP予測を行う。 私たちのアプローチの利点は、与えられたデータに基づいて、基底関数の形状を適合するように修正し、より小さな部分空間で効率的な計算を可能にするという、より小さな部分空間への投影によるものです。 18次元のベンチマークデータセットを用いた実験では,逆動力学問題に対する本手法の適用性を示す。

関連論文リスト

• Highly Adaptive Ridge [84.38107748875144]
  直交可積分な部分微分を持つ右連続函数のクラスにおいて,$n-2/3$自由次元L2収束率を達成する回帰法を提案する。 Harは、飽和ゼロオーダーテンソル積スプライン基底展開に基づいて、特定のデータ適応型カーネルで正確にカーネルリッジレグレッションを行う。 我々は、特に小さなデータセットに対する最先端アルゴリズムよりも経験的性能が優れていることを示す。
  論文  参考訳（メタデータ） (2024-10-03T17:06:06Z)
• Deep Horseshoe Gaussian Processes [1.0742675209112622]
  直交指数核を持つディープ・ガウス過程に基づく新しい単純前処理であるディープ・ホースシュー・ガウス過程(Deep Horseshoe Gaussian process)を紹介する。 本研究は、2次損失から対数係数まで、未知の真の回帰曲線を最適に復元することを示す。
  論文  参考訳（メタデータ） (2024-03-04T05:30:43Z)
• Promises and Pitfalls of the Linearized Laplace in Bayesian Optimization [73.80101701431103]
  線形化ラプラス近似(LLA)はベイズニューラルネットワークの構築に有効で効率的であることが示されている。 ベイズ最適化におけるLLAの有用性について検討し,その性能と柔軟性を強調した。
  論文  参考訳（メタデータ） (2023-04-17T14:23:43Z)
• Active Nearest Neighbor Regression Through Delaunay Refinement [79.93030583257597]
  近接回帰に基づく能動関数近似アルゴリズムを提案する。 我々のActive Nearest Neighbor Regressor (ANNR) は計算幾何学の Voronoi-Delaunay フレームワークに頼り、空間を一定の関数値のセルに分割する。
  論文  参考訳（メタデータ） (2022-06-16T10:24:03Z)
• Sensing Cox Processes via Posterior Sampling and Positive Bases [56.82162768921196]
  本研究では,空間統計学から広く用いられている点過程の適応センシングについて検討する。 我々は、この強度関数を、特別に構築された正の基底で表される、歪んだガウス過程のサンプルとしてモデル化する。 我々の適応センシングアルゴリズムはランゲヴィン力学を用いており、後続サンプリング(textscCox-Thompson)と後続サンプリング(textscTop2)の原理に基づいている。
  論文  参考訳（メタデータ） (2021-10-21T14:47:06Z)
• Gaussian Process Subspace Regression for Model Reduction [7.41244589428771]
  部分空間値関数はパラメトリック・リダクション・オーダー・モデリング(PROM)を含む幅広い問題に現れる。 PROM では、各パラメータ点は、大きな系行列のペトロフ・ガレルキン射影に使用される部分空間に関連付けることができる。 本稿では,サブスペース予測のための新しいベイズ非モデルとして,ガウス過程部分空間回帰(GPS)モデルを提案する。
  論文  参考訳（メタデータ） (2021-07-09T20:41:23Z)
• Deep FPF: Gain function approximation in high-dimensional setting [8.164433158925592]
  フィードバック粒子フィルタ(FPF)の利得関数を近似する新しい手法を提案する。 数値的な問題は、確率分布からサンプリングされた有限個の粒子のみを用いて、正確な利得関数を近似することである。 近年のディープラーニング手法の成功に触発されて、我々はゲイン関数をニューラルネットワークの出力の勾配として表現した。
  論文  参考訳（メタデータ） (2020-10-02T20:17:21Z)
• Improving predictions of Bayesian neural nets via local linearization [79.21517734364093]
  ガウス・ニュートン近似は基礎となるベイズニューラルネットワーク(BNN)の局所線形化として理解されるべきである。 この線形化モデルを後部推論に使用するので、元のモデルではなく、この修正モデルを使用することも予測すべきである。 この修正された予測を"GLM predictive"と呼び、Laplace近似の共通不適合問題を効果的に解決することを示す。
  論文  参考訳（メタデータ） (2020-08-19T12:35:55Z)
• Projection Pursuit Gaussian Process Regression [5.837881923712394]
  コンピュータ実験の第一の目的は、分散評価によってコンピュータコードによって与えられる機能を再構築することである。 従来の等方的ガウス過程モデルは、限られたデータポイントに対して入力次元が比較的高いとき、次元の呪いに悩まされる。 非パラメトリック部分は加法ガウス過程の回帰によって駆動される射影追従モデルを考える。
  論文  参考訳（メタデータ） (2020-04-01T19:12:01Z)
• SLEIPNIR: Deterministic and Provably Accurate Feature Expansion for Gaussian Process Regression with Derivatives [86.01677297601624]
  本稿では,2次フーリエ特徴に基づく導関数によるGP回帰のスケーリング手法を提案する。 我々は、近似されたカーネルと近似された後部の両方に適用される決定論的、非漸近的、指数関数的に高速な崩壊誤差境界を証明した。
  論文  参考訳（メタデータ） (2020-03-05T14:33:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。