Fugu-MT 論文翻訳(概要): Tensor Network-Constrained Kernel Machines as Gaussian Processes

論文の概要: Tensor Network-Constrained Kernel Machines as Gaussian Processes

arxiv url: http://arxiv.org/abs/2403.19500v1
Date: Thu, 28 Mar 2024 15:29:30 GMT
ステータス: 処理完了
システム内更新日: 2024-03-29 15:44:37.912889
Title: Tensor Network-Constrained Kernel Machines as Gaussian Processes
Title（参考訳）: ガウス過程としてのテンソルネットワーク制約カーネルマシン
Authors: Frederiek Wesel, Kim Batselier,
Abstract要約: ポリadic Decomposition (CPD) と Train (TT) の制約されたカーネルマシンの出力がガウス過程 (GP) を回復することを証明する。我々は,同じ数のモデルパラメータに対して,TT が CPD と比較してGP の挙動を示すモデルを生成することを示す。これにより、TN制約されたカーネルマシンとGP間の接続を確立する。
参考スコア（独自算出の注目度）: 7.773092847736491
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Tensor Networks (TNs) have recently been used to speed up kernel machines by constraining the model weights, yielding exponential computational and storage savings. In this paper we prove that the outputs of Canonical Polyadic Decomposition (CPD) and Tensor Train (TT)-constrained kernel machines recover a Gaussian Process (GP), which we fully characterize, when placing i.i.d. priors over their parameters. We analyze the convergence of both CPD and TT-constrained models, and show how TT yields models exhibiting more GP behavior compared to CPD, for the same number of model parameters. We empirically observe this behavior in two numerical experiments where we respectively analyze the convergence to the GP and the performance at prediction. We thereby establish a connection between TN-constrained kernel machines and GPs.
Abstract（参考訳）: テンソルネットワーク(TN)は、最近、モデル重みを制限し、指数関数計算とストレージの節約をもたらすことで、カーネルマシンの高速化に使用されている。本稿では,カノニカルポリアディック分解(CPD)とテンソルトレイン(TT)制約カーネルマシンの出力がガウス過程(GP)を復元することを示した。我々は, CPD と TT 制約モデルの両方の収束を解析し, 同数のモデルパラメータに対して, TT が CPD と比較して GP の挙動を示すモデルを生成することを示す。この挙動を2つの数値実験で実証的に観察し,それぞれGPの収束度と予測時の性能を解析した。これにより、TN制約されたカーネルマシンとGP間の接続を確立する。

関連論文リスト

Online Variational Sequential Monte Carlo [49.97673761305336]
我々は,計算効率が高く正確なモデルパラメータ推定とベイジアン潜在状態推定を提供する変分連続モンテカルロ法(VSMC)を構築した。オンラインVSMCは、パラメータ推定と粒子提案適応の両方を効率よく、完全にオンザフライで実行することができる。
論文参考訳（メタデータ） (2023-12-19T21:45:38Z)
Heterogeneous Multi-Task Gaussian Cox Processes [61.67344039414193]
異種相関タスクを共同でモデル化するためのマルチタスクガウスコックスプロセスの新たな拡張を提案する。 MOGPは、分類、回帰、ポイントプロセスタスクの専用可能性のパラメータに先行して、異種タスク間の情報の共有を容易にする。モデルパラメータを推定するための閉形式反復更新を実現する平均場近似を導出する。
論文参考訳（メタデータ） (2023-08-29T15:01:01Z)
Linear Time GPs for Inferring Latent Trajectories from Neural Spike Trains [7.936841911281107]
我々は,Hida-Mat'ernカーネルと共役変分推論(CVI)を利用した潜在GPモデルの一般的な推論フレームワークであるcvHMを提案する。我々は任意の確率で線形時間複雑性を持つ潜在神経軌道の変分推定を行うことができる。
論文参考訳（メタデータ） (2023-06-01T16:31:36Z)
A mixed-categorical correlation kernel for Gaussian process [0.0]
本稿では, 連続指数関数型カーネルを拡張し, 混合カテゴリー変数の処理を行うカーネルベースアプローチを提案する。提案したカーネルは、連続緩和とゴーワー距離に基づくGPモデルの両方を一般化する新しいGPサロゲートを導く。
論文参考訳（メタデータ） (2022-11-15T16:13:04Z)
Sample-Then-Optimize Batch Neural Thompson Sampling [50.800944138278474]
我々はトンプソンサンプリング(TS)ポリシーに基づくブラックボックス最適化のための2つのアルゴリズムを提案する。入力クエリを選択するには、NNをトレーニングし、トレーニングされたNNを最大化してクエリを選択するだけです。我々のアルゴリズムは、大きなパラメータ行列を逆転する必要性を助長するが、TSポリシーの妥当性は保たれている。
論文参考訳（メタデータ） (2022-10-13T09:01:58Z)
FaDIn: Fast Discretized Inference for Hawkes Processes with General Parametric Kernels [82.53569355337586]
この研究は、有限なサポートを持つ一般パラメトリックカーネルを用いた時間点プロセス推論の効率的な解を提供する。脳磁図(MEG)により記録された脳信号からの刺激誘発パターンの発生をモデル化し,その有効性を評価する。その結果,提案手法により,最先端技術よりもパターン遅延の推定精度が向上することが示唆された。
論文参考訳（メタデータ） (2022-10-10T12:35:02Z)
A Sparse Expansion For Deep Gaussian Processes [33.29293167413832]
ガウス過程(TMGP)に基づいた高精度な推論と効率的なトレーニングのための効率的なスキームを提案する。合成モデルと実データセットに関する数値実験により、既存のDGPモデルよりもDTMGPの計算効率が優れていることを示した。
論文参考訳（メタデータ） (2021-12-11T00:59:33Z)
Gaussian Process Inference Using Mini-batch Stochastic Gradient Descent: Convergence Guarantees and Empirical Benefits [21.353189917487512]
勾配降下(SGD)とその変種は、機械学習問題のアルゴリズムとして確立されている。我々は、最小バッチSGDが全ログ類似損失関数の臨界点に収束することを証明して一歩前進する。我々の理論的な保証は、核関数が指数的あるいは固有デカイを示すことを前提としている。
論文参考訳（メタデータ） (2021-11-19T22:28:47Z)
Hierarchical Non-Stationary Temporal Gaussian Processes With $L^1$-Regularization [11.408721072077604]
我々は、明示的に構築された非定常共分散関数と微分方程式に基づく2つのよく使われるNSGP構成を考える。これらのNSGPは、スパース性を誘導するために、プロセスに$L1$-regularizationを含めることで拡張する。結果の正規化NSGP(R-NSGP)回帰問題を解決するために,乗算器の交互方向法(ADMM)に基づく手法を開発した。
論文参考訳（メタデータ） (2021-05-20T12:15:33Z)
Infinitely Wide Graph Convolutional Networks: Semi-supervised Learning via Gaussian Processes [144.6048446370369]
グラフ畳み込みニューラルネットワーク(GCN)は近年,グラフに基づく半教師付き半教師付き分類において有望な結果を示した。グラフに基づく半教師付き学習のためのGCN(GPGC)を用いたGP回帰モデルを提案する。 GPGCを評価するための広範囲な実験を行い、他の最先端手法よりも優れていることを示す。
論文参考訳（メタデータ） (2020-02-26T10:02:32Z)
Supervised Learning for Non-Sequential Data: A Canonical Polyadic Decomposition Approach [85.12934750565971]
特徴相互作用の効率的なモデリングは、非順序的タスクに対する教師あり学習の基盤となる。この問題を緩和するため、モデルパラメータをテンソルとして暗黙的に表現することが提案されている。表現性を向上するため,任意の高次元特徴ベクトルに特徴写像を適用できるようにフレームワークを一般化する。
論文参考訳（メタデータ） (2020-01-27T22:38:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。