論文の概要: Fast variable selection makes scalable Gaussian process BSS-ANOVA a
speedy and accurate choice for tabular and time series regression
- arxiv url: http://arxiv.org/abs/2205.13676v1
- Date: Thu, 26 May 2022 23:41:43 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-30 13:23:41.710546
- Title: Fast variable selection makes scalable Gaussian process BSS-ANOVA a
speedy and accurate choice for tabular and time series regression
- Title（参考訳）: 高速変数選択による拡張ガウス過程BSS-ANOVAのテーブル状および時系列回帰に対する高速かつ正確な選択
- Authors: David S. Mebane, Kyle Hayes and Ali Baheri
- Abstract要約: ガウス過程 (GP) は長い歴史を持つ非パラメトリック回帰エンジンである。
拡張性のあるGPアプローチの1つは、2009年に開発されたKL(Karhunen-Lo'eve)分解カーネルBSS-ANOVAである。
項の数を迅速かつ効果的に制限し、競争力のある精度の方法をもたらす新しい変数選択法である。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Gaussian processes (GPs) are non-parametric regression engines with a long
history. They are often overlooked in modern machine learning contexts because
of scalability issues: regression for traditional GP kernels are
$\mathcal{O}(N^3)$ where $N$ is the size of the dataset. One of a number of
scalable GP approaches is the Karhunen-Lo\'eve (KL) decomposed kernel
BSS-ANOVA, developed in 2009. It is $\mathcal{O}(NP)$ in training and
$\mathcal{O}(P)$ per point in prediction, where $P$ is the number of terms in
the ANOVA / KL expansion. A new method of forward variable selection, quickly
and effectively limits the number of terms, yielding a method with competitive
accuracies, training and inference times for large tabular datasets. The new
algorithm balances model fidelity with model complexity using Bayesian and
Akaike information criteria (BIC/AIC). The inference speed and accuracy makes
the method especially useful for modeling dynamic systems in a model-free
manner, by modeling the derivative in a dynamic system as a static problem,
then integrating the learned dynamics using a high-order scheme. The methods
are demonstrated on a `Susceptible, Infected, Recovered' (SIR) toy problem,
with the transmissibility used as forcing function, along with the `Cascaded
Tanks' benchmark dataset. Comparisons on the static prediction of derivatives
are made with a Random Forest and Residual Neural Network, while for the
timeseries prediction comparisons are made with LSTM and GRU recurrent neural
networks. The GP outperforms the other methods in all modeling tasks on
accuracy, while (in the case of the neural networks) performing many orders of
magnitude fewer calculations. For the SIR test, which involved prediction for a
set of forcing functions qualitatively different from those appearing in the
training set, the GP captured the correct dynamics while the neural networks
failed to do so.
- Abstract（参考訳）: ガウス過程 (GP) は長い歴史を持つ非パラメトリック回帰エンジンである。
従来のGPカーネルの回帰は$\mathcal{O}(N^3)$であり、$N$はデータセットのサイズである。
拡張性のあるGPアプローチの1つとして、2009年に開発されたKLカーネルのBSS-ANOVAがある。
トレーニングでは$\mathcal{O}(NP)$、予測では$\mathcal{O}(P)$である。
単語の数を迅速かつ効果的に制限する新しい変数選択法は、大きな表付きデータセットに対する競合的精度、トレーニング、推論時間を持つ方法をもたらす。
このアルゴリズムは,ベイジアンおよび赤池情報基準(BIC/AIC)を用いて,モデル忠実度とモデル複雑性のバランスをとる。
推論速度と精度は、動的システムの微分を静的問題としてモデル化し、高次スキームを用いて学習力学を統合することにより、特にモデルのない方法で動的システムのモデリングに有用である。
提案手法は,'susceptible, infected, recovered' (sir) トイ問題に対して,'cascaded tanks' ベンチマークデータセットとともに強制機能として使用される透過性を示す。
導関数の静的予測はランダムフォレストと残留ニューラルネットワークで比較し、時系列予測ではlstmとgrrecurrentニューラルネットワークで比較する。
gpは、(ニューラルネットワークの場合)多くの桁違いに少ない計算を実行する一方で、すべてのモデリングタスクで他の手法を精度で上回っている。
トレーニングセットに現れる機能と定性的に異なる一連の強制関数の予測を含むSIRテストでは、GPが正しいダイナミクスをキャプチャし、ニューラルネットワークはそれを実行できなかった。
関連論文リスト
- Accelerated zero-order SGD under high-order smoothness and overparameterized regime [79.85163929026146]
凸最適化問題を解くための新しい勾配のないアルゴリズムを提案する。
このような問題は医学、物理学、機械学習で発生する。
両種類の雑音下で提案アルゴリズムの収束保証を行う。
論文 参考訳（メタデータ） (2024-11-21T10:26:17Z) - Beyond Closure Models: Learning Chaotic-Systems via Physics-Informed Neural Operators [78.64101336150419]
カオスシステムの長期的挙動を予測することは、気候モデリングなどの様々な応用に不可欠である。
このような完全解法シミュレーションに対する別のアプローチは、粗いグリッドを使用して、時間テキストモデルによってエラーを修正することである。
この制限を克服する物理インフォームド・ニューラル演算子(PINO)を用いたエンド・ツー・エンドの学習手法を提案する。
論文 参考訳（メタデータ） (2024-08-09T17:05:45Z) - Gaussian Process Neural Additive Models [3.7969209746164325]
ランダムフーリエ特徴を用いたガウス過程の単一層ニューラルネットワーク構築を用いたニューラル付加モデル(NAM)の新たなサブクラスを提案する。
GP-NAMは凸目的関数と、特徴次元と線形に成長する訓練可能なパラメータの数が有利である。
GP-NAMは,パラメータ数を大幅に削減して,分類タスクと回帰タスクの両方において,同等あるいはより優れた性能が得られることを示す。
論文 参考訳（メタデータ） (2024-02-19T20:29:34Z) - Distribution learning via neural differential equations: a nonparametric
statistical perspective [1.4436965372953483]
この研究は、確率変換によって訓練されたODEモデルによる分布学習のための最初の一般統計収束解析を確立する。
後者はクラス $mathcal F$ の$C1$-metric entropy で定量化できることを示す。
次に、この一般フレームワークを$Ck$-smoothターゲット密度の設定に適用し、関連する2つの速度場クラスに対する最小最適収束率を$mathcal F$:$Ck$関数とニューラルネットワークに設定する。
論文 参考訳（メタデータ） (2023-09-03T00:21:37Z) - Provable Identifiability of Two-Layer ReLU Neural Networks via LASSO
Regularization [15.517787031620864]
LASSOの領域は、ファッショナブルで強力な非線形回帰モデルである2層ReLUニューラルネットワークに拡張される。
LASSO推定器はニューラルネットワークを安定的に再構築し,サンプル数が対数的にスケールする場合に$mathcalSstar$を識別可能であることを示す。
我々の理論は、2層ReLUニューラルネットワークのための拡張Restricted Isometry Property (RIP)ベースの分析フレームワークにある。
論文 参考訳（メタデータ） (2023-05-07T13:05:09Z) - Scaling Structured Inference with Randomization [64.18063627155128]
本稿では、構造化されたモデルを数万の潜在状態に拡張するためにランダム化された動的プログラミング(RDP)のファミリを提案する。
我々の手法は古典的DPベースの推論に広く適用できる。
また、自動微分とも互換性があり、ニューラルネットワークとシームレスに統合できる。
論文 参考訳（メタデータ） (2021-12-07T11:26:41Z) - Inverting brain grey matter models with likelihood-free inference: a
tool for trustable cytoarchitecture measurements [62.997667081978825]
脳の灰白質細胞構造の特徴は、体密度と体積に定量的に敏感であり、dMRIでは未解決の課題である。
我々は新しいフォワードモデル、特に新しい方程式系を提案し、比較的スパースなb殻を必要とする。
次に,提案手法を逆転させるため,確率自由推論 (LFI) として知られるベイズ解析から最新のツールを適用した。
論文 参考訳（メタデータ） (2021-11-15T09:08:27Z) - Incremental Ensemble Gaussian Processes [53.3291389385672]
本稿では,EGPメタラーナーがGP学習者のインクリメンタルアンサンブル(IE-) GPフレームワークを提案し,それぞれが所定のカーネル辞書に属するユニークなカーネルを持つ。
各GP専門家は、ランダムな特徴ベースの近似を利用してオンライン予測とモデル更新を行い、そのスケーラビリティを生かし、EGPメタラーナーはデータ適応重みを生かし、熟練者ごとの予測を合成する。
新たなIE-GPは、EGPメタラーナーおよび各GP学習者内における構造化力学をモデル化することにより、時間変化関数に対応するように一般化される。
論文 参考訳（メタデータ） (2021-10-13T15:11:25Z) - Robust Implicit Networks via Non-Euclidean Contractions [63.91638306025768]
暗黙のニューラルネットワークは、精度の向上とメモリ消費の大幅な削減を示す。
彼らは不利な姿勢と収束の不安定さに悩まされる。
本論文は,ニューラルネットワークを高機能かつ頑健に設計するための新しい枠組みを提供する。
論文 参考訳（メタデータ） (2021-06-06T18:05:02Z) - Neural Jump Ordinary Differential Equations: Consistent Continuous-Time
Prediction and Filtering [6.445605125467574]
我々は、連続的に学習するデータ駆動型アプローチを提供するNeural Jump ODE(NJ-ODE)を紹介する。
我々のモデルは、$L2$-Optimalオンライン予測に収束することを示す。
我々は,より複雑な学習タスクにおいて,モデルがベースラインより優れていることを示す。
論文 参考訳（メタデータ） (2020-06-08T16:34:51Z) - Deep Latent-Variable Kernel Learning [25.356503463916816]
本稿では,潜在変数が正規化表現の符号化を行う完全潜時可変カーネル学習(DLVKL)モデルを提案する。
実験により、DLVKL-NSDEは、小さなデータセット上でよく校正されたGPと同様に動作し、大きなデータセット上で既存のディープGPより優れていることが示された。
論文 参考訳（メタデータ） (2020-05-18T05:55:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。