論文の概要: Gaussian Processes with Skewed Laplace Spectral Mixture Kernels for
Long-term Forecasting
- arxiv url: http://arxiv.org/abs/2011.03974v3
- Date: Sat, 2 Oct 2021 04:33:28 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-28 08:28:19.083884
- Title: Gaussian Processes with Skewed Laplace Spectral Mixture Kernels for
Long-term Forecasting
- Title（参考訳）: 長期予測のためのスキューラプラススペクトル混合カーネルを用いたガウス過程
- Authors: Kai Chen, Twan van Laarhoven, Elena Marchiori
- Abstract要約: 長期的な予測には、最後の観測よりもはるかに先にある地平線を予測することが含まれる。
そこで本研究では,スキュードラプラススペクトル混合物(SLSM)を用いたスペクトル密度のモデル化について提案する。
さらに,当初ニューラルネットワークの重み付けのために開発された宝くじをGPに適応させ,カーネルコンポーネントの数を自動選択する。
- 参考スコア（独自算出の注目度）: 11.729971911409637
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Long-term forecasting involves predicting a horizon that is far ahead of the
last observation. It is a problem of high practical relevance, for instance for
companies in order to decide upon expensive long-term investments. Despite the
recent progress and success of Gaussian processes (GPs) based on spectral
mixture kernels, long-term forecasting remains a challenging problem for these
kernels because they decay exponentially at large horizons. This is mainly due
to their use of a mixture of Gaussians to model spectral densities.
Characteristics of the signal important for long-term forecasting can be
unravelled by investigating the distribution of the Fourier coefficients of
(the training part of) the signal, which is non-smooth, heavy-tailed, sparse,
and skewed. The heavy tail and skewness characteristics of such distributions
in the spectral domain allow to capture long-range covariance of the signal in
the time domain. Motivated by these observations, we propose to model spectral
densities using a skewed Laplace spectral mixture (SLSM) due to the skewness of
its peaks, sparsity, non-smoothness, and heavy tail characteristics. By
applying the inverse Fourier Transform to this spectral density we obtain a new
GP kernel for long-term forecasting. In addition, we adapt the lottery ticket
method, originally developed to prune weights of a neural network, to GPs in
order to automatically select the number of kernel components. Results of
extensive experiments, including a multivariate time series, show the
beneficial effect of the proposed SLSM kernel for long-term extrapolation and
robustness to the choice of the number of mixture components.
- Abstract（参考訳）: 長期予測は、前回の観測よりもずっと先にある地平線を予測することを伴う。
これは、例えば、高価な長期投資を決定する企業にとって、高い実践的関連性の問題である。
スペクトル混合核に基づくガウス過程(GP)の最近の進歩と成功にもかかわらず、長期予測は大きな地平線で指数関数的に崩壊するため、これらのカーネルにとって難しい問題である。
これは主に、スペクトル密度のモデル化にガウスの混合物を用いたためである。
長期予測に重要な信号の特性は、非滑らかで重く、粗く、歪んだ信号のフーリエ係数(訓練部分)の分布を調べることで、損なわれることができる。
スペクトル領域におけるそのような分布の重く尾と傾き特性は、時間領域における信号の長距離共分散を捉えることができる。
そこで本研究では,スキュート・ラプラススペクトル混合物 (sweted laplace spectral mixture, slsm) を用いたスペクトル密度のモデル化を提案する。
このスペクトル密度に逆フーリエ変換を適用することにより、長期予測のための新しいGPカーネルを得る。
さらに,ニューラルネットワークの重み付けを行うために開発された抽選券方式をgpsに適用し,カーネルコンポーネント数を自動的に選択する。
多変量時系列を含む広範な実験の結果、提案されたslsmカーネルの長期外挿および混合成分数の選択に対するロバスト性に対する有用性が示された。
関連論文リスト
- Introducing Spectral Attention for Long-Range Dependency in Time Series Forecasting [36.577411683455786]
最近の線形および変圧器ベースの予測器は時系列予測において優れた性能を示している。
時系列データにおける長距離依存関係を効果的に扱うことができないという点で制約されている。
本稿では,試料間の時間的相関を保った高速かつ効果的なスペクトル注意機構を提案する。
論文 参考訳（メタデータ） (2024-10-28T06:17:20Z) - Long-Term Prediction Accuracy Improvement of Data-Driven Medium-Range Global Weather Forecast [5.284452133959932]
長期的反復予測を改善するために、Spherical Harmonic Neural Operator (SHNO)と呼ばれる普遍的神経オペレータが導入された。
SHNOは球面の高調波基底を用いて球面データの歪みを緩和し、異なるスケールでスプリアス相関によって生じるスペクトルバイアスを補正するためにゲート残留スペクトルアテンション(GRSA)を用いる。
本研究は,長期予測の精度を向上させるため,SHNOの利点と可能性を強調した。
論文 参考訳（メタデータ） (2024-06-26T02:06:27Z) - Symmetric Mean-field Langevin Dynamics for Distributional Minimax
Problems [78.96969465641024]
平均場ランゲヴィンのダイナミクスを、対称で証明可能な収束した更新で、初めて確率分布に対する最小の最適化に拡張する。
また,時間と粒子の離散化機構について検討し,カオス結果の新たな均一時間伝播を証明した。
論文 参考訳（メタデータ） (2023-12-02T13:01:29Z) - Proximal Algorithms for Accelerated Langevin Dynamics [57.08271964961975]
我々は,確率化Nesterovスキームに基づくMCMCアルゴリズムの新たなクラスを開発する。
統計処理と画像処理の異なるモデルに対して,Langevinサンプルよりも提案手法の優れた性能を示す。
論文 参考訳（メタデータ） (2023-11-24T19:56:01Z) - Jump-Diffusion Langevin Dynamics for Multimodal Posterior Sampling [3.4483987421251516]
本研究では, 複合メトロポリス法とランゲヴィン法(Langevin sample method)の合成および実データに対するジャンプ拡散法(Jump Diffusion)に類似した性能について検討した。
その結果, 純勾配系およびサンプリング系において, 混合サンプリングジャンプの慎重な校正が有意に優れていることが判明した。
論文 参考訳（メタデータ） (2022-11-02T17:35:04Z) - Resolving the Mixing Time of the Langevin Algorithm to its Stationary
Distribution for Log-Concave Sampling [34.66940399825547]
本稿では,Langevinアルゴリズムの定常分布に対する混合時間の特徴について述べる。
本稿では,差分プライバシー文献からサンプリング文献へのアプローチを紹介する。
論文 参考訳（メタデータ） (2022-10-16T05:11:16Z) - Momentum Diminishes the Effect of Spectral Bias in Physics-Informed
Neural Networks [72.09574528342732]
物理インフォームドニューラルネットワーク(PINN)アルゴリズムは、偏微分方程式(PDE)を含む幅広い問題を解く上で有望な結果を示している。
彼らはしばしば、スペクトルバイアスと呼ばれる現象のために、ターゲット関数が高周波の特徴を含むとき、望ましい解に収束しない。
本研究は, 運動量による勾配降下下で進化するPINNのトレーニングダイナミクスを, NTK(Neural Tangent kernel)を用いて研究するものである。
論文 参考訳（メタデータ） (2022-06-29T19:03:10Z) - Clipped Stochastic Methods for Variational Inequalities with
Heavy-Tailed Noise [64.85879194013407]
単調なVIPと非単調なVIPの解法における信頼度に対数的依存を持つ最初の高確率結果が証明された。
この結果は光尾の場合で最もよく知られたものと一致し,非単調な構造問題に新鮮である。
さらに,多くの実用的な定式化の勾配雑音が重く,クリッピングによりSEG/SGDAの性能が向上することを示す。
論文 参考訳（メタデータ） (2022-06-02T15:21:55Z) - Meta-Learning for Koopman Spectral Analysis with Short Time-series [49.41640137945938]
既存の手法では、ニューラルネットワークのトレーニングに長い時間を要する。
本稿では,未知の短い時系列から埋め込み関数を推定するメタラーニング手法を提案する。
提案手法は,固有値推定と将来予測の観点から,よりよい性能を実現することを実験的に実証した。
論文 参考訳（メタデータ） (2021-02-09T07:19:19Z) - Approximate Inference for Spectral Mixture Kernel [25.087829816206813]
スペクトル混合核に対する近似ベイズ推定を提案する。
抽出されたエビデンス下界(ELBO)推定器にサンプリングベース変分推定を適用することにより,変分パラメータを最適化する。
提案した推論と2つの戦略が組み合わさってパラメータの収束を加速し、より良いパラメータをもたらす。
論文 参考訳（メタデータ） (2020-06-12T09:39:29Z) - Efficiently Sampling Functions from Gaussian Process Posteriors [76.94808614373609]
高速後部サンプリングのための簡易かつ汎用的なアプローチを提案する。
分離されたサンプルパスがガウス過程の後部を通常のコストのごく一部で正確に表現する方法を実証する。
論文 参考訳（メタデータ） (2020-02-21T14:03:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。