論文の概要: Hybrid State Space-based Learning for Sequential Data Prediction with
Joint Optimization
- arxiv url: http://arxiv.org/abs/2309.10553v1
- Date: Tue, 19 Sep 2023 12:00:28 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-20 14:45:02.619696
- Title: Hybrid State Space-based Learning for Sequential Data Prediction with
Joint Optimization
- Title(参考訳): 共同最適化による連続データ予測のためのハイブリッド状態空間ベース学習
- Authors: Mustafa E. Ayd{\i}n, Arda Fazla, Suleyman S. Kozat
- Abstract要約: 本稿では,従来の非線形予測モデルにおいて,ドメイン固有の特徴工学的問題の必要性を緩和するハイブリッドモデルを提案する。
基本モデルに対する新しい状態空間表現を導入し、ハイブリッドやアンサンブルの完全な状態空間表現を提供する。
このような新しい組み合わせと共同最適化により、広く公開されている実生活競合データセットの大幅な改善が示された。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We investigate nonlinear prediction/regression in an online setting and
introduce a hybrid model that effectively mitigates, via a joint mechanism
through a state space formulation, the need for domain-specific feature
engineering issues of conventional nonlinear prediction models and achieves an
efficient mix of nonlinear and linear components. In particular, we use
recursive structures to extract features from raw sequential sequences and a
traditional linear time series model to deal with the intricacies of the
sequential data, e.g., seasonality, trends. The state-of-the-art ensemble or
hybrid models typically train the base models in a disjoint manner, which is
not only time consuming but also sub-optimal due to the separation of modeling
or independent training. In contrast, as the first time in the literature, we
jointly optimize an enhanced recurrent neural network (LSTM) for automatic
feature extraction from raw data and an ARMA-family time series model (SARIMAX)
for effectively addressing peculiarities associated with time series data. We
achieve this by introducing novel state space representations for the base
models, which are then combined to provide a full state space representation of
the hybrid or the ensemble. Hence, we are able to jointly optimize both models
in a single pass via particle filtering, for which we also provide the update
equations. The introduced architecture is generic so that one can use other
recurrent architectures, e.g., GRUs, traditional time series-specific models,
e.g., ETS or other optimization methods, e.g., EKF, UKF. Due to such novel
combination and joint optimization, we demonstrate significant improvements in
widely publicized real life competition datasets. We also openly share our code
for further research and replicability of our results.
- Abstract(参考訳): オンライン環境での非線形予測/回帰について検討し、状態空間の定式化による結合機構を通じて、従来の非線形予測モデルのドメイン固有の特徴工学問題の必要性を効果的に緩和し、非線形成分と線形成分の効率的な混合を実現するハイブリッドモデルを提案する。
特に,再帰的構造を用いて生のシーケンシャルシーケンスから特徴を抽出し,従来の線形時系列モデルを用いて時系列データの複雑さ,例えば季節性,傾向を扱う。
最先端のアンサンブルやハイブリッドモデルは通常、時間消費だけでなく、モデリングや独立したトレーニングの分離による副最適化的な方法でベースモデルを訓練する。
対照的に、文献の中ではじめて、原データからの自動特徴抽出のための拡張リカレントニューラルネットワーク(LSTM)と、時系列データに関連する特異性を効果的に解決するARMAファミリー時系列モデル(SARIMAX)を共同で最適化する。
本研究では,基本モデルに対して新しい状態空間表現を導入することにより,ハイブリッドあるいはアンサンブルの完全な状態空間表現を実現する。
したがって, 粒子フィルタリングにより, 単一パスで両モデルを同時に最適化することが可能であり, 更新方程式も提供できる。
導入されたアーキテクチャは汎用的であり、例えばGRU、伝統的な時系列モデル、例えばETSや他の最適化手法、例えばEKF、UKFを使うことができる。
このような新しい組み合わせと共同最適化により、広く公開されている実生活競合データセットの大幅な改善が示された。
結果のさらなる研究と複製性のために、コードもオープンに公開しています。
関連論文リスト
- SPDE priors for uncertainty quantification of end-to-end neural data
assimilation schemes [4.213142548113385]
ディープラーニングコミュニティの最近の進歩は、データ同化変動フレームワークを組み込んだニューラルネットワークとしてこの問題に対処する上で有効である。
本研究では、SPDEに基づくプロセスから、空間と時間の両方で非定常共分散を扱える事前モデルを推定する。
我々のニューラル変分法は、両方の状態SPDEパラメトリゼーションによる拡張状態定式化を組み込むように修正されている。
論文 参考訳(メタデータ) (2024-02-02T19:18:12Z) - The Bigger the Better? Rethinking the Effective Model Scale in Long-term
Time Series Forecasting [57.00348861248051]
時系列予測は時系列分析において重要なフロンティアである。
階層的な分解で拡張された軽量トランスフォーマーであるHDformerを紹介する。
HDformerは既存のLTSFモデルよりも優れており、パラメータは99%以上少ない。
論文 参考訳(メタデータ) (2024-01-22T13:15:40Z) - Generative Modeling of Regular and Irregular Time Series Data via
Koopman VAEs [53.91784369229405]
モデルの新しい設計に基づく新しい生成フレームワークであるKoopman VAEを紹介する。
クープマン理論に触発され、線形写像を用いて潜在条件事前力学を表現する。
以上の結果から,KVAEは,合成および実世界の時系列生成ベンチマークにおいて,最先端のGAN法およびVAE法よりも優れていた。
論文 参考訳(メタデータ) (2023-10-04T07:14:43Z) - Efficient Interpretable Nonlinear Modeling for Multiple Time Series [5.448070998907116]
本稿では,複数時系列に対する効率的な非線形モデリング手法を提案する。
異なる時系列変数間の非線形相互作用を含む。
実験結果から,提案アルゴリズムは相似的にVAR係数の支持値の同定を改善することが示された。
論文 参考訳(メタデータ) (2023-09-29T11:42:59Z) - Persistence Initialization: A novel adaptation of the Transformer
architecture for Time Series Forecasting [0.7734726150561088]
時系列予測は多くの実世界の応用において重要な問題である。
本稿では,時系列予測のタスクに着目したトランスフォーマーアーキテクチャの新たな適応を提案する。
ReZero正規化とロータリー位置符号化を備えたデコーダトランスを用いるが、この適応は任意の自己回帰型ニューラルネットワークモデルに適用できる。
論文 参考訳(メタデータ) (2022-08-30T13:04:48Z) - HyperImpute: Generalized Iterative Imputation with Automatic Model
Selection [77.86861638371926]
カラムワイズモデルを適応的かつ自動的に構成するための一般化反復計算フレームワークを提案する。
既製の学習者,シミュレータ,インターフェースを備えた具体的な実装を提供する。
論文 参考訳(メタデータ) (2022-06-15T19:10:35Z) - A Hybrid Framework for Sequential Data Prediction with End-to-End
Optimization [0.0]
オンライン環境での非線形予測について検討し,手作業による特徴や手作業によるモデル選択の問題を効果的に緩和するハイブリッドモデルを提案する。
逐次データからの適応的特徴抽出にはLSTM(Recurrent Neural Network)、効果的な教師付き回帰には勾配強化機構(soft GBDT)を用いる。
本稿では, 合成データに対するアルゴリズムの学習挙動と, 各種実生活データセットに対する従来の手法による性能改善について述べる。
論文 参考訳(メタデータ) (2022-03-25T17:13:08Z) - Time Series Forecasting Using Manifold Learning [6.316185724124034]
本研究では,高次元時系列の予測のための多様体学習に基づく3層数値フレームワークを提案する。
最初のステップでは、非線形多様体学習アルゴリズムを用いて、時系列を低次元空間に埋め込む。
2番目のステップでは、埋め込み力学を予測するために、多様体上の低次回帰モデルを構築する。
最後のステップでは、埋め込み時系列を元の高次元空間に戻します。
論文 参考訳(メタデータ) (2021-10-07T17:09:59Z) - Autoregressive Score Matching [113.4502004812927]
自動回帰条件スコアモデル(AR-CSM)を提案する。
AR-CSMモデルでは、このデータ分布とモデル分布のばらつきを効率的に計算し、最適化することができ、高価なサンプリングや対向訓練を必要としない。
本研究では,合成データに対する密度推定,画像生成,画像復調,暗黙エンコーダを用いた潜在変数モデルの訓練に応用できることを示す。
論文 参考訳(メタデータ) (2020-10-24T07:01:24Z) - Recent Developments Combining Ensemble Smoother and Deep Generative
Networks for Facies History Matching [58.720142291102135]
本研究は、ファシズムモデルのための連続パラメータ化を構築するためのオートエンコーダネットワークの利用に焦点を当てる。
本稿では,VAE,GAN,Wasserstein GAN,変分自動符号化GAN,サイクルGANの主成分分析(PCA),転送スタイルネットワークのPCA,スタイル損失のVAEの7種類の定式化をベンチマークする。
論文 参考訳(メタデータ) (2020-05-08T21:32:42Z) - Model Fusion via Optimal Transport [64.13185244219353]
ニューラルネットワークのための階層モデル融合アルゴリズムを提案する。
これは、不均一な非i.d.データに基づいてトレーニングされたニューラルネットワーク間での"ワンショット"な知識伝達に成功していることを示す。
論文 参考訳(メタデータ) (2019-10-12T22:07:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。