論文の概要: Hybrid State Space-based Learning for Sequential Data Prediction with
Joint Optimization
- arxiv url: http://arxiv.org/abs/2309.10553v1
- Date: Tue, 19 Sep 2023 12:00:28 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-20 14:45:02.619696
- Title: Hybrid State Space-based Learning for Sequential Data Prediction with
Joint Optimization
- Title（参考訳）: 共同最適化による連続データ予測のためのハイブリッド状態空間ベース学習
- Authors: Mustafa E. Ayd{\i}n, Arda Fazla, Suleyman S. Kozat
- Abstract要約: 本稿では,従来の非線形予測モデルにおいて,ドメイン固有の特徴工学的問題の必要性を緩和するハイブリッドモデルを提案する。
基本モデルに対する新しい状態空間表現を導入し、ハイブリッドやアンサンブルの完全な状態空間表現を提供する。
このような新しい組み合わせと共同最適化により、広く公開されている実生活競合データセットの大幅な改善が示された。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We investigate nonlinear prediction/regression in an online setting and
introduce a hybrid model that effectively mitigates, via a joint mechanism
through a state space formulation, the need for domain-specific feature
engineering issues of conventional nonlinear prediction models and achieves an
efficient mix of nonlinear and linear components. In particular, we use
recursive structures to extract features from raw sequential sequences and a
traditional linear time series model to deal with the intricacies of the
sequential data, e.g., seasonality, trends. The state-of-the-art ensemble or
hybrid models typically train the base models in a disjoint manner, which is
not only time consuming but also sub-optimal due to the separation of modeling
or independent training. In contrast, as the first time in the literature, we
jointly optimize an enhanced recurrent neural network (LSTM) for automatic
feature extraction from raw data and an ARMA-family time series model (SARIMAX)
for effectively addressing peculiarities associated with time series data. We
achieve this by introducing novel state space representations for the base
models, which are then combined to provide a full state space representation of
the hybrid or the ensemble. Hence, we are able to jointly optimize both models
in a single pass via particle filtering, for which we also provide the update
equations. The introduced architecture is generic so that one can use other
recurrent architectures, e.g., GRUs, traditional time series-specific models,
e.g., ETS or other optimization methods, e.g., EKF, UKF. Due to such novel
combination and joint optimization, we demonstrate significant improvements in
widely publicized real life competition datasets. We also openly share our code
for further research and replicability of our results.
- Abstract（参考訳）: オンライン環境での非線形予測/回帰について検討し、状態空間の定式化による結合機構を通じて、従来の非線形予測モデルのドメイン固有の特徴工学問題の必要性を効果的に緩和し、非線形成分と線形成分の効率的な混合を実現するハイブリッドモデルを提案する。
特に,再帰的構造を用いて生のシーケンシャルシーケンスから特徴を抽出し,従来の線形時系列モデルを用いて時系列データの複雑さ,例えば季節性,傾向を扱う。
最先端のアンサンブルやハイブリッドモデルは通常、時間消費だけでなく、モデリングや独立したトレーニングの分離による副最適化的な方法でベースモデルを訓練する。
対照的に、文献の中ではじめて、原データからの自動特徴抽出のための拡張リカレントニューラルネットワーク(LSTM)と、時系列データに関連する特異性を効果的に解決するARMAファミリー時系列モデル(SARIMAX)を共同で最適化する。
本研究では,基本モデルに対して新しい状態空間表現を導入することにより,ハイブリッドあるいはアンサンブルの完全な状態空間表現を実現する。
したがって, 粒子フィルタリングにより, 単一パスで両モデルを同時に最適化することが可能であり, 更新方程式も提供できる。
導入されたアーキテクチャは汎用的であり、例えばGRU、伝統的な時系列モデル、例えばETSや他の最適化手法、例えばEKF、UKFを使うことができる。
このような新しい組み合わせと共同最適化により、広く公開されている実生活競合データセットの大幅な改善が示された。
結果のさらなる研究と複製性のために、コードもオープンに公開しています。
関連論文リスト
- Automatically Learning Hybrid Digital Twins of Dynamical Systems [56.69628749813084]
Digital Twins (DT)は、現実世界のシステムの状態と時間力学をシミュレートする。
DTは、しばしばデータスカース設定で目に見えない条件に一般化するのに苦労します。
本稿では,HDTwinsを自律的に提案し,評価し,最適化するための進化的アルゴリズム(textbfHDTwinGen$)を提案する。
論文 参考訳（メタデータ） (2024-10-31T07:28:22Z) - A Distribution-Aware Flow-Matching for Generating Unstructured Data for Few-Shot Reinforcement Learning [1.0709300917082865]
組込みプロセッサ上の数ショット強化学習(RL)に適した合成非構造化データを生成するために設計された分散型フローマッチングを提案する。
我々はランダムフォレストを通した特徴重み付けを重要データ面の優先順位付けに適用し,生成した合成データの精度を向上させる。
本手法は,最初期の第1タイムスタンプにおいて,フレームレートを30%向上しながら,最大Q値に基づく安定収束を提供する。
論文 参考訳（メタデータ） (2024-09-21T15:50:59Z) - Latent mixed-effect models for high-dimensional longitudinal data [6.103940626659986]
LMM-VAEは,長手データに対するスケーラブルで解釈可能で識別可能なモデルである。
我々は,GPに基づく手法と理論的な関係を強調し,この手法の統一的な枠組みを提供する。
論文 参考訳（メタデータ） (2024-09-17T09:16:38Z) - Bridging Model-Based Optimization and Generative Modeling via Conservative Fine-Tuning of Diffusion Models [54.132297393662654]
本稿では,RLによる報酬モデルの最適化により,最先端拡散モデルを微調整するハイブリッド手法を提案する。
我々は、報酬モデルの補間能力を活用し、オフラインデータにおいて最良の設計を上回るアプローチの能力を実証する。
論文 参考訳（メタデータ） (2024-05-30T03:57:29Z) - HyperImpute: Generalized Iterative Imputation with Automatic Model
Selection [77.86861638371926]
カラムワイズモデルを適応的かつ自動的に構成するための一般化反復計算フレームワークを提案する。
既製の学習者,シミュレータ,インターフェースを備えた具体的な実装を提供する。
論文 参考訳（メタデータ） (2022-06-15T19:10:35Z) - A Hybrid Framework for Sequential Data Prediction with End-to-End
Optimization [0.0]
オンライン環境での非線形予測について検討し,手作業による特徴や手作業によるモデル選択の問題を効果的に緩和するハイブリッドモデルを提案する。
逐次データからの適応的特徴抽出にはLSTM(Recurrent Neural Network)、効果的な教師付き回帰には勾配強化機構(soft GBDT)を用いる。
本稿では, 合成データに対するアルゴリズムの学習挙動と, 各種実生活データセットに対する従来の手法による性能改善について述べる。
論文 参考訳（メタデータ） (2022-03-25T17:13:08Z) - Time Series Forecasting Using Manifold Learning [6.316185724124034]
本研究では,高次元時系列の予測のための多様体学習に基づく3層数値フレームワークを提案する。
最初のステップでは、非線形多様体学習アルゴリズムを用いて、時系列を低次元空間に埋め込む。
2番目のステップでは、埋め込み力学を予測するために、多様体上の低次回帰モデルを構築する。
最後のステップでは、埋め込み時系列を元の高次元空間に戻します。
論文 参考訳（メタデータ） (2021-10-07T17:09:59Z) - Autoregressive Score Matching [113.4502004812927]
自動回帰条件スコアモデル(AR-CSM)を提案する。
AR-CSMモデルでは、このデータ分布とモデル分布のばらつきを効率的に計算し、最適化することができ、高価なサンプリングや対向訓練を必要としない。
本研究では,合成データに対する密度推定,画像生成,画像復調,暗黙エンコーダを用いた潜在変数モデルの訓練に応用できることを示す。
論文 参考訳（メタデータ） (2020-10-24T07:01:24Z) - Recent Developments Combining Ensemble Smoother and Deep Generative
Networks for Facies History Matching [58.720142291102135]
本研究は、ファシズムモデルのための連続パラメータ化を構築するためのオートエンコーダネットワークの利用に焦点を当てる。
本稿では,VAE,GAN,Wasserstein GAN,変分自動符号化GAN,サイクルGANの主成分分析(PCA),転送スタイルネットワークのPCA,スタイル損失のVAEの7種類の定式化をベンチマークする。
論文 参考訳（メタデータ） (2020-05-08T21:32:42Z) - Model Fusion via Optimal Transport [64.13185244219353]
ニューラルネットワークのための階層モデル融合アルゴリズムを提案する。
これは、不均一な非i.d.データに基づいてトレーニングされたニューラルネットワーク間での"ワンショット"な知識伝達に成功していることを示す。
論文 参考訳（メタデータ） (2019-10-12T22:07:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。