論文の概要: Understanding Model Complexity for temporal tabular and multi-variate time series, case study with Numerai data science tournament

• arxiv url: http://arxiv.org/abs/2303.07925v1
• Date: Tue, 14 Mar 2023 14:10:37 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-15 14:43:56.559798
• Title: Understanding Model Complexity for temporal tabular and multi-variate time series, case study with Numerai data science tournament
• Title（参考訳）: 時系列表と多変量時系列のモデル複雑性の理解 : ヌメライデータサイエンストーナメントを事例として
• Authors: Thomas Wong, Prof. Mauricio Barahona
• Abstract要約: 異なる特徴工学手法の性能と予測が同じ平衡に収束することを示す。 異なるランダムな非線形変換と、高次元時系列をモデル化するためのリッジ回帰を組み合わせた新しいEnsemble法を提案する。 また、PyTorchのような高度なディープラーニングフレームワークを使う必要がなくなるため、モデルの単純さも利点である。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this paper, we explore the use of different feature engineering and dimensionality reduction methods in multi-variate time-series modelling. Using a feature-target cross correlation time series dataset created from Numerai tournament, we demonstrate under over-parameterised regime, both the performance and predictions from different feature engineering methods converge to the same equilibrium, which can be characterised by the reproducing kernel Hilbert space. We suggest a new Ensemble method, which combines different random non-linear transforms followed by ridge regression for modelling high dimensional time-series. Compared to some commonly used deep learning models for sequence modelling, such as LSTM and transformers, our method is more robust (lower model variance over different random seeds and less sensitive to the choice of architecture) and more efficient. An additional advantage of our method is model simplicity as there is no need to use sophisticated deep learning frameworks such as PyTorch. The learned feature rankings are then applied to the temporal tabular prediction problem in the Numerai tournament, and the predictive power of feature rankings obtained from our method is better than the baseline prediction model based on moving averages
• Abstract（参考訳）: 本稿では,多変量時系列モデリングにおける特徴工学と次元減少法の利用について検討する。 ニュメライトーナメントから作成した特徴的相互相関時系列データセットを用いて,異なる特徴工学手法による性能と予測の両方が同じ平衡に収束し,再生核ヒルベルト空間によって特徴づけられることを示した。 高次元時系列モデリングのためのランダムな非線形変換とリッジ回帰を組み合わせた新しいアンサンブル法を提案する。 LSTMやトランスフォーマーなどのシーケンスモデリングによく用いられるディープラーニングモデルと比較して,本手法はより堅牢である(異なるランダムシードに対するモデル分散が低く,アーキテクチャの選択に敏感でない)。 また、PyTorchのような高度なディープラーニングフレームワークを使う必要がなくなるため、モデルの単純さも利点である。 次に、学習した特徴ランキングを、ヌメライトーナメントにおける時間表予測問題に適用し、本手法から得られた特徴ランキングの予測力は、移動平均値に基づくベースライン予測モデルよりも優れている。

関連論文リスト

• A Pattern Discovery Approach to Multivariate Time Series Forecasting [27.130141538089152]
  モデル複雑性は時系列の長さとともに指数関数的に増加するので、最先端のディープラーニング手法はフルタイムのモデルの構築に失敗する。 本稿では,多種多様な時系列パターンを自動的にキャプチャできる新しいパターン探索手法を提案する。 また,学習可能な相関行列を提案し,複数の時系列間の相関関係をモデル化する。
  論文  参考訳（メタデータ） (2022-12-20T14:54:04Z)
• TACTiS: Transformer-Attentional Copulas for Time Series [76.71406465526454]
  時間変化量の推定は、医療や金融などの分野における意思決定の基本的な構成要素である。 本稿では,アテンションベースデコーダを用いて関節分布を推定する多元的手法を提案する。 本研究では,本モデルが実世界の複数のデータセットに対して最先端の予測を生成することを示す。
  論文  参考訳（メタデータ） (2022-02-07T21:37:29Z)
• Scaling Structured Inference with Randomization [64.18063627155128]
  本稿では、構造化されたモデルを数万の潜在状態に拡張するためにランダム化された動的プログラミング(RDP)のファミリを提案する。 我々の手法は古典的DPベースの推論に広く適用できる。 また、自動微分とも互換性があり、ニューラルネットワークとシームレスに統合できる。
  論文  参考訳（メタデータ） (2021-12-07T11:26:41Z)
• Time Series Forecasting Using Manifold Learning [6.316185724124034]
  本研究では,高次元時系列の予測のための多様体学習に基づく3層数値フレームワークを提案する。 最初のステップでは、非線形多様体学習アルゴリズムを用いて、時系列を低次元空間に埋め込む。 2番目のステップでは、埋め込み力学を予測するために、多様体上の低次回帰モデルを構築する。 最後のステップでは、埋め込み時系列を元の高次元空間に戻します。
  論文  参考訳（メタデータ） (2021-10-07T17:09:59Z)
• Randomized Neural Networks for Forecasting Time Series with Multiple Seasonality [0.0]
  この研究は、新しいランダム化に基づく学習手法を用いたニューラル予測モデルの開発に寄与する。 時系列のパターンに基づく表現は、複数の季節の時系列を予測するのに有用である。
  論文  参考訳（メタデータ） (2021-07-04T18:39:27Z)
• Anomaly Detection of Time Series with Smoothness-Inducing Sequential Variational Auto-Encoder [59.69303945834122]
  Smoothness-Inducing Sequential Variational Auto-Encoder (SISVAE) モデルを提案する。 我々のモデルは、フレキシブルニューラルネットワークを用いて各タイムスタンプの平均と分散をパラメータ化する。 合成データセットと公開実世界のベンチマークの両方において,本モデルの有効性を示す。
  論文  参考訳（メタデータ） (2021-02-02T06:15:15Z)
• Time Series Forecasting With Deep Learning: A Survey [5.351996099005896]
  我々は,1ステップアヘッドとマルチホライゾン時系列予測の両方で使用される共通エンコーダとデコーダの設計を調査した。 我々は、よく研究された統計モデルとニューラルネットワークコンポーネントを組み合わせたハイブリッドディープラーニングモデルの最近の発展に注目した。
  論文  参考訳（メタデータ） (2020-04-28T10:32:26Z)
• Variational Hyper RNN for Sequence Modeling [69.0659591456772]
  本稿では,時系列データにおける高変数の取得に優れる新しい確率的シーケンスモデルを提案する。 提案手法では,時間潜時変数を用いて基礎となるデータパターンに関する情報をキャプチャする。 提案手法の有効性を,合成および実世界のシーケンシャルデータに示す。
  論文  参考訳（メタデータ） (2020-02-24T19:30:32Z)
• Convolutional Tensor-Train LSTM for Spatio-temporal Learning [116.24172387469994]
  本稿では,ビデオシーケンスの長期相関を効率的に学習できる高次LSTMモデルを提案する。 これは、時間をかけて畳み込み特徴を組み合わせることによって予測を行う、新しいテンソルトレインモジュールによって達成される。 この結果は,幅広いアプリケーションやデータセットにおいて,最先端のパフォーマンス向上を実現している。
  論文  参考訳（メタデータ） (2020-02-21T05:00:01Z)
• Learning Gaussian Graphical Models via Multiplicative Weights [54.252053139374205]
  乗算重み更新法に基づいて,Klivans と Meka のアルゴリズムを適用した。 アルゴリズムは、文献の他のものと質的に類似したサンプル複雑性境界を楽しみます。 ランタイムが低い$O(mp2)$で、$m$サンプルと$p$ノードの場合には、簡単にオンライン形式で実装できる。
  論文  参考訳（メタデータ） (2020-02-20T10:50:58Z)
• Multivariate Probabilistic Time Series Forecasting via Conditioned Normalizing Flows [8.859284959951204]
  時系列予測は科学的・工学的な問題の基本である。 深層学習法はこの問題に適している。 多くの実世界のデータセットにおける標準メトリクスの最先端よりも改善されていることを示す。
  論文  参考訳（メタデータ） (2020-02-14T16:16:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。