論文の概要: Understanding Model Complexity for temporal tabular and multi-variate
time series, case study with Numerai data science tournament
- arxiv url: http://arxiv.org/abs/2303.07925v2
- Date: Wed, 19 Apr 2023 14:39:51 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-20 17:01:39.564742
- Title: Understanding Model Complexity for temporal tabular and multi-variate
time series, case study with Numerai data science tournament
- Title（参考訳）: 時系列表と多変量時系列のモデル複雑性の理解 : ヌメライデータサイエンストーナメントを事例として
- Authors: Thomas Wong, Mauricio Barahona
- Abstract要約: 異なる特徴工学手法の性能と予測が同じ平衡に収束することを示す。
異なるランダムな非線形変換と、高次元時系列をモデル化するためのリッジ回帰を組み合わせた新しいEnsemble法を提案する。
また、PyTorchのような高度なディープラーニングフレームワークを使う必要がなくなるため、モデルの単純さも利点である。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In this paper, we explore the use of different feature engineering and
dimensionality reduction methods in multi-variate time-series modelling. Using
a feature-target cross correlation time series dataset created from Numerai
tournament, we demonstrate under over-parameterised regime, both the
performance and predictions from different feature engineering methods converge
to the same equilibrium, which can be characterised by the reproducing kernel
Hilbert space. We suggest a new Ensemble method, which combines different
random non-linear transforms followed by ridge regression for modelling high
dimensional time-series. Compared to some commonly used deep learning models
for sequence modelling, such as LSTM and transformers, our method is more
robust (lower model variance over different random seeds and less sensitive to
the choice of architecture) and more efficient. An additional advantage of our
method is model simplicity as there is no need to use sophisticated deep
learning frameworks such as PyTorch. The learned feature rankings are then
applied to the temporal tabular prediction problem in the Numerai tournament,
and the predictive power of feature rankings obtained from our method is better
than the baseline prediction model based on moving averages
- Abstract（参考訳）: 本稿では,多変量時系列モデリングにおける特徴工学と次元減少法の利用について検討する。
ニュメライトーナメントから作成した特徴的相互相関時系列データセットを用いて,異なる特徴工学手法による性能と予測の両方が同じ平衡に収束し,再生核ヒルベルト空間によって特徴づけられることを示した。
高次元時系列モデリングのためのランダムな非線形変換とリッジ回帰を組み合わせた新しいアンサンブル法を提案する。
LSTMやトランスフォーマーなどのシーケンスモデリングによく用いられるディープラーニングモデルと比較して,本手法はより堅牢である(異なるランダムシードに対するモデル分散が低く,アーキテクチャの選択に敏感でない)。
また、PyTorchのような高度なディープラーニングフレームワークを使う必要がなくなるため、モデルの単純さも利点である。
次に、学習した特徴ランキングを、ヌメライトーナメントにおける時間表予測問題に適用し、本手法から得られた特徴ランキングの予測力は、移動平均値に基づくベースライン予測モデルよりも優れている。
関連論文リスト
- A Collaborative Ensemble Framework for CTR Prediction [73.59868761656317]
我々は、複数の異なるモデルを活用するための新しいフレームワーク、CETNet(Collaborative Ensemble Training Network)を提案する。
ナイーブなモデルスケーリングとは違って,私たちのアプローチは,共同学習による多様性とコラボレーションを重視しています。
当社のフレームワークは,Metaの3つのパブリックデータセットと大規模産業データセットに基づいて検証する。
論文 参考訳（メタデータ） (2024-11-20T20:38:56Z) - EMR-Merging: Tuning-Free High-Performance Model Merging [55.03509900949149]
Elect, Mask & Rescale-Merging (EMR-Merging) は既存のマージ手法と比較して優れた性能を示した。
EMR-Mergingはチューニング不要なので、データアベイラビリティや追加のトレーニングは必要ありません。
論文 参考訳（メタデータ） (2024-05-23T05:25:45Z) - Recency-Weighted Temporally-Segmented Ensemble for Time-Series Modeling [0.0]
プロセス産業における時系列モデリングは、複雑で多面的で進化するデータ特性を扱うという課題に直面している。
マルチステップ予測のための新しいチャンクベースアプローチであるRecency-Weighted Temporally-Segmented(ReWTS)アンサンブルモデルを導入する。
ノルウェーの排水処理場と飲料水処理場からの2年間のデータをもとに,比較分析を行った。
論文 参考訳（メタデータ） (2024-03-04T16:00:35Z) - The Bayesian Context Trees State Space Model for time series modelling
and forecasting [8.37609145576126]
実数値時系列に対してリッチな混合モデルを開発するための階層的ベイズフレームワークが導入された。
最上位では、有意義な離散状態が、最新のサンプルの適切な定量値として特定される。
下位レベルでは、実数値時系列(ベースモデル)の異なる任意のモデルが各状態と関連付けられている。
論文 参考訳（メタデータ） (2023-08-02T02:40:42Z) - Online learning techniques for prediction of temporal tabular datasets
with regime changes [0.0]
時間パネルデータセットの予測をランキングするモジュール型機械学習パイプラインを提案する。
パイプラインのモジュラリティにより、GBDT(Gradient Boosting Decision Tree)やニューラルネットワークなど、さまざまなモデルの使用が可能になる。
モデルの再トレーニングを必要としないオンライン学習技術は、予測後の結果を高めるために使用することができる。
論文 参考訳（メタデータ） (2022-12-30T17:19:00Z) - On the Generalization and Adaption Performance of Causal Models [99.64022680811281]
異なる因果発見は、データ生成プロセスを一連のモジュールに分解するために提案されている。
このようなモジュラニューラル因果モデルの一般化と適応性能について検討する。
我々の分析では、モジュラーニューラル因果モデルが、低データレギュレーションにおけるゼロおよび少数ショットの適応において、他のモデルよりも優れていることを示している。
論文 参考訳（メタデータ） (2022-06-09T17:12:32Z) - Data Summarization via Bilevel Optimization [48.89977988203108]
シンプルだが強力なアプローチは、小さなサブセットのデータを操作することだ。
本研究では,コアセット選択を基数制約付き双レベル最適化問題として定式化する汎用コアセットフレームワークを提案する。
論文 参考訳（メタデータ） (2021-09-26T09:08:38Z) - Closed-form Continuous-Depth Models [99.40335716948101]
連続深度ニューラルモデルは高度な数値微分方程式解法に依存している。
我々は,CfCネットワークと呼ばれる,記述が簡単で,少なくとも1桁高速な新しいモデル群を提示する。
論文 参考訳（メタデータ） (2021-06-25T22:08:51Z) - Improving Label Quality by Jointly Modeling Items and Annotators [68.8204255655161]
雑音アノテータから基底真理ラベルを学習するための完全ベイズ的枠組みを提案する。
我々のフレームワークは、ラベル分布上の生成的ベイズソフトクラスタリングモデルを古典的なDavidとSkeneのジョイントアノテータデータモデルに分解することでスケーラビリティを保証する。
論文 参考訳（メタデータ） (2021-06-20T02:15:20Z) - Do We Really Need Deep Learning Models for Time Series Forecasting? [4.2698418800007865]
時系列予測は、幅広い応用があるため、機械学習において重要なタスクである。
ディープラーニングとマトリックスファクタリゼーションモデルは、より競争力のあるパフォーマンスで同じ問題に取り組むために最近提案されている。
本稿では,これらの高度に複雑なディープラーニングモデルが代替手段がないかどうかを問う。
論文 参考訳（メタデータ） (2021-01-06T16:18:04Z) - Predicting Multidimensional Data via Tensor Learning [0.0]
本研究では,本データセットの内在的多次元構造を保持するモデルを開発する。
モデルパラメータを推定するために、オルタネート・リースト・スクエアスアルゴリズムを開発した。
提案モデルは,予測文献に存在するベンチマークモデルより優れている。
論文 参考訳（メタデータ） (2020-02-11T11:57:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。