論文の概要: Do We Really Need Deep Learning Models for Time Series Forecasting?
- arxiv url: http://arxiv.org/abs/2101.02118v1
- Date: Wed, 6 Jan 2021 16:18:04 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-11 00:14:54.334572
- Title: Do We Really Need Deep Learning Models for Time Series Forecasting?
- Title（参考訳）: 時系列予測にはディープラーニングモデルが必要なのでしょうか?
- Authors: Shereen Elsayed, Daniela Thyssens, Ahmed Rashed, Lars Schmidt-Thieme
and Hadi Samer Jomaa
- Abstract要約: 時系列予測は、幅広い応用があるため、機械学習において重要なタスクである。
ディープラーニングとマトリックスファクタリゼーションモデルは、より競争力のあるパフォーマンスで同じ問題に取り組むために最近提案されている。
本稿では,これらの高度に複雑なディープラーニングモデルが代替手段がないかどうかを問う。
- 参考スコア（独自算出の注目度）: 4.2698418800007865
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Time series forecasting is a crucial task in machine learning, as it has a
wide range of applications including but not limited to forecasting electricity
consumption, traffic, and air quality. Traditional forecasting models relied on
rolling averages, vector auto-regression and auto-regressive integrated moving
averages. On the other hand, deep learning and matrix factorization models have
been recently proposed to tackle the same problem with more competitive
performance. However, one major drawback of such models is that they tend to be
overly complex in comparison to traditional techniques. In this paper, we try
to answer whether these highly complex deep learning models are without
alternative. We aim to enrich the pool of simple but powerful baselines by
revisiting the gradient boosting regression trees for time series forecasting.
Specifically, we reconfigure the way time series data is handled by Gradient
Tree Boosting models in a windowed fashion that is similar to the deep learning
models. For each training window, the target values are concatenated with
external features, and then flattened to form one input instance for a
multi-output gradient boosting regression tree model. We conducted a
comparative study on nine datasets for eight state-of-the-art deep-learning
models that were presented at top-level conferences in the last years. The
results demonstrated that the proposed approach outperforms all of the
state-of-the-art models.
- Abstract（参考訳）: 時系列予測は、電力消費量、交通量、空気品質の予測に限らず、幅広い応用があるため、機械学習において重要なタスクである。
従来の予測モデルは、ローリング平均、ベクトル自動回帰、自動回帰統合移動平均に依存していた。
一方で、より競争力のあるパフォーマンスで同じ問題に取り組むために、ディープラーニングとマトリックス分解モデルが最近提案されている。
しかし、そのようなモデルの大きな欠点は、従来の手法に比べて複雑すぎる傾向があることである。
本稿では,これらの高度に複雑なディープラーニングモデルが代替手段がないかどうかを問う。
我々は,時系列予測のための勾配ブースティング回帰木を再検討することにより,単純かつ強力なベースラインのプールを強化することを目的とする。
具体的には、ディープラーニングモデルに類似したウィンドウ方式で、勾配木ブースティングモデルによる時系列データの扱い方を再設定する。
トレーニングウィンドウ毎に、ターゲット値は外部特徴と連結され、フラット化されて、マルチ出力勾配向上回帰ツリーモデルのための1つの入力インスタンスを形成する。
我々は過去数年間にトップレベルのカンファレンスで発表された8つの最先端ディープラーニングモデルに対する9つのデータセットの比較研究を行った。
その結果,提案手法は最先端モデルに匹敵することがわかった。
関連論文リスト
- Learning Augmentation Policies from A Model Zoo for Time Series Forecasting [58.66211334969299]
本稿では,強化学習に基づく学習可能なデータ拡張手法であるAutoTSAugを紹介する。
限界サンプルを学習可能なポリシーで強化することにより、AutoTSAugは予測性能を大幅に改善する。
論文 参考訳（メタデータ） (2024-09-10T07:34:19Z) - Promises and Pitfalls of Generative Masked Language Modeling: Theoretical Framework and Practical Guidelines [74.42485647685272]
GMLM(Generative Masked Language Models)に焦点を当てる。
我々は,マルコフ連鎖の入力として使用されるマスキングにより,データ分布の条件付き確率に適合するモデルを訓練し,モデルからサンプルを抽出する。
我々は,T5モデルを並列デコーディングに適応させ,最小品質の犠牲を伴って機械翻訳における2～3倍の高速化を実現した。
論文 参考訳（メタデータ） (2024-07-22T18:00:00Z) - A Two-Phase Recall-and-Select Framework for Fast Model Selection [13.385915962994806]
本稿では,2相モデル選択フレームワークを提案する。
これは、ベンチマークデータセット上でモデルのトレーニングパフォーマンスを活用することにより、堅牢なモデルを選択する効率を高めることを目的としている。
提案手法は,従来のベースライン法に比べて約3倍の速度でハイパフォーマンスモデルの選択を容易にすることが実証された。
論文 参考訳（メタデータ） (2024-03-28T14:44:44Z) - Optimizing Dense Feed-Forward Neural Networks [0.0]
本稿では,プルーニングと移動学習に基づくフィードフォワードニューラルネットワークの構築手法を提案する。
提案手法では,パラメータ数を70%以上圧縮できる。
また、ニューラルネットワークをスクラッチからトレーニングしたモデルと元のモデルを比較し、トランスファー学習レベルを評価した。
論文 参考訳（メタデータ） (2023-12-16T23:23:16Z) - Learning to Jump: Thinning and Thickening Latent Counts for Generative
Modeling [69.60713300418467]
ジャンプの学習は、様々な種類のデータの生成モデリングのための一般的なレシピである。
ジャンプの学習が、デノゼの学習と相容れないパフォーマンスを期待される場合と、より良いパフォーマンスを期待される場合を実証する。
論文 参考訳（メタデータ） (2023-05-28T05:38:28Z) - Universal Domain Adaptation from Foundation Models: A Baseline Study [58.51162198585434]
基礎モデルを用いた最先端UniDA手法の実証的研究を行った。
CLIPモデルからターゲット知識を抽出するためのパラメータフリーな手法であるtextitCLIP 蒸留を導入する。
単純な手法ではあるが、ほとんどのベンチマークタスクでは従来の手法よりも優れている。
論文 参考訳（メタデータ） (2023-05-18T16:28:29Z) - Dataless Knowledge Fusion by Merging Weights of Language Models [51.8162883997512]
微調整された事前学習言語モデルは、下流のNLPモデルを構築するための主要なパラダイムとなっている。
これは、より優れた単一モデルを生み出すために、個々のモデル間で知識を融合させる障壁を生み出します。
パラメータ空間のモデルをマージするデータレス知識融合法を提案する。
論文 参考訳（メタデータ） (2022-12-19T20:46:43Z) - Revealing Secrets From Pre-trained Models [2.0249686991196123]
トランスファーラーニングは多くの新しいディープラーニングアルゴリズムで広く採用されている。
本研究では,事前学習モデルと微調整モデルが重み値に非常によく似ていることを示す。
ブラックボックスの被害者モデルで使用されるモデルアーキテクチャと事前訓練モデルを明らかにするモデル抽出攻撃を提案する。
論文 参考訳（メタデータ） (2022-07-19T20:19:03Z) - Model Selection, Adaptation, and Combination for Deep Transfer Learning
through Neural Networks in Renewable Energies [5.953831950062808]
再生可能電力予測におけるモデル選択と伝達学習の適応のための最初の徹底的な実験を行う。
異なる季節のデータに基づくモデルを採用し、トレーニングデータの量を制限する。
複数のモデルをアンサンブルで組み合わせることで、モデル選択と適応のアプローチが大幅に改善されることを示す。
論文 参考訳（メタデータ） (2022-04-28T05:34:50Z) - Boosted Embeddings for Time Series Forecasting [0.6042845803090501]
新たな時系列予測モデルであるDeepGBを提案する。
我々は,弱い学習者が反復よりも漸進的に重みがみられるdnnである勾配ブースティングの変種を定式化し,実装する。
本モデルが実世界センサーデータと公開データセットを用いて既存の同等の最新モデルを上回ることを実証した。
論文 参考訳（メタデータ） (2021-04-10T14:38:11Z) - Fast, Accurate, and Simple Models for Tabular Data via Augmented
Distillation [97.42894942391575]
本研究では、FAST-DADを用いて、任意の複雑なアンサンブル予測を、高木、無作為林、深層ネットワークなどの個々のモデルに抽出する。
我々の個々の蒸留モデルは、H2O/AutoSklearnのようなAutoMLツールが生成するアンサンブル予測よりも10倍高速で精度が高い。
論文 参考訳（メタデータ） (2020-06-25T09:57:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。