論文の概要: A Survey of Deep Learning and Foundation Models for Time Series
Forecasting
- arxiv url: http://arxiv.org/abs/2401.13912v1
- Date: Thu, 25 Jan 2024 03:14:07 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-26 16:00:52.074487
- Title: A Survey of Deep Learning and Foundation Models for Time Series
Forecasting
- Title(参考訳): 時系列予測のための深層学習モデルと基礎モデルの検討
- Authors: John A. Miller, Mohammed Aldosari, Farah Saeed, Nasid Habib Barna,
Subas Rana, I. Budak Arpinar, and Ninghao Liu
- Abstract要約: ディープラーニングは多くのアプリケーションドメインにうまく適用されているが、その利点は時系列予測に現れるのが遅かった。
広範な事前学習を伴う基礎モデルにより、モデルはパターンを理解し、新しい関連する問題に適用可能な知識を得ることができる。
このような知識を深層学習モデルに活用または注入する方法について研究が進行中である。
- 参考スコア(独自算出の注目度): 16.814826712022324
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Deep Learning has been successfully applied to many application domains, yet
its advantages have been slow to emerge for time series forecasting. For
example, in the well-known Makridakis (M) Competitions, hybrids of traditional
statistical or machine learning techniques have only recently become the top
performers. With the recent architectural advances in deep learning being
applied to time series forecasting (e.g., encoder-decoders with attention,
transformers, and graph neural networks), deep learning has begun to show
significant advantages. Still, in the area of pandemic prediction, there remain
challenges for deep learning models: the time series is not long enough for
effective training, unawareness of accumulated scientific knowledge, and
interpretability of the model. To this end, the development of foundation
models (large deep learning models with extensive pre-training) allows models
to understand patterns and acquire knowledge that can be applied to new related
problems before extensive training data becomes available. Furthermore, there
is a vast amount of knowledge available that deep learning models can tap into,
including Knowledge Graphs and Large Language Models fine-tuned with scientific
domain knowledge. There is ongoing research examining how to utilize or inject
such knowledge into deep learning models. In this survey, several
state-of-the-art modeling techniques are reviewed, and suggestions for further
work are provided.
- Abstract(参考訳): ディープラーニングは多くのアプリケーションドメインにうまく適用されているが、その利点は時系列予測に現れるのが遅かった。
例えば、有名なMakridakis(M)コンペティションでは、従来の統計学や機械学習のテクニックのハイブリッドが、最近になってトップパフォーマーになった。
近年のディープラーニングのアーキテクチャ上の進歩は、時系列予測(注意深いエンコーダデコーダ、トランスフォーマー、グラフニューラルネットワークなど)に応用され、ディープラーニングは大きなアドバンテージを示し始めている。
それでも、パンデミック予測の領域では、ディープラーニングモデルには、効果的なトレーニング、蓄積された科学的知識の認識、モデルの解釈に十分な時間がないという課題が残っている。
この目的のために、基礎モデル(大規模な事前学習を伴う大規模ディープラーニングモデル)の開発は、広範囲なトレーニングデータが利用可能になる前に、モデルがパターンを理解し、新しい関連する問題に適用可能な知識を得ることを可能にする。
さらに、知識グラフや、科学的なドメイン知識で微調整された大きな言語モデルなど、ディープラーニングモデルが活用可能な知識もたくさんあります。
このような知識を深層学習モデルに活用または注入する方法について研究が進行中である。
本調査では,いくつかの最先端モデリング手法を概説し,今後の課題について提案する。
関連論文リスト
- PILOT: A Pre-Trained Model-Based Continual Learning Toolbox [71.63186089279218]
本稿では,PILOTとして知られるモデルベース連続学習ツールボックスについて紹介する。
一方、PILOTはL2P、DualPrompt、CODA-Promptといった事前学習モデルに基づいて、最先端のクラスインクリメンタル学習アルゴリズムを実装している。
一方、PILOTは、事前学習されたモデルの文脈に典型的なクラス増分学習アルゴリズムを適合させ、それらの効果を評価する。
論文 参考訳(メタデータ) (2023-09-13T17:55:11Z) - Deep learning models for price forecasting of financial time series: A
review of recent advancements: 2020-2022 [6.05458608266581]
ディープラーニングモデルは、価格予測タスクのための従来の統計モデルと機械学習モデルを置き換えるものだ。
このレビューは、ディープラーニングに基づく予測モデルについて深く掘り下げ、モデルアーキテクチャ、実践的応用、およびそれぞれの利点と欠点に関する情報を提示する。
この貢献には、価格予測のための複雑な構造を持つディープラーニングモデルの有効性を検討するなど、将来の研究に向けた潜在的方向性も含まれている。
論文 参考訳(メタデータ) (2023-04-21T03:46:09Z) - Stop overkilling simple tasks with black-box models and use transparent
models instead [57.42190785269343]
ディープラーニングアプローチは、生データから自律的に機能を抽出することができる。
これにより、機能エンジニアリングプロセスをバイパスすることができる。
ディープラーニング戦略は、しばしば精度で従来のモデルより優れている。
論文 参考訳(メタデータ) (2023-02-06T14:28:49Z) - Deep networks for system identification: a Survey [56.34005280792013]
システム識別は、入力出力データから動的システムの数学的記述を学習する。
同定されたモデルの主な目的は、以前の観測から新しいデータを予測することである。
我々は、フィードフォワード、畳み込み、リカレントネットワークなどの文献で一般的に採用されているアーキテクチャについて論じる。
論文 参考訳(メタデータ) (2023-01-30T12:38:31Z) - From Actions to Events: A Transfer Learning Approach Using Improved Deep
Belief Networks [1.0554048699217669]
本稿では,エネルギーモデルを用いた行動認識からイベント認識への知識マッピング手法を提案する。
このようなモデルはすべてのフレームを同時に処理し、学習プロセスを通じて空間的および時間的情報を運ぶことができる。
論文 参考訳(メタデータ) (2022-11-30T14:47:10Z) - Leveraging the structure of dynamical systems for data-driven modeling [111.45324708884813]
トレーニングセットとその構造が長期予測の品質に与える影響を考察する。
トレーニングセットのインフォームドデザインは,システムの不変性と基盤となるアトラクションの構造に基づいて,結果のモデルを大幅に改善することを示す。
論文 参考訳(メタデータ) (2021-12-15T20:09:20Z) - Model-Based Deep Learning [155.063817656602]
信号処理、通信、制御は伝統的に古典的な統計モデリング技術に依存している。
ディープニューラルネットワーク(DNN)は、データから操作を学ぶ汎用アーキテクチャを使用し、優れたパフォーマンスを示す。
私たちは、原理数学モデルとデータ駆動システムを組み合わせて両方のアプローチの利点を享受するハイブリッド技術に興味があります。
論文 参考訳(メタデータ) (2020-12-15T16:29:49Z) - Deep Learning for Road Traffic Forecasting: Does it Make a Difference? [6.220008946076208]
本稿では,このITS研究領域におけるDeep Learningの活用に言及した技術の現状を批判的に分析することに焦点を当てる。
後続の批判分析は、交通予測のためのディープラーニングの問題について、質問を定式化し、必要な議論を引き起こす。
論文 参考訳(メタデータ) (2020-12-02T15:56:11Z) - Knowledge Distillation: A Survey [87.51063304509067]
ディープニューラルネットワークは、特にコンピュータビジョンタスクにおいて、産業と学術の両方で成功している。
リソースが限られているデバイスに、これらの面倒なディープモデルをデプロイすることは難しい。
知識蒸留は、大きな教師モデルから小さな学生モデルを効果的に学習する。
論文 参考訳(メタデータ) (2020-06-09T21:47:17Z) - Time Series Forecasting With Deep Learning: A Survey [5.351996099005896]
我々は,1ステップアヘッドとマルチホライゾン時系列予測の両方で使用される共通エンコーダとデコーダの設計を調査した。
我々は、よく研究された統計モデルとニューラルネットワークコンポーネントを組み合わせたハイブリッドディープラーニングモデルの最近の発展に注目した。
論文 参考訳(メタデータ) (2020-04-28T10:32:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。