論文の概要: A Survey of Deep Learning and Foundation Models for Time Series
Forecasting
- arxiv url: http://arxiv.org/abs/2401.13912v1
- Date: Thu, 25 Jan 2024 03:14:07 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-26 16:00:52.074487
- Title: A Survey of Deep Learning and Foundation Models for Time Series
Forecasting
- Title（参考訳）: 時系列予測のための深層学習モデルと基礎モデルの検討
- Authors: John A. Miller, Mohammed Aldosari, Farah Saeed, Nasid Habib Barna,
Subas Rana, I. Budak Arpinar, and Ninghao Liu
- Abstract要約: ディープラーニングは多くのアプリケーションドメインにうまく適用されているが、その利点は時系列予測に現れるのが遅かった。
広範な事前学習を伴う基礎モデルにより、モデルはパターンを理解し、新しい関連する問題に適用可能な知識を得ることができる。
このような知識を深層学習モデルに活用または注入する方法について研究が進行中である。
- 参考スコア（独自算出の注目度）: 16.814826712022324
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Deep Learning has been successfully applied to many application domains, yet
its advantages have been slow to emerge for time series forecasting. For
example, in the well-known Makridakis (M) Competitions, hybrids of traditional
statistical or machine learning techniques have only recently become the top
performers. With the recent architectural advances in deep learning being
applied to time series forecasting (e.g., encoder-decoders with attention,
transformers, and graph neural networks), deep learning has begun to show
significant advantages. Still, in the area of pandemic prediction, there remain
challenges for deep learning models: the time series is not long enough for
effective training, unawareness of accumulated scientific knowledge, and
interpretability of the model. To this end, the development of foundation
models (large deep learning models with extensive pre-training) allows models
to understand patterns and acquire knowledge that can be applied to new related
problems before extensive training data becomes available. Furthermore, there
is a vast amount of knowledge available that deep learning models can tap into,
including Knowledge Graphs and Large Language Models fine-tuned with scientific
domain knowledge. There is ongoing research examining how to utilize or inject
such knowledge into deep learning models. In this survey, several
state-of-the-art modeling techniques are reviewed, and suggestions for further
work are provided.
- Abstract（参考訳）: ディープラーニングは多くのアプリケーションドメインにうまく適用されているが、その利点は時系列予測に現れるのが遅かった。
例えば、有名なMakridakis(M)コンペティションでは、従来の統計学や機械学習のテクニックのハイブリッドが、最近になってトップパフォーマーになった。
近年のディープラーニングのアーキテクチャ上の進歩は、時系列予測(注意深いエンコーダデコーダ、トランスフォーマー、グラフニューラルネットワークなど)に応用され、ディープラーニングは大きなアドバンテージを示し始めている。
それでも、パンデミック予測の領域では、ディープラーニングモデルには、効果的なトレーニング、蓄積された科学的知識の認識、モデルの解釈に十分な時間がないという課題が残っている。
この目的のために、基礎モデル(大規模な事前学習を伴う大規模ディープラーニングモデル)の開発は、広範囲なトレーニングデータが利用可能になる前に、モデルがパターンを理解し、新しい関連する問題に適用可能な知識を得ることを可能にする。
さらに、知識グラフや、科学的なドメイン知識で微調整された大きな言語モデルなど、ディープラーニングモデルが活用可能な知識もたくさんあります。
このような知識を深層学習モデルに活用または注入する方法について研究が進行中である。
本調査では,いくつかの最先端モデリング手法を概説し,今後の課題について提案する。
関連論文リスト
- Transfer Learning with Foundational Models for Time Series Forecasting using Low-Rank Adaptations [0.0]
本研究はLlama Lora-Integrated Autorregresive ModelであるLLIAMを提案する。
低ランク適応は、微調整フェーズとして知られる様々な時系列データセットでモデルの知識を高めるために使用される。
論文 参考訳（メタデータ） (2024-10-15T12:14:01Z) - Gradual Learning: Optimizing Fine-Tuning with Partially Mastered Knowledge in Large Language Models [51.20499954955646]
大規模言語モデル(LLM)は、事前学習期間中に大量のテキストコーパスから膨大な量の知識を取得する。
微調整や推論のような後段では、モデルは初期訓練でカバーされていない知識に遭遇する可能性がある。
本稿では,モデル全体のテスト精度と知識保持性を改善するための2段階の微調整戦略を提案する。
論文 参考訳（メタデータ） (2024-10-08T08:35:16Z) - PILOT: A Pre-Trained Model-Based Continual Learning Toolbox [71.63186089279218]
本稿では,PILOTとして知られるモデルベース連続学習ツールボックスについて紹介する。
一方、PILOTはL2P、DualPrompt、CODA-Promptといった事前学習モデルに基づいて、最先端のクラスインクリメンタル学習アルゴリズムを実装している。
一方、PILOTは、事前学習されたモデルの文脈に典型的なクラス増分学習アルゴリズムを適合させ、それらの効果を評価する。
論文 参考訳（メタデータ） (2023-09-13T17:55:11Z) - Deep learning models for price forecasting of financial time series: A
review of recent advancements: 2020-2022 [6.05458608266581]
ディープラーニングモデルは、価格予測タスクのための従来の統計モデルと機械学習モデルを置き換えるものだ。
このレビューは、ディープラーニングに基づく予測モデルについて深く掘り下げ、モデルアーキテクチャ、実践的応用、およびそれぞれの利点と欠点に関する情報を提示する。
この貢献には、価格予測のための複雑な構造を持つディープラーニングモデルの有効性を検討するなど、将来の研究に向けた潜在的方向性も含まれている。
論文 参考訳（メタデータ） (2023-04-21T03:46:09Z) - Stop overkilling simple tasks with black-box models and use transparent
models instead [57.42190785269343]
ディープラーニングアプローチは、生データから自律的に機能を抽出することができる。
これにより、機能エンジニアリングプロセスをバイパスすることができる。
ディープラーニング戦略は、しばしば精度で従来のモデルより優れている。
論文 参考訳（メタデータ） (2023-02-06T14:28:49Z) - Deep networks for system identification: a Survey [56.34005280792013]
システム識別は、入力出力データから動的システムの数学的記述を学習する。
同定されたモデルの主な目的は、以前の観測から新しいデータを予測することである。
我々は、フィードフォワード、畳み込み、リカレントネットワークなどの文献で一般的に採用されているアーキテクチャについて論じる。
論文 参考訳（メタデータ） (2023-01-30T12:38:31Z) - From Actions to Events: A Transfer Learning Approach Using Improved Deep
Belief Networks [1.0554048699217669]
本稿では,エネルギーモデルを用いた行動認識からイベント認識への知識マッピング手法を提案する。
このようなモデルはすべてのフレームを同時に処理し、学習プロセスを通じて空間的および時間的情報を運ぶことができる。
論文 参考訳（メタデータ） (2022-11-30T14:47:10Z) - Leveraging the structure of dynamical systems for data-driven modeling [111.45324708884813]
トレーニングセットとその構造が長期予測の品質に与える影響を考察する。
トレーニングセットのインフォームドデザインは,システムの不変性と基盤となるアトラクションの構造に基づいて,結果のモデルを大幅に改善することを示す。
論文 参考訳（メタデータ） (2021-12-15T20:09:20Z) - Deep Learning for Road Traffic Forecasting: Does it Make a Difference? [6.220008946076208]
本稿では,このITS研究領域におけるDeep Learningの活用に言及した技術の現状を批判的に分析することに焦点を当てる。
後続の批判分析は、交通予測のためのディープラーニングの問題について、質問を定式化し、必要な議論を引き起こす。
論文 参考訳（メタデータ） (2020-12-02T15:56:11Z) - Knowledge Distillation: A Survey [87.51063304509067]
ディープニューラルネットワークは、特にコンピュータビジョンタスクにおいて、産業と学術の両方で成功している。
リソースが限られているデバイスに、これらの面倒なディープモデルをデプロイすることは難しい。
知識蒸留は、大きな教師モデルから小さな学生モデルを効果的に学習する。
論文 参考訳（メタデータ） (2020-06-09T21:47:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。