論文の概要: Modality-aware Transformer for Time series Forecasting

• arxiv url: http://arxiv.org/abs/2310.01232v1
• Date: Mon, 2 Oct 2023 14:22:41 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-04 21:33:53.607939
• Title: Modality-aware Transformer for Time series Forecasting
• Title（参考訳）: 時系列予測のためのモード対応変換器
• Authors: Hajar Emami, Xuan-Hong Dang, Yousaf Shah, Petros Zerfos
• Abstract要約: 本稿では,Modality-aware Transformer という,新しいマルチモーダルトランスモデルを提案する。 本モデルでは,対象とする時系列を効果的に予測するために,分類的テキストと数値的時系列の両方のパワーを探索することに長けている。 財務データセットに関する我々の実験は、Modality-aware Transformerが既存の手法より優れていることを示した。
• 参考スコア（独自算出の注目度）: 3.7162189507142243
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Time series forecasting presents a significant challenge, particularly when its accuracy relies on external data sources rather than solely on historical values. This issue is prevalent in the financial sector, where the future behavior of time series is often intricately linked to information derived from various textual reports and a multitude of economic indicators. In practice, the key challenge lies in constructing a reliable time series forecasting model capable of harnessing data from diverse sources and extracting valuable insights to predict the target time series accurately. In this work, we tackle this challenging problem and introduce a novel multimodal transformer-based model named the Modality-aware Transformer. Our model excels in exploring the power of both categorical text and numerical timeseries to forecast the target time series effectively while providing insights through its neural attention mechanism. To achieve this, we develop feature-level attention layers that encourage the model to focus on the most relevant features within each data modality. By incorporating the proposed feature-level attention, we develop a novel Intra-modal multi-head attention (MHA), Inter-modal MHA and Modality-target MHA in a way that both feature and temporal attentions are incorporated in MHAs. This enables the MHAs to generate temporal attentions with consideration of modality and feature importance which leads to more informative embeddings. The proposed modality-aware structure enables the model to effectively exploit information within each modality as well as foster cross-modal understanding. Our extensive experiments on financial datasets demonstrate that Modality-aware Transformer outperforms existing methods, offering a novel and practical solution to the complex challenges of multi-modality time series forecasting.
• Abstract（参考訳）: 時系列の予測は、特にその正確さが歴史的価値にのみ依存するのではなく、外部データソースに依存している場合、重大な課題となる。 この問題は、時系列の将来の行動が、様々な文献的報告や多くの経済指標から得られた情報と複雑に結びついている金融業界でよく見られる。 実際、重要な課題は、様々な情報源からのデータを活用し、ターゲットの時系列を正確に予測するための貴重な洞察を抽出できる信頼性のある時系列予測モデルを構築することである。 本研究では,この課題に対処し,Modality-aware Transformerと呼ばれる新しいマルチモーダルトランスモデルを導入する。 本モデルでは,分類的テキストと数値時系列の両方のパワーを探索し,対象時系列を効果的に予測し,その神経的注意機構を通じて洞察を与える。 これを実現するために、各データモダリティ内で最も関連性の高い機能にモデルを集中させる機能レベルの注意層を開発する。 提案する特徴レベルの注意を組み込むことにより,MHAに特徴と時間的注意の両方を取り入れた新しいモーダル多頭部注意(MHA),モーダル間MHA,モーダル目標MHAを開発した。 これにより、MHAはモダリティと特徴の重要性を考慮して時間的注意を発生させ、より情報的な埋め込みをもたらす。 提案するモダリティ認識構造により,各モダリティ内の情報を効果的に活用し,クロスモダリティ理解を育むことができる。 ファイナンシャルデータセットに関する広範な実験により、Modality-aware Transformerは既存の手法よりも優れており、マルチモーダル時系列予測の複雑な課題に対する新しい実用的な解決策を提供する。

関連論文リスト

• Context is Key: A Benchmark for Forecasting with Essential Textual Information [87.3175915185287]
  コンテキスト・イズ・キー (Context is Key) (CiK) は、時系列予測ベンチマークであり、様々な種類のテキストコンテキストと数値データをペアリングする。 我々は,統計モデル,時系列基礎モデル,LLMに基づく予測モデルなど,さまざまなアプローチを評価する。 実験では、文脈情報の導入の重要性を強調し、LLMに基づく予測モデルを用いた場合の驚くべき性能を示すとともに、それらの重要な欠点を明らかにした。
  論文  参考訳（メタデータ） (2024-10-24T17:56:08Z)
• Reprogramming Foundational Large Language Models(LLMs) for Enterprise Adoption for Spatio-Temporal Forecasting Applications: Unveiling a New Era in Copilot-Guided Cross-Modal Time Series Representation Learning [0.0]
  パティオ時間予測は、輸送システム、物流、サプライチェーン管理など、様々な分野において重要な役割を担っている。 本稿では,オープンソースの大規模・小規模言語モデル(LLM,LM)と従来の予測手法を組み合わせたハイブリッド手法を提案する。
  論文  参考訳（メタデータ） (2024-08-26T16:11:53Z)
• Enhanced LFTSformer: A Novel Long-Term Financial Time Series Prediction Model Using Advanced Feature Engineering and the DS Encoder Informer Architecture [0.8532753451809455]
  本研究では,拡張LFTSformerと呼ばれる長期金融時系列の予測モデルを提案する。 このモデルは、いくつかの重要なイノベーションを通じて、自分自身を区別する。 さまざまなベンチマークストックマーケットデータセットに関するシステマティックな実験は、強化LFTSformerが従来の機械学習モデルより優れていることを示している。
  論文  参考訳（メタデータ） (2023-10-03T08:37:21Z)
• Time-LLM: Time Series Forecasting by Reprogramming Large Language Models [110.20279343734548]
  時系列予測は多くの実世界の力学系において重要な意味を持つ。 時系列予測のための大規模言語モデルを再利用するための再プログラミングフレームワークであるTime-LLMを提案する。 Time-LLMは、最先端の特殊な予測モデルよりも優れた、強力な時系列学習者である。
  論文  参考訳（メタデータ） (2023-10-03T01:31:25Z)
• Ti-MAE: Self-Supervised Masked Time Series Autoencoders [16.98069693152999]
  本稿では,Ti-MAEという新しいフレームワークを提案する。 Ti-MAEは、埋め込み時系列データをランダムにマスクアウトし、オートエンコーダを学び、ポイントレベルでそれらを再構築する。 いくつかの公開実世界のデータセットの実験では、マスク付きオートエンコーディングのフレームワークが生データから直接強力な表現を学習できることが示されている。
  論文  参考訳（メタデータ） (2023-01-21T03:20:23Z)
• Correlation Information Bottleneck: Towards Adapting Pretrained Multimodal Models for Robust Visual Question Answering [63.87200781247364]
  相関情報ボトルネック (CIB) は圧縮と表現の冗長性のトレードオフを求める。 マルチモーダル入力と表現の相互情報に対して,理論上界を厳密に導出する。
  論文  参考訳（メタデータ） (2022-09-14T22:04:10Z)
• Multi-scale Attention Flow for Probabilistic Time Series Forecasting [68.20798558048678]
  マルチスケールアテンション正規化フロー(MANF)と呼ばれる非自己回帰型ディープラーニングモデルを提案する。 我々のモデルは累積誤差の影響を回避し、時間の複雑さを増大させない。 本モデルは,多くの多変量データセット上での最先端性能を実現する。
  論文  参考訳（メタデータ） (2022-05-16T07:53:42Z)
• Multi-head Temporal Attention-Augmented Bilinear Network for Financial time series prediction [77.57991021445959]
  本稿では,時間的注意と多面的注意の考え方に基づいて,ニューラルネットワークの能力を拡張するニューラルネットワーク層を提案する。 本手法の有効性を,大規模書籍市場データを用いて検証した。
  論文  参考訳（メタデータ） (2022-01-14T14:02:19Z)
• Spatiotemporal Attention for Multivariate Time Series Prediction and Interpretation [17.568599402858037]
  最も重要な時間ステップと変数の同時学習のための時間的注意機構(STAM)。 結果: STAMは最先端の予測精度を維持しつつ,正確な解釈可能性の利点を提供する。
  論文  参考訳（メタデータ） (2020-08-11T17:34:55Z)
• Transformer Hawkes Process [79.16290557505211]
  本稿では,長期的依存関係を捕捉する自己認識機構を利用したTransformer Hawkes Process (THP) モデルを提案する。 THPは、有意なマージンによる可能性と事象予測の精度の両方の観点から、既存のモデルより優れている。 本稿では、THPが関係情報を組み込む際に、複数の点過程を学習する際の予測性能の改善を実現する具体例を示す。
  論文  参考訳（メタデータ） (2020-02-21T13:48:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。