論文の概要: Generalizable autoregressive modeling of time series through functional narratives

• arxiv url: http://arxiv.org/abs/2410.08421v1
• Date: Thu, 10 Oct 2024 23:48:39 GMT
• ステータス: 処理完了
• システム内更新日: 2024-10-31 03:26:42.318095
• Title: Generalizable autoregressive modeling of time series through functional narratives
• Title（参考訳）: 機能的物語による時系列の一般化可能な自己回帰モデル
• Authors: Ran Liu, Wenrui Ma, Ellen Zippi, Hadi Pouransari, Jingyun Xiao, Chris Sandino, Behrooz Mahasseni, Juri Minxha, Erdrin Azemi, Eva L. Dyer, Ali Moin,
• Abstract要約: 関数空間における異なる強度の作用素を構成することにより、時系列の代替系列を構築する。 我々は、最も単純化された変種から原サンプルを段階的に回収する自己回帰変換器を訓練する。 本結果は,汎用動的学習システムとしてのNoTSの可能性を示すものである。
• 参考スコア（独自算出の注目度）: 8.215849691715517
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Time series data are inherently functions of time, yet current transformers often learn time series by modeling them as mere concatenations of time periods, overlooking their functional properties. In this work, we propose a novel objective for transformers that learn time series by re-interpreting them as temporal functions. We build an alternative sequence of time series by constructing degradation operators of different intensity in the functional space, creating augmented variants of the original sample that are abstracted or simplified to different degrees. Based on the new set of generated sequence, we train an autoregressive transformer that progressively recovers the original sample from the most simplified variant. Analogous to the next word prediction task in languages that learns narratives by connecting different words, our autoregressive transformer aims to learn the Narratives of Time Series (NoTS) by connecting different functions in time. Theoretically, we justify the construction of the alternative sequence through its advantages in approximating functions. When learning time series data with transformers, constructing sequences of temporal functions allows for a broader class of approximable functions (e.g., differentiation) compared to sequences of time periods, leading to a 26\% performance improvement in synthetic feature regression experiments. Experimentally, we validate NoTS in 3 different tasks across 22 real-world datasets, where we show that NoTS significantly outperforms other pre-training methods by up to 6\%. Additionally, combining NoTS on top of existing transformer architectures can consistently boost the performance. Our results demonstrate the potential of NoTS as a general-purpose dynamic learner, offering a viable alternative for developing foundation models for time series analysis.
• Abstract（参考訳）: 時系列データは本質的に時間の関数であるが、現在の変換器はそれらを単に時間の連結としてモデル化し、それらの機能的性質を見渡すことで時系列を学習する。 本研究では,時系列を時間関数として再解釈することで時系列を学習するトランスフォーマーの新たな目的を提案する。 関数空間における異なる強度の分解作用素を構築し、異なる次数に抽象化または単純化された元のサンプルの付加的な変種を生成することで、時系列の代替シーケンスを構築する。 生成シーケンスの新たなセットに基づいて、最も単純化された変種から元のサンプルを段階的に復元する自己回帰変換器を訓練する。 異なる単語を接続することで物語を学習する言語における次の単語予測タスクに類似して、我々の自己回帰変換器は、異なる関数を時間的に接続することで、時系列の物語(NoTS)を学習することを目的としている。 理論的には、近似関数の利点を通じて、代替系列の構成を正当化する。 変換器を用いて時系列データを学習する場合、時間関数の列を構成することにより、時間周期の列と比較してより広範な近似可能な関数(例えば微分)が得られ、合成特徴回帰実験では26倍の性能向上が達成される。 実験により,22個の実世界のデータセットにまたがる3つのタスクにおけるNoTSの有効性を検証した。 さらに、既存のトランスフォーマーアーキテクチャ上にNoTSを組み合わせることで、パフォーマンスが継続的に向上する。 本研究は, 時系列解析のための基礎モデル構築に有効な代替手段として, 汎用動的学習システムとしてのNoTSの可能性を示すものである。

関連論文リスト

• PRformer: Pyramidal Recurrent Transformer for Multivariate Time Series Forecasting [82.03373838627606]
  Transformerアーキテクチャにおける自己保持機構は、時系列予測において時間順序を符号化するために位置埋め込みを必要とする。 この位置埋め込みへの依存は、トランスフォーマーの時間的シーケンスを効果的に表現する能力を制限している、と我々は主張する。 本稿では,Prepreを標準的なTransformerエンコーダと統合し,様々な実世界のデータセット上での最先端性能を示す。
  論文  参考訳（メタデータ） (2024-08-20T01:56:07Z)
• iTransformer: Inverted Transformers Are Effective for Time Series Forecasting [62.40166958002558]
  iTransformerを提案する。これは、逆次元に注意とフィードフォワードのネットワークを単純に適用する。 iTransformerモデルは、挑戦的な現実世界のデータセットの最先端を実現する。
  論文  参考訳（メタデータ） (2023-10-10T13:44:09Z)
• TEMPO: Prompt-based Generative Pre-trained Transformer for Time Series Forecasting [24.834846119163885]
  本稿では,時系列表現を効果的に学習できる新しいフレームワークTEMPOを提案する。 TEMPOは、様々な領域のデータから現実世界の時間現象を動的にモデル化する機能を拡張する。
  論文  参考訳（メタデータ） (2023-10-08T00:02:25Z)
• TACTiS-2: Better, Faster, Simpler Attentional Copulas for Multivariate Time Series [57.4208255711412]
  パウラ理論に基づいて,最近導入されたトランスフォーマーに基づく注目パウラ(TACTiS)の簡易な目的を提案する。 結果から,実世界の予測タスクにまたがって,このモデルのトレーニング性能が大幅に向上し,最先端のパフォーマンスが達成できることが示唆された。
  論文  参考訳（メタデータ） (2023-10-02T16:45:19Z)
• FormerTime: Hierarchical Multi-Scale Representations for Multivariate Time Series Classification [53.55504611255664]
  formerTimeは、多変量時系列分類タスクの分類能力を改善する階層的表現モデルである。 1)時系列データから階層的なマルチスケール表現を学習し、(2)トランスフォーマーと畳み込みネットワークの強さを継承し、(3)自己維持メカニズムによって引き起こされる効率の課題に取り組む。
  論文  参考訳（メタデータ） (2023-02-20T07:46:14Z)
• A Time Series is Worth 64 Words: Long-term Forecasting with Transformers [4.635547236305835]
  本稿では,時系列予測と自己教師型表現学習のためのトランスフォーマーモデルを提案する。 i) 時系列をサブシリーズレベルのパッチに分割し、Transformerへの入力トークンとして機能させる。 PatchTSTは、SOTA Transformerベースのモデルと比較して、長期予測精度を著しく向上させることができる。
  論文  参考訳（メタデータ） (2022-11-27T05:15:42Z)
• Expressing Multivariate Time Series as Graphs with Time Series Attention Transformer [14.172091921813065]
  多変量時系列表現学習のための時系列注意変換器(TSAT)を提案する。 TSATを用いて、エッジ強化された動的グラフの観点から、時系列の時間情報と相互依存の両方を表現している。 TSATは、様々な予測地平線において、最先端の6つのベースライン法より明らかに優れていることを示す。
  論文  参考訳（メタデータ） (2022-08-19T12:25:56Z)
• A Differential Attention Fusion Model Based on Transformer for Time Series Forecasting [4.666618110838523]
  時系列予測は、機器ライフサイクル予測、天気予報、交通流予測などの分野で広く利用されている。 一部の学者は、この強力な並列トレーニング能力のために、Transformerを時系列予測に適用しようと試みている。 既存のTransformerメソッドは、予測において決定的な役割を果たす小さな時間セグメントに十分な注意を払わない。
  論文  参考訳（メタデータ） (2022-02-23T10:33:12Z)
• Transformers in Time Series: A Survey [66.50847574634726]
  時系列モデリングのためのTransformerスキームを,その強みと限界を強調して体系的にレビューする。 ネットワーク構造の観点から、トランスフォーマーに施された適応と修正を要約する。 応用の観点からは,予測,異常検出,分類などの共通タスクに基づいて時系列変換器を分類する。
  論文  参考訳（メタデータ） (2022-02-15T01:43:27Z)
• Interpretable Feature Construction for Time Series Extrinsic Regression [0.028675177318965035]
  一部のアプリケーション領域では、対象変数が数値であり、その問題は時系列外部回帰(TSER)として知られている。 TSERの文脈における頑健で解釈可能な特徴構築と選択のためのベイズ法の拡張を提案する。 私たちのアプローチは、TSERに取り組むためのリレーショナルな方法を利用します:(i)、リレーショナルデータスキームに格納されている時系列の多様で単純な表現を構築し、(ii)二次テーブルからデータを「フラット化」するために解釈可能な機能を構築するためにプロポジション化技術を適用します。
  論文  参考訳（メタデータ） (2021-03-15T08:12:19Z)
• Applying the Transformer to Character-level Transduction [68.91664610425114]
  この変換器は、様々な単語レベルのNLPタスクにおいて、繰り返しニューラルネットワークに基づくシーケンス・ツー・シーケンスモデルより優れていることが示されている。 十分なバッチサイズで、トランスフォーマーは文字レベルタスクの繰り返しモデルよりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-05-20T17:25:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。