Fugu-MT 論文翻訳(概要): In-context Time Series Predictor

論文の概要: In-context Time Series Predictor

arxiv url: http://arxiv.org/abs/2405.14982v1
Date: Thu, 23 May 2024 18:37:00 GMT
ステータス: 処理完了
システム内更新日: 2024-05-27 19:27:21.993727
Title: In-context Time Series Predictor
Title（参考訳）: 文脈内時系列予測器
Authors: Jiecheng Lu, Yan Sun, Shihao Yang,
Abstract要約: 我々は「時系列予測タスク」を入力トークンとして、トークン内に一連の(振り返り、将来の)ペアを構築することで再構成する。従来のアーキテクチャと比較して、フルデータ、少数ショット、ゼロショット設定でパフォーマンスが一貫して向上する。
参考スコア（独自算出の注目度）: 3.066371308488022
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Recent Transformer-based large language models (LLMs) demonstrate in-context learning ability to perform various functions based solely on the provided context, without updating model parameters. To fully utilize the in-context capabilities in time series forecasting (TSF) problems, unlike previous Transformer-based or LLM-based time series forecasting methods, we reformulate "time series forecasting tasks" as input tokens by constructing a series of (lookback, future) pairs within the tokens. This method aligns more closely with the inherent in-context mechanisms, and is more parameter-efficient without the need of using pre-trained LLM parameters. Furthermore, it addresses issues such as overfitting in existing Transformer-based TSF models, consistently achieving better performance across full-data, few-shot, and zero-shot settings compared to previous architectures.
Abstract（参考訳）: 近年の Transformer-based large language model (LLMs) では、モデルパラメータを更新することなく、提供されたコンテキストのみに基づいて様々な関数を実行することができる。従来の Transformer-based や LLM-based の時系列予測手法とは異なり、TSF 問題におけるコンテキスト内機能を完全に活用するために、トークン内に一連の(振り返り、将来の)ペアを構築し、入力トークンとして「時系列予測タスク」を再構成する。本手法は, 学習済みのLLMパラメータを必要とせずに, よりパラメータ効率が良く, コンテキスト内固有のメカニズムとより密に整合する。さらに、既存のTransformerベースのTSFモデルの過度な適合、フルデータ、少数ショット、ゼロショット設定でのパフォーマンスの向上といった問題にも対処しています。

関連論文リスト

LSEAttention is All You Need for Time Series Forecasting [0.0]
トランスフォーマーベースのアーキテクチャは自然言語処理とコンピュータビジョンにおいて顕著な成功を収めた。変圧器モデルでよく見られるエントロピー崩壊とトレーニング不安定性に対処するアプローチである textbfLSEAttention を導入する。
論文参考訳（メタデータ） (2024-10-31T09:09:39Z)
Metadata Matters for Time Series: Informative Forecasting with Transformers [70.38241681764738]
時系列予測のためのMetaTST(Metadata-informed Time Series Transformer)を提案する。メタデータの非構造化の性質に取り組むため、MetaTSTは、事前に設計されたテンプレートによってそれらを自然言語に形式化する。 Transformerエンコーダは、メタデータ情報によるシーケンス表現を拡張するシリーズトークンとメタデータトークンの通信に使用される。
論文参考訳（メタデータ） (2024-10-04T11:37:55Z)
PRformer: Pyramidal Recurrent Transformer for Multivariate Time Series Forecasting [82.03373838627606]
Transformerアーキテクチャにおける自己保持機構は、時系列予測において時間順序を符号化するために位置埋め込みを必要とする。この位置埋め込みへの依存は、トランスフォーマーの時間的シーケンスを効果的に表現する能力を制限している、と我々は主張する。本稿では,Prepreを標準的なTransformerエンコーダと統合し,様々な実世界のデータセット上での最先端性能を示す。
論文参考訳（メタデータ） (2024-08-20T01:56:07Z)
UniTST: Effectively Modeling Inter-Series and Intra-Series Dependencies for Multivariate Time Series Forecasting [98.12558945781693]
フラット化されたパッチトークンに統一された注意機構を含む変圧器ベースモデルUniTSTを提案する。提案モデルでは単純なアーキテクチャを採用しているが,時系列予測のためのいくつかのデータセットの実験で示されたような,魅力的な性能を提供する。
論文参考訳（メタデータ） (2024-06-07T14:39:28Z)
Are Self-Attentions Effective for Time Series Forecasting? [4.990206466948269]
時系列予測は、複数のドメインやさまざまなシナリオにわたるアプリケーションにとって不可欠である。近年の研究では、より単純な線形モデルは、複雑なトランスフォーマーベースのアプローチよりも優れていることが示されている。我々は、新しいアーキテクチャ、クロスアテンションのみの時系列変換器(CATS)を導入する。提案モデルでは,平均二乗誤差が最小であり,既存のモデルに比べてパラメータが少ないため,性能が向上する。
論文参考訳（メタデータ） (2024-05-27T06:49:39Z)
Multi-Patch Prediction: Adapting LLMs for Time Series Representation Learning [22.28251586213348]
aLLM4TSは、時系列表現学習にLarge Language Models(LLM)を適用する革新的なフレームワークである。われわれのフレームワークの特筆すべき要素はパッチワイドデコーディング層である。
論文参考訳（メタデータ） (2024-02-07T13:51:26Z)
AutoTimes: Autoregressive Time Series Forecasters via Large Language Models [67.83502953961505]
AutoTimesは時系列を言語トークンの埋め込み空間に投影し、任意の長さで将来予測を生成する。時系列をプロンプトとして定式化し、ルックバックウィンドウを越えて予測のコンテキストを拡張する。 AutoTimesは、トレーニング可能なパラメータが0.1%、トレーニング/推論のスピードアップが5ドル以上で最先端を実現している。
論文参考訳（メタデータ） (2024-02-04T06:59:21Z)
Time-LLM: Time Series Forecasting by Reprogramming Large Language Models [110.20279343734548]
時系列予測は多くの実世界の力学系において重要な意味を持つ。時系列予測のための大規模言語モデルを再利用するための再プログラミングフレームワークであるTime-LLMを提案する。 Time-LLMは、最先端の特殊な予測モデルよりも優れた、強力な時系列学習者である。
論文参考訳（メタデータ） (2023-10-03T01:31:25Z)
TACTiS-2: Better, Faster, Simpler Attentional Copulas for Multivariate Time Series [57.4208255711412]
パウラ理論に基づいて,最近導入されたトランスフォーマーに基づく注目パウラ(TACTiS)の簡易な目的を提案する。結果から,実世界の予測タスクにまたがって,このモデルのトレーニング性能が大幅に向上し,最先端のパフォーマンスが達成できることが示唆された。
論文参考訳（メタデータ） (2023-10-02T16:45:19Z)
Ti-MAE: Self-Supervised Masked Time Series Autoencoders [16.98069693152999]
本稿では,Ti-MAEという新しいフレームワークを提案する。 Ti-MAEは、埋め込み時系列データをランダムにマスクアウトし、オートエンコーダを学び、ポイントレベルでそれらを再構築する。いくつかの公開実世界のデータセットの実験では、マスク付きオートエンコーディングのフレームワークが生データから直接強力な表現を学習できることが示されている。
論文参考訳（メタデータ） (2023-01-21T03:20:23Z)
CLMFormer: Mitigating Data Redundancy to Revitalize Transformer-based Long-Term Time Series Forecasting System [46.39662315849883]
時系列予測(LTSF)は,様々な応用において重要な役割を担っている。既存のTransformerベースのモデルであるFedformerやInformerは、いくつかのエポックの後、検証セット上で最高のパフォーマンスを達成することが多い。本稿では,カリキュラム学習とメモリ駆動デコーダの導入により,この問題に対処する新しい手法を提案する。
論文参考訳（メタデータ） (2022-07-16T04:05:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。