Fugu-MT 論文翻訳(概要): In-context Time Series Predictor

論文の概要: In-context Time Series Predictor

arxiv url: http://arxiv.org/abs/2405.14982v1
Date: Thu, 23 May 2024 18:37:00 GMT
ステータス: 処理完了
システム内更新日: 2024-05-27 19:27:21.993727
Title: In-context Time Series Predictor
Title（参考訳）: 文脈内時系列予測器
Authors: Jiecheng Lu, Yan Sun, Shihao Yang,
Abstract要約: 我々は「時系列予測タスク」を入力トークンとして、トークン内に一連の(振り返り、将来の)ペアを構築することで再構成する。従来のアーキテクチャと比較して、フルデータ、少数ショット、ゼロショット設定でパフォーマンスが一貫して向上する。
参考スコア（独自算出の注目度）: 3.066371308488022
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Recent Transformer-based large language models (LLMs) demonstrate in-context learning ability to perform various functions based solely on the provided context, without updating model parameters. To fully utilize the in-context capabilities in time series forecasting (TSF) problems, unlike previous Transformer-based or LLM-based time series forecasting methods, we reformulate "time series forecasting tasks" as input tokens by constructing a series of (lookback, future) pairs within the tokens. This method aligns more closely with the inherent in-context mechanisms, and is more parameter-efficient without the need of using pre-trained LLM parameters. Furthermore, it addresses issues such as overfitting in existing Transformer-based TSF models, consistently achieving better performance across full-data, few-shot, and zero-shot settings compared to previous architectures.
Abstract（参考訳）: 近年の Transformer-based large language model (LLMs) では、モデルパラメータを更新することなく、提供されたコンテキストのみに基づいて様々な関数を実行することができる。従来の Transformer-based や LLM-based の時系列予測手法とは異なり、TSF 問題におけるコンテキスト内機能を完全に活用するために、トークン内に一連の(振り返り、将来の)ペアを構築し、入力トークンとして「時系列予測タスク」を再構成する。本手法は, 学習済みのLLMパラメータを必要とせずに, よりパラメータ効率が良く, コンテキスト内固有のメカニズムとより密に整合する。さらに、既存のTransformerベースのTSFモデルの過度な適合、フルデータ、少数ショット、ゼロショット設定でのパフォーマンスの向上といった問題にも対処しています。

関連論文リスト

UniTST: Effectively Modeling Inter-Series and Intra-Series Dependencies for Multivariate Time Series Forecasting [98.12558945781693]
フラット化されたパッチトークンに統一された注意機構を含む変圧器ベースモデルUniTSTを提案する。提案モデルでは単純なアーキテクチャを採用しているが,時系列予測のためのいくつかのデータセットの実験で示されたような,魅力的な性能を提供する。
論文参考訳（メタデータ） (2024-06-07T14:39:28Z)
Are Self-Attentions Effective for Time Series Forecasting? [4.990206466948269]
時系列予測は、複数のドメインやさまざまなシナリオにわたるアプリケーションにとって不可欠である。近年の研究では、より単純な線形モデルは、複雑なトランスフォーマーベースのアプローチよりも優れていることが示されている。我々は、従来のTransformerフレームワークを再考する新しいアーキテクチャ、Cross-Attention-only Time Series transformer (CATS)を導入する。
論文参考訳（メタデータ） (2024-05-27T06:49:39Z)
Multi-Patch Prediction: Adapting LLMs for Time Series Representation Learning [22.28251586213348]
aLLM4TSは、時系列表現学習にLarge Language Models(LLM)を適用する革新的なフレームワークである。われわれのフレームワークの特筆すべき要素はパッチワイドデコーディング層である。
論文参考訳（メタデータ） (2024-02-07T13:51:26Z)
AutoTimes: Autoregressive Time Series Forecasters via Large Language Models [67.83502953961505]
本稿では,時系列セグメントを埋め込み空間に独立に投影し,任意の長さで将来予測を自動回帰的に生成する自動回帰時系列予測器としてAutoTimesを提案する。 AutoTimesは、高度なLSMベースの予測装置と比較して、0.1%のトレーニング可能なパラメータと5倍以上のトレーニング/推論のスピードアップで最先端を実現している。
論文参考訳（メタデータ） (2024-02-04T06:59:21Z)
Functional Interpolation for Relative Positions Improves Long Context Transformers [86.12843093589]
本稿では,より長いコンテキストに変換器の一般化を改善するために,プログレッシブなFIREを用いた関数的相対的位置符号化を提案する。理論的には、これはT5のRPE、Alibi、Kerpleなどの一般的な相対的な位置エンコーディングのいくつかを表現できる。 FIREモデルは、ゼロショット言語モデリングと長文ベンチマークの両方において、より長い文脈での一般化がより優れていることを示す。
論文参考訳（メタデータ） (2023-10-06T17:59:11Z)
Time-LLM: Time Series Forecasting by Reprogramming Large Language Models [110.20279343734548]
時系列予測は多くの実世界の力学系において重要な意味を持つ。時系列予測のための大規模言語モデルを再利用するための再プログラミングフレームワークであるTime-LLMを提案する。 Time-LLMは、最先端の特殊な予測モデルよりも優れた、強力な時系列学習者である。
論文参考訳（メタデータ） (2023-10-03T01:31:25Z)
TACTiS-2: Better, Faster, Simpler Attentional Copulas for Multivariate Time Series [57.4208255711412]
パウラ理論に基づいて,最近導入されたトランスフォーマーに基づく注目パウラ(TACTiS)の簡易な目的を提案する。結果から,実世界の予測タスクにまたがって,このモデルのトレーニング性能が大幅に向上し,最先端のパフォーマンスが達成できることが示唆された。
論文参考訳（メタデータ） (2023-10-02T16:45:19Z)
A Transformer-based Framework For Multi-variate Time Series: A Remaining Useful Life Prediction Use Case [4.0466311968093365]
本研究は,時系列予測のためのエンコーダ変換アーキテクチャに基づくフレームワークを提案する。 C-MAPPSベンチマークデータセットの4セットすべてに対して,提案手法の有効性を検証した。機械寿命の初期段階と劣化経路のモデル認識を可能にするため, 新たな拡張窓手法が提案された。
論文参考訳（メタデータ） (2023-08-19T02:30:35Z)
Ti-MAE: Self-Supervised Masked Time Series Autoencoders [16.98069693152999]
本稿では,Ti-MAEという新しいフレームワークを提案する。 Ti-MAEは、埋め込み時系列データをランダムにマスクアウトし、オートエンコーダを学び、ポイントレベルでそれらを再構築する。いくつかの公開実世界のデータセットの実験では、マスク付きオートエンコーディングのフレームワークが生データから直接強力な表現を学習できることが示されている。
論文参考訳（メタデータ） (2023-01-21T03:20:23Z)
CLMFormer: Mitigating Data Redundancy to Revitalize Transformer-based Long-Term Time Series Forecasting System [46.39662315849883]
時系列予測(LTSF)は,様々な応用において重要な役割を担っている。既存のTransformerベースのモデルであるFedformerやInformerは、いくつかのエポックの後、検証セット上で最高のパフォーマンスを達成することが多い。本稿では,カリキュラム学習とメモリ駆動デコーダの導入により,この問題に対処する新しい手法を提案する。
論文参考訳（メタデータ） (2022-07-16T04:05:15Z)
Conversational Question Reformulation via Sequence-to-Sequence Architectures and Pretrained Language Models [56.268862325167575]
本稿では、列列列構造と事前学習言語モデル(PLM)を用いた会話型質問修正(CQR)の実証的研究について述べる。我々はPLMを利用して、CQRタスクの目的である最大推定におけるトークン・トークン・トークン・トークンの独立性の強い仮定に対処する。我々は、最近導入されたCANARDデータセットの微調整PLMをドメイン内タスクとして評価し、TREC 2019 CAsT Trackのデータからドメイン外タスクとしてモデルを検証する。
論文参考訳（メタデータ） (2020-04-04T11:07:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。