Fugu-MT 論文翻訳(概要): LaT-PFN: A Joint Embedding Predictive Architecture for In-context Time-series Forecasting

論文の概要: LaT-PFN: A Joint Embedding Predictive Architecture for In-context Time-series Forecasting

arxiv url: http://arxiv.org/abs/2405.10093v1
Date: Thu, 16 May 2024 13:44:56 GMT
ステータス: 処理完了
システム内更新日: 2024-05-17 14:12:27.821650
Title: LaT-PFN: A Joint Embedding Predictive Architecture for In-context Time-series Forecasting
Title（参考訳）: LaT-PFN: コンテキスト内時系列予測のための予測アーキテクチャ
Authors: Stijn Verdenius, Andrea Zerio, Roy L. M. Wang,
Abstract要約: 我々は,ゼロショット予測を可能にする強力な埋め込み空間を持つ基本時系列モデルであるLatntTimePFNを紹介する。我々は、PFNとJEPA(Joint Embedding Predictive Architecture)フレームワークの新たな統合を利用して、潜在空間におけるコンテキスト内学習を行う。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: We introduce LatentTimePFN (LaT-PFN), a foundational Time Series model with a strong embedding space that enables zero-shot forecasting. To achieve this, we perform in-context learning in latent space utilizing a novel integration of the Prior-data Fitted Networks (PFN) and Joint Embedding Predictive Architecture (JEPA) frameworks. We leverage the JEPA framework to create a prediction-optimized latent representation of the underlying stochastic process that generates time series and combines it with contextual learning, using a PFN. Furthermore, we improve on preceding works by utilizing related time series as a context and introducing an abstract time axis. This drastically reduces training time and increases the versatility of the model by allowing any time granularity and forecast horizon. We show that this results in superior zero-shot predictions compared to established baselines. We also demonstrate our latent space produces informative embeddings of both individual time steps and fixed-length summaries of entire series. Finally, we observe the emergence of multi-step patch embeddings without explicit training, suggesting the model actively learns discrete tokens that encode local structures in the data, analogous to vision transformers.
Abstract（参考訳）: ゼロショット予測を可能にする強力な埋め込み空間を持つ基本時系列モデルであるLatntTimePFN(LaT-PFN)を紹介する。そこで我々は,PFN(Presideed Data Fitted Networks)とJEPA(Joint Embedding Predictive Architecture)フレームワークの新たな統合を利用して,潜在空間におけるコンテキスト内学習を行う。我々はJEPAフレームワークを利用して、時系列を生成し、それを文脈学習と組み合わせ、PFNを用いて、基礎となる確率過程の予測最適化潜在表現を作成する。さらに、関連する時系列を文脈として利用し、抽象時間軸を導入することにより、先行作業を改善する。これにより、トレーニング時間を大幅に短縮し、任意の時間的粒度と予測水平線を許容することにより、モデルの汎用性を高めることができる。その結果,既存のベースラインに比べてゼロショット予測が優れていることがわかった。また、我々の潜伏空間は、各時間ステップと全系列の固定長サマリーの両方の情報埋め込みを生成することを示した。最後に,マルチステップパッチ埋め込みの出現を明示的なトレーニングなしで観察し,視覚変換器に類似したデータ中の局所構造を符号化する離散トークンを積極的に学習することを提案する。

関連論文リスト

PDETime: Rethinking Long-Term Multivariate Time Series Forecasting from the perspective of partial differential equations [49.80959046861793]
本稿では,ニューラルPDEソルバの原理に着想を得た新しいLMTFモデルであるPDETimeを提案する。 7つの異なる時間的実世界のLMTFデータセットを用いた実験により、PDETimeがデータ固有の性質に効果的に適応できることが判明した。
論文参考訳（メタデータ） (2024-02-25T17:39:44Z)
Multi-Patch Prediction: Adapting LLMs for Time Series Representation Learning [22.28251586213348]
aLLM4TSは、時系列表現学習にLarge Language Models(LLM)を適用する革新的なフレームワークである。われわれのフレームワークの特筆すべき要素はパッチワイドデコーディング層である。
論文参考訳（メタデータ） (2024-02-07T13:51:26Z)
Unified Training of Universal Time Series Forecasting Transformers [104.56318980466742]
マスク型ユニバーサル時系列予測変換器(モイライ)について述べる。 Moiraiは、新たに導入された大規模オープンタイムシリーズアーカイブ(LOTSA)で訓練されており、9つのドメインで27億以上の観測が行われた。 Moiraiは、フルショットモデルと比較してゼロショットの予測器として、競争力や優れたパフォーマンスを達成する。
論文参考訳（メタデータ） (2024-02-04T20:00:45Z)
TimeSiam: A Pre-Training Framework for Siamese Time-Series Modeling [67.02157180089573]
時系列事前トレーニングは、最近、ラベルのコストを削減し、下流の様々なタスクに利益をもたらす可能性があるとして、広く注目を集めている。本稿では,シームズネットワークに基づく時系列の簡易かつ効果的な自己教師型事前学習フレームワークとしてTimeSiamを提案する。
論文参考訳（メタデータ） (2024-02-04T13:10:51Z)
Learning Time-aware Graph Structures for Spatially Correlated Time Series Forecasting [30.93275270960829]
本稿では時系列間の時間認識相関を抽出する時間認識グラフ構造学習(TagSL)を提案する。グラフ畳み込みに基づくGated Recurrent Unit (GCGRU) も提案する。最後に,TagSLとGCGRUを組み合わせたTGCRN(Time-aware Graph Convolutional Recurrent Network)という統合フレームワークを導入し,マルチステップ時間予測のためのエンコーダデコーダアーキテクチャを提案する。
論文参考訳（メタデータ） (2023-12-27T04:23:43Z)
Lag-Llama: Towards Foundation Models for Probabilistic Time Series Forecasting [54.04430089029033]
本稿では,デコーダのみの変換器アーキテクチャに基づく時系列予測のための汎用基礎モデルであるLag-Llamaを提案する。 Lag-Llamaは、複数のドメインからの多様な時系列データの大規模なコーパスで事前訓練され、強力なゼロショット一般化能力を示す。このような未確認データセットの比較的小さな部分で微調整を行うと、Lag-Llamaは最先端のパフォーマンスを達成する。
論文参考訳（メタデータ） (2023-10-12T12:29:32Z)
TEMPO: Prompt-based Generative Pre-trained Transformer for Time Series Forecasting [24.834846119163885]
本稿では,時系列表現を効果的に学習できる新しいフレームワークTEMPOを提案する。 TEMPOは、様々な領域のデータから現実世界の時間現象を動的にモデル化する機能を拡張する。
論文参考訳（メタデータ） (2023-10-08T00:02:25Z)
Time-LLM: Time Series Forecasting by Reprogramming Large Language Models [110.20279343734548]
時系列予測は多くの実世界の力学系において重要な意味を持つ。時系列予測のための大規模言語モデルを再利用するための再プログラミングフレームワークであるTime-LLMを提案する。 Time-LLMは、最先端の特殊な予測モデルよりも優れた、強力な時系列学習者である。
論文参考訳（メタデータ） (2023-10-03T01:31:25Z)
Time Series Forecasting via Semi-Asymmetric Convolutional Architecture with Global Atrous Sliding Window [0.0]
本稿では,時系列予測の問題に対処するために提案手法を提案する。現代のモデルのほとんどは、短い範囲の情報のみに焦点を当てており、時系列予測のような問題で致命的なものである。パフォーマンス上のアドバンテージがあることを実験的に検証した3つの主要なコントリビューションを行います。
論文参考訳（メタデータ） (2023-01-31T15:07:31Z)
Cluster-and-Conquer: A Framework For Time-Series Forecasting [94.63501563413725]
本稿では,高次元時系列データを予測するための3段階フレームワークを提案する。当社のフレームワークは非常に汎用的で,各ステップで時系列予測やクラスタリングが利用可能です。単純な線形自己回帰モデルでインスタンス化されると、いくつかのベンチマークデータセットで最先端の結果が得られる。
論文参考訳（メタデータ） (2021-10-26T20:41:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。