論文の概要: Zero-shot forecasting of chaotic systems

• arxiv url: http://arxiv.org/abs/2409.15771v2
• Date: Tue, 03 Dec 2024 03:41:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-04 15:38:15.867396
• Title: Zero-shot forecasting of chaotic systems
• Title（参考訳）: カオスシステムのゼロショット予測
• Authors: Yuanzhao Zhang, William Gilpin,
• Abstract要約: 多様なドメインからの膨大な時系列データに基づいて事前訓練されたファンデーションモデル。 ゼロショット学習パラダイムがカオスシステムを予測する困難な課題に拡張されるかどうかを評価する。
• 参考スコア（独自算出の注目度）: 6.445605125467573
• License:
• Abstract: Time-series forecasting is a challenging problem that traditionally requires specialized models custom-trained for the specific task at hand. Recently, inspired by the success of large language models, foundation models pre-trained on vast amounts of time-series data from diverse domains have emerged as a promising candidate for general-purpose time-series forecasting. The defining characteristic of these foundation models is their ability to perform zero-shot learning, that is, forecasting a new system from limited context data without explicit re-training or fine-tuning. Here, we evaluate whether the zero-shot learning paradigm extends to the challenging task of forecasting chaotic systems. Across 135 distinct chaotic dynamical systems and $10^8$ timepoints, we find that foundation models produce competitive forecasts compared to custom-trained models (including NBEATS, TiDE, etc.), particularly when training data is limited. Interestingly, even after point forecasts fail, large foundation models are able to preserve the geometric and statistical properties of the chaotic attractors. We attribute this success to foundation models' ability to perform in-context learning and identify context parroting as a simple mechanism used by these models to capture the long-term behavior of chaotic dynamical systems. Our results highlight the potential of foundation models as a tool for probing nonlinear and complex systems.
• Abstract（参考訳）: 時系列予測(Time-Series forecasting)は、従来、特定のタスクのためにカスタムトレーニングされた特別なモデルを必要とする、難しい問題である。 近年,大規模言語モデルの成功に触発されて,多種多様なドメインの時系列データに基づいて事前学習された基礎モデルは,汎用的時系列予測の候補として期待されている。 これらの基礎モデルの特色は、ゼロショット学習、すなわち、明示的な再訓練や微調整をすることなく、限られた文脈データから新しいシステムを予測できる能力である。 ここでは,ゼロショット学習パラダイムがカオスシステムを予測する困難な課題に拡張するか否かを評価する。 135の異なるカオス力学系と10^8$のタイムポイントで、特にトレーニングデータに制限がある場合、基礎モデルがカスタムトレーニングモデル(NBEATS、TiDEなど)と比較して競争予測を生成することがわかった。 興味深いことに、点予測が失敗しても、大きな基礎モデルはカオス的誘引子の幾何学的および統計的性質を保存することができる。 この成功は、コンテキスト内学習を行う基礎モデルの能力と、これらのモデルがカオス力学系の長期的挙動を捉えるための単純なメカニズムとしてコンテキストパロットを識別する能力に起因している。 本研究は,非線形・複雑系の探索ツールとしての基盤モデルの可能性を強調した。

関連論文リスト

• Tailored Forecasting from Short Time Series via Meta-learning [0.0]
  関連時間系列(METAFORS)からのタイラート予測のためのメタラーニングについて紹介する。 関連するシステムでトレーニングされたモデルのライブラリを活用することで、METAFORSは限られたデータでシステムの進化を予測するために、カスタマイズされたモデルを構築する。 MeTAFORSの短期動態と長期統計の両方を予測する能力を示す。
  論文  参考訳（メタデータ） (2025-01-27T18:58:04Z)
• GIFT-Eval: A Benchmark For General Time Series Forecasting Model Evaluation [90.53485251837235]
  時系列基礎モデルはゼロショット予測に優れ、明示的なトレーニングなしで多様なタスクを処理する。 GIFT-Evalは、多様なデータセットに対する評価を促進するための先駆的なベンチマークである。 GIFT-Evalには、144,000の時系列と17700万のデータポイントの23のデータセットが含まれている。
  論文  参考訳（メタデータ） (2024-10-14T11:29:38Z)
• Implicit Reasoning in Deep Time Series Forecasting [16.750280337155647]
  この研究は、ディープ時系列予測モデルの推論能力を評価するための最初の一歩を踏み出した。 系統的に編成されたアウト・オブ・ディストリビューションシナリオにおいて,ある線形なパッチベーストランスフォーマーモデルが効果的に一般化できることが判明した。
  論文  参考訳（メタデータ） (2024-09-17T02:11:19Z)
• Lag-Llama: Towards Foundation Models for Probabilistic Time Series Forecasting [54.04430089029033]
  本稿では,デコーダのみの変換器アーキテクチャに基づく時系列予測のための汎用基礎モデルであるLag-Llamaを提案する。 Lag-Llamaは、複数のドメインからの多様な時系列データの大規模なコーパスで事前訓練され、強力なゼロショット一般化能力を示す。 このような未確認データセットの比較的小さな部分で微調整を行うと、Lag-Llamaは最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2023-10-12T12:29:32Z)
• OpenSTL: A Comprehensive Benchmark of Spatio-Temporal Predictive Learning [67.07363529640784]
  提案するOpenSTLは,一般的なアプローチを再帰的モデルと再帰的モデルに分類する。 我々は, 合成移動物体軌道, 人間の動き, 運転シーン, 交通流, 天気予報など, さまざまな領域にわたるデータセットの標準評価を行う。 リカレントフリーモデルは、リカレントモデルよりも効率と性能のバランスが良いことがわかった。
  論文  参考訳（メタデータ） (2023-06-20T03:02:14Z)
• Domain-aware Control-oriented Neural Models for Autonomous Underwater Vehicles [2.4779082385578337]
  ドメイン認識のレベルが異なる制御指向パラメトリックモデルを提案する。 データ駆動型ブラックボックスとAUVダイナミクスのグレイボックス表現を構築するために、普遍微分方程式を用いる。
  論文  参考訳（メタデータ） (2022-08-15T17:01:14Z)
• Leveraging the structure of dynamical systems for data-driven modeling [111.45324708884813]
  トレーニングセットとその構造が長期予測の品質に与える影響を考察する。 トレーニングセットのインフォームドデザインは,システムの不変性と基盤となるアトラクションの構造に基づいて,結果のモデルを大幅に改善することを示す。
  論文  参考訳（メタデータ） (2021-12-15T20:09:20Z)
• Randomized Neural Networks for Forecasting Time Series with Multiple Seasonality [0.0]
  この研究は、新しいランダム化に基づく学習手法を用いたニューラル予測モデルの開発に寄与する。 時系列のパターンに基づく表現は、複数の季節の時系列を予測するのに有用である。
  論文  参考訳（メタデータ） (2021-07-04T18:39:27Z)
• Model-Attentive Ensemble Learning for Sequence Modeling [86.4785354333566]
  シーケンスモデリング(MAES)のためのモデル・アテンティブ・アンサンブル・ラーニングを提案する。 MAESは、異なるシーケンスダイナミクスの専門家を専門とし、予測を適応的に重み付けるために、注目ベースのゲーティングメカニズムを利用する時系列の専門家の混合物です。 MAESが時系列シフトを受けるデータセットの人気シーケンスモデルを大幅に上回ることを示す。
  論文  参考訳（メタデータ） (2021-02-23T05:23:35Z)
• Generative Temporal Difference Learning for Infinite-Horizon Prediction [101.59882753763888]
  我々は、無限確率的地平線を持つ環境力学の予測モデルである$gamma$-modelを導入する。 トレーニングタイムとテストタイムの複合的なエラーの間には、そのトレーニングが避けられないトレードオフを反映しているかについて議論する。
  論文  参考訳（メタデータ） (2020-10-27T17:54:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。