論文の概要: True Zero-Shot Inference of Dynamical Systems Preserving Long-Term Statistics

• arxiv url: http://arxiv.org/abs/2505.13192v1
• Date: Mon, 19 May 2025 14:49:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-20 14:57:11.664881
• Title: True Zero-Shot Inference of Dynamical Systems Preserving Long-Term Statistics
• Title（参考訳）: 長期統計を保存する力学系の真のゼロショット推定
• Authors: Christoph Jürgen Hemmer, Daniel Durstewitz,
• Abstract要約: 既存のDSRアプローチでは、観測された新しいシステムに対して目的学習が必要である。 我々はDynaMixを紹介した。DSR用に事前訓練された新しいALRNNベースのMix-of-expertsアーキテクチャである。
• 参考スコア（独自算出の注目度）: 5.435647496964605
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Complex, temporally evolving phenomena, from climate to brain activity, are governed by dynamical systems (DS). DS reconstruction (DSR) seeks to infer generative surrogate models of these from observed data, reproducing their long-term behavior. Existing DSR approaches require purpose-training for any new system observed, lacking the zero-shot and in-context inference capabilities known from LLMs. Here we introduce DynaMix, a novel multivariate ALRNN-based mixture-of-experts architecture pre-trained for DSR, the first DSR model able to generalize zero-shot to out-of-domain DS. Just from a provided context signal, without any re-training, DynaMix faithfully forecasts the long-term evolution of novel DS where existing time series (TS) foundation models, like Chronos, fail -- at a fraction of the number of parameters and orders of magnitude faster inference times. DynaMix outperforms TS foundation models in terms of long-term statistics, and often also short-term forecasts, even on real-world time series, like traffic or weather data, typically used for training and evaluating TS models, but not at all part of DynaMix' training corpus. We illustrate some of the failure modes of TS models for DSR problems, and conclude that models built on DS principles may bear a huge potential also for advancing the TS prediction field.
• Abstract（参考訳）: 気候から脳活動まで、複雑で時間的に進化する現象は、力学系(DS)によって支配される。 DS再構成(DSR)は、観察されたデータからこれらの生成的サロゲートモデルを推測し、長期的振る舞いを再現することを目指している。 既存のDSRアプローチでは、観測された新しいシステムに対して目的学習が必要であり、LLMから知られているゼロショットとインコンテキスト推論機能が欠如している。 本稿では,DynaMixについて紹介する。DSR用に事前訓練された,新しい多変量 ALRNN ベースのミックス・オブ・エキスパートアーキテクチャで,ゼロショットからオフ・ドメインDSへの一般化が可能な最初のDSRモデルである。 提供されたコンテキスト信号から、DynaMixは、Chronosのような既存の時系列(TS)基盤モデルがフェールする新しいDSの長期的な進化を、パラメータの数と桁違いに高速な推論時間で確実に予測する。 DynaMix は TS ファンデーションモデルよりも長期統計の面で優れており、交通や気象データなどの実世界の時系列でも、一般的に TS モデルのトレーニングや評価に使用されるが、DynaMix のトレーニングコーパスのすべての部分ではない。 DSR問題に対するTSモデルの失敗モードをいくつか説明し、DS原理に基づいて構築されたモデルがTS予測分野の前進にも大きな可能性を秘めていると結論づける。

関連論文リスト

• Time-SSM: Simplifying and Unifying State Space Models for Time Series Forecasting [22.84798547604491]
  状態空間モデル(SSM)は、基底関数の集合を用いて連続系を近似し、それらを離散化して入力データを処理する。 本稿では,SSMを時系列データに適用するためのより直感的で汎用的なガイダンスを提供する,動的スペクトル演算子(Dynamic Spectral Operator)と呼ばれる新しい理論フレームワークを提案する。 パラメータの7分の1しか持たない新しいSSM基盤モデルであるTime-SSMを紹介する。
  論文  参考訳（メタデータ） (2024-05-25T17:42:40Z)
• Attractor Memory for Long-Term Time Series Forecasting: A Chaos Perspective [63.60312929416228]
  textbftextitAttraosはカオス理論を長期時系列予測に取り入れている。 本研究では,AttraosがPatchTSTと比較して,パラメータの12分の1しか持たない主流データセットやカオスデータセットにおいて,LTSF法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-02-18T05:35:01Z)
• Online Evolutionary Neural Architecture Search for Multivariate Non-Stationary Time Series Forecasting [72.89994745876086]
  本研究は、オンラインニューロ進化に基づくニューラルアーキテクチャサーチ(ONE-NAS)アルゴリズムを提案する。 ONE-NASは、オンライン予測タスクのためにリカレントニューラルネットワーク(RNN)を自動設計し、動的にトレーニングする新しいニューラルネットワーク探索手法である。 その結果、ONE-NASは従来の統計時系列予測法よりも優れていた。
  論文  参考訳（メタデータ） (2023-02-20T22:25:47Z)
• A Neural PDE Solver with Temporal Stencil Modeling [44.97241931708181]
  最近の機械学習(ML)モデルでは、高解像度信号において重要なダイナミクスを捉えることが約束されている。 この研究は、低解像度のダウンサンプリング機能で重要な情報が失われることがしばしばあることを示している。 本稿では,高度な時系列シーケンスモデリングと最先端のニューラルPDEソルバの強みを組み合わせた新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-02-16T06:13:01Z)
• Learning PDE Solution Operator for Continuous Modeling of Time-Series [1.39661494747879]
  この研究は、動的モデリング能力を改善する偏微分方程式(PDE)に基づくフレームワークを提案する。 時間的離散化の反復的操作や特定のグリッドを必要とせずに連続的に処理できるニューラル演算子を提案する。 我々のフレームワークは、現実世界のアプリケーションに容易に適用可能な、ニューラルネットワークの継続的な表現のための新しい方法を開く。
  論文  参考訳（メタデータ） (2023-02-02T03:47:52Z)
• Contextually Enhanced ES-dRNN with Dynamic Attention for Short-Term Load Forecasting [1.1602089225841632]
  提案手法は,コンテキストトラックとメイントラックという,同時に訓練された2つのトラックから構成される。 RNNアーキテクチャは、階層的な拡張を積み重ねた複数の繰り返し層で構成され、最近提案された注意的再帰細胞を備えている。 このモデルは点予測と予測間隔の両方を生成する。
  論文  参考訳（メタデータ） (2022-12-18T07:42:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。