論文の概要: Panda: A pretrained forecast model for universal representation of chaotic dynamics

• arxiv url: http://arxiv.org/abs/2505.13755v1
• Date: Mon, 19 May 2025 21:59:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-21 14:49:52.553836
• Title: Panda: A pretrained forecast model for universal representation of chaotic dynamics
• Title（参考訳）: パンダ:カオス力学の普遍表現のための事前学習予測モデル
• Authors: Jeffrey Lai, Anthony Bao, William Gilpin,
• Abstract要約: カオスシステムは本質的に小さなエラーに敏感である。 動的システム理論に動機づけられた我々は、DynAmicsのためのPanda, Patched Attentionを提示する。
• 参考スコア（独自算出の注目度）: 5.735035463793008
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Chaotic systems are intrinsically sensitive to small errors, challenging efforts to construct predictive data-driven models of real-world dynamical systems such as fluid flows or neuronal activity. Prior efforts comprise either specialized models trained separately on individual time series, or foundation models trained on vast time series databases with little underlying dynamical structure. Motivated by dynamical systems theory, we present Panda, Patched Attention for Nonlinear DynAmics. We train Panda on a novel synthetic, extensible dataset of $2 \times 10^4$ chaotic dynamical systems that we discover using an evolutionary algorithm. Trained purely on simulated data, Panda exhibits emergent properties: zero-shot forecasting of unseen real world chaotic systems, and nonlinear resonance patterns in cross-channel attention heads. Despite having been trained only on low-dimensional ordinary differential equations, Panda spontaneously develops the ability to predict partial differential equations without retraining. We demonstrate a neural scaling law for differential equations, underscoring the potential of pretrained models for probing abstract mathematical domains like nonlinear dynamics.
• Abstract（参考訳）: カオスシステムは本質的に小さなエラーに敏感であり、流体の流れや神経活動のような現実の力学系の予測データ駆動モデルの構築に挑戦する。 以前の取り組みは、個別の時系列で個別に訓練された特別なモデルと、基礎となる動的構造をほとんど持たない膨大な時系列データベースで訓練された基礎モデルで構成されていた。 力学系理論に動機付けられ、非線形DynAmicsに対するPanda, Patched Attentionを提示する。 我々は、進化的アルゴリズムを用いて発見するカオス力学系の2ドル=10^4$の新たな合成拡張可能なデータセットでパンダを訓練する。 シミュレーションデータに基づいて訓練されたパンダは、目に見えない現実世界のカオスシステムのゼロショット予測や、チャネル横断アテンションヘッドにおける非線形共鳴パターンなど、創発的な特性を示す。 パンダは低次元の常微分方程式でしか訓練されていないが、自然に再学習せずに偏微分方程式を予測する能力を発達させる。 微分方程式に対するニューラルスケーリング法則を実証し、非線形力学のような抽象数学的領域を探索するための事前訓練されたモデルのポテンシャルを裏付ける。

関連論文リスト

• Learning Nonlinear Dynamics in Physical Modelling Synthesis using Neural Ordinary Differential Equations [13.755383470312001]
  モード分解は、通常の微分方程式の結合非線形系につながる。 応用機械学習手法の最近の研究は、データからラップされた動的システムを自動的にモデル化するために使われてきた。 本稿では,システムの非線形ダイナミクスを再現するために,モデルをトレーニングできることを示す。
  論文  参考訳（メタデータ） (2025-05-15T17:17:21Z)
• Recurrent convolutional neural networks for non-adiabatic dynamics of quantum-classical systems [1.2972104025246092]
  本稿では,ハイブリッド量子古典系の非線形非断熱力学をモデル化するための畳み込みニューラルネットワークに基づくRNNモデルを提案する。 検証研究により、訓練されたPARCモデルは、一次元半古典的なホルシュタインモデルの時空進化を再現できることが示されている。
  論文  参考訳（メタデータ） (2024-12-09T16:23:25Z)
• Koopman-based Deep Learning for Nonlinear System Estimation [1.3791394805787949]
  複素非線形系の有意な有限次元表現を抽出するために、クープマン作用素理論に基づく新しいデータ駆動線形推定器を提案する。 我々の推定器は推定された非線形系の微分同相変換にも適応しており、再学習せずに最適な状態推定を計算できる。
  論文  参考訳（メタデータ） (2024-05-01T16:49:54Z)
• Capturing dynamical correlations using implicit neural representations [85.66456606776552]
  実験データから未知のパラメータを復元するために、モデルハミルトンのシミュレーションデータを模倣するために訓練されたニューラルネットワークと自動微分を組み合わせた人工知能フレームワークを開発する。 そこで本研究では, 実時間から多次元散乱データに適用可能な微分可能なモデルを1回だけ構築し, 訓練する能力について述べる。
  論文  参考訳（メタデータ） (2023-04-08T07:55:36Z)
• Stretched and measured neural predictions of complex network dynamics [2.1024950052120417]
  微分方程式のデータ駆動近似は、力学系のモデルを明らかにする従来の方法に代わる有望な方法である。 最近、ダイナミックスを研究する機械学習ツールとしてニューラルネットワークが採用されている。これは、データ駆動型ソリューションの検出や微分方程式の発見に使用できる。 従来の統計学習理論の限界を超えてモデルの一般化可能性を拡張することは可能であることを示す。
  論文  参考訳（メタデータ） (2023-01-12T09:44:59Z)
• Decomposed Linear Dynamical Systems (dLDS) for learning the latent components of neural dynamics [6.829711787905569]
  本稿では,時系列データの非定常および非線形の複雑なダイナミクスを表現した新しい分解力学系モデルを提案する。 我々のモデルは辞書学習によって訓練され、最近の結果を利用してスパースベクトルを時間とともに追跡する。 連続時間と離散時間の両方の指導例において、我々のモデルは元のシステムによく近似できることを示した。
  論文  参考訳（メタデータ） (2022-06-07T02:25:38Z)
• Capturing Actionable Dynamics with Structured Latent Ordinary Differential Equations [68.62843292346813]
  本稿では,その潜在表現内でのシステム入力の変動をキャプチャする構造付き潜在ODEモデルを提案する。 静的変数仕様に基づいて,本モデルではシステムへの入力毎の変動要因を学習し,潜在空間におけるシステム入力の影響を分離する。
  論文  参考訳（メタデータ） (2022-02-25T20:00:56Z)
• EINNs: Epidemiologically-Informed Neural Networks [75.34199997857341]
  本稿では,疫病予測のための新しい物理インフォームドニューラルネットワークEINNを紹介する。 メカニスティックモデルによって提供される理論的柔軟性と、AIモデルによって提供されるデータ駆動表現性の両方を活用する方法について検討する。
  論文  参考訳（メタデータ） (2022-02-21T18:59:03Z)
• Neural Dynamic Mode Decomposition for End-to-End Modeling of Nonlinear Dynamics [49.41640137945938]
  ニューラルネットワークに基づくリフト関数を推定するためのニューラルダイナミックモード分解法を提案する。 提案手法により,予測誤差はニューラルネットワークとスペクトル分解によって逆伝搬される。 提案手法の有効性を,固有値推定と予測性能の観点から実証した。
  論文  参考訳（メタデータ） (2020-12-11T08:34:26Z)
• Liquid Time-constant Networks [117.57116214802504]
  本稿では,時間連続リカレントニューラルネットワークモデルについて紹介する。 暗黙の非線形性によって学習システムの力学を宣言する代わりに、線形一階力学系のネットワークを構築する。 これらのニューラルネットワークは安定かつ有界な振る舞いを示し、ニューラル常微分方程式の族の中で優れた表現性をもたらす。
  論文  参考訳（メタデータ） (2020-06-08T09:53:35Z)
• Learning Stochastic Behaviour from Aggregate Data [52.012857267317784]
  集約データから非線形ダイナミクスを学習することは、各個人の完全な軌道が利用できないため、難しい問題である。 本稿では,Fokker Planck Equation (FPE) の弱い形式を用いて,サンプル形式のデータの密度変化を記述する手法を提案する。 このようなサンプルベースのフレームワークでは、偏微分方程式(PDE)FPEを明示的に解くことなく、集約データから非線形ダイナミクスを学習することができる。
  論文  参考訳（メタデータ） (2020-02-10T03:20:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。