論文の概要: LASS-ODE: Scaling ODE Computations to Connect Foundation Models with Dynamical Physical Systems

• arxiv url: http://arxiv.org/abs/2602.01009v2
• Date: Wed, 04 Feb 2026 06:20:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-05 15:07:33.695935
• Title: LASS-ODE: Scaling ODE Computations to Connect Foundation Models with Dynamical Physical Systems
• Title（参考訳）: LASS-ODE: 基礎モデルと動的物理系を結びつけるためのODEのスケーリング
• Authors: Haoran Li, Chenhan Xiao, Lihao Mai, Yang Weng, Erik Blasch,
• Abstract要約: ODE の一貫性を強制することは、高価な非線形統合を必要としないことを示す。 トークン単位の局所線型ODE表現は、基礎モデル体制へのスケーリング中に物理的忠実性を保存する。 我々は、共通構造ハブによる注意を増大させる、シンプルだが効果的なシステム間注目を導入する。
• 参考スコア（独自算出の注目度）: 15.204028213517185
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Foundation models have transformed language, vision, and time series data analysis, yet progress on dynamic predictions for physical systems remains limited. Given the complexity of physical constraints, two challenges stand out. $(i)$ Physics-computation scalability: physics-informed learning can enforce physical regularization, but its computation (e.g., ODE integration) does not scale to extensive systems. $(ii)$ Knowledge-sharing efficiency: the attention mechanism is primarily computed within each system, which limits the extraction of shared ODE structures across systems. We show that enforcing ODE consistency does not require expensive nonlinear integration: a token-wise locally linear ODE representation preserves physical fidelity while scaling to foundation-model regimes. Thus, we propose novel token representations that respect locally linear ODE evolution. Such linearity substantially accelerates integration while accurately approximating the local data manifold. Second, we introduce a simple yet effective inter-system attention that augments attention with a common structure hub (CSH) that stores shared tokens and aggregates knowledge across systems. The resulting model, termed LASS-ODE (\underline{LA}rge-\underline{S}cale \underline{S}mall \underline{ODE}), is pretrained on our $40$GB ODE trajectory collections to enable strong in-domain performance, zero-shot generalization across diverse ODE systems, and additional improvements through fine-tuning.
• Abstract（参考訳）: 基礎モデルは言語、ビジョン、時系列データ分析に変化をもたらしたが、物理系の動的予測の進歩は依然として限られている。 物理的制約の複雑さを考えると、2つの課題が浮かび上がっている。 $ (i)$ Physics-Computation scalability:物理情報学習は物理正規化を強制することができるが、その計算(ODE統合など)は広範なシステムにスケールしない。 $ (ii)$ナレッジ共有効率:アテンションメカニズムは主に各システム内で計算され、システム間の共有ODE構造の抽出を制限する。 トークン単位の局所線形ODE表現は,基礎モデルに拡張しつつ,物理的忠実さを保っている。 そこで我々は,局所線形ODE進化を尊重する新しいトークン表現を提案する。 このような線形性は、局所データ多様体を正確に近似しながら、積分を著しく加速する。 第2に,共有トークンを格納し,システム全体にわたる知識を集約する共通構造ハブ(CSH)で注意を喚起する,単純かつ効果的なシステム間注目を導入する。 その結果、LASS-ODE(\underline{LA}rge-\underline{S}cale \underline{S}mall \underline{ODE})と呼ばれるモデルが、40$GBのODEトラジェクトリコレクションで事前トレーニングされ、ドメイン内での強力なパフォーマンス、多様なODEシステム間のゼロショットの一般化、微調整によるさらなる改善が実現された。

関連論文リスト

• Hierarchical Physics-Embedded Learning for Spatiotemporal Dynamical Systems [12.832325257647128]
  本稿では,前向きの時間予測と逆の物理法則の発見を両立させる階層型物理埋め込み学習フレームワークを提案する。 既知の物理法則は、物理整合性を保証するモデル計算グラフに直接埋め込まれる。 このフレームワークを適応型ニューラル演算子上に構築することにより,動的システムに特徴的な非局所的依存や高次演算子を効果的に捉えることができる。
  論文  参考訳（メタデータ） (2025-10-29T09:18:41Z)
• Mixed Monotonicity Reachability Analysis of Neural ODE: A Trade-Off Between Tightness and Efficiency [1.7205106391379026]
  ニューラル常微分方程式(ニューラルODE)の新しい区間ベースリーチビリティ法を提案する。 完備初期集合の幾何学的構造とそれらの境界を同相性を通じて活用する。 提案手法は, CORA のゾノトープや NNV2.0 の星集合表現と比較して, 音響的, 計算学的に効率的なオーバー近似を提供する。
  論文  参考訳（メタデータ） (2025-10-15T10:25:32Z)
• No Equations Needed: Learning System Dynamics Without Relying on Closed-Form ODEs [56.78271181959529]
  本稿では,従来の2段階モデリングプロセスから離れることで,低次元力学系をモデル化する概念シフトを提案する。 最初に閉形式方程式を発見して解析する代わりに、我々のアプローチ、直接意味モデリングは力学系の意味表現を予測する。 私たちのアプローチは、モデリングパイプラインを単純化するだけでなく、結果のモデルの透明性と柔軟性も向上します。
  論文  参考訳（メタデータ） (2025-01-30T18:36:48Z)
• ControlSynth Neural ODEs: Modeling Dynamical Systems with Guaranteed Convergence [1.1720409777196028]
  ニューラルネットワーク(NODE)は、時間間隔の制限なしにデータを処理できる連続時間ニューラルネットワーク(NN)である。 非常に非線形な性質にもかかわらず、収束はトラクタブル線型不等式によって保証されることを示す。 CSODEの合成において、異なるスケールで動的に同時に捕捉される可能性について学習するための余分な制御項を導入する。
  論文  参考訳（メタデータ） (2024-11-04T17:20:42Z)
• Learning System Dynamics without Forgetting [60.08612207170659]
  本研究では,CDL(Continuous Dynamics Learning)の問題,タスク構成の検証,既存手法の適用性について検討する。 本稿では、LG-ODEとサブネットワーク学習の長所をモデムスイッチングモジュールと統合したモードスイッチンググラフODE(MS-GODE)モデルを提案する。 CDLのための生体動態システムの新しいベンチマーク、Bio-CDLを構築し、異なるダイナミクスを持つ多様なシステムを特徴付ける。
  論文  参考訳（メタデータ） (2024-06-30T14:55:18Z)
• Equivariant geometric convolutions for emulation of dynamical systems [6.3003220645859175]
  我々は幾何学的畳み込みを用いて、機械学習モデルに座標自由を強制する。 2次元圧縮可能なナビエストークスを模擬した数値実験では,精度が向上し,安定性が向上した。 モデルアーキテクチャに大きな変更を加えることなく座標自由を強制することの容易さは、適切な種類の問題に適用されるCNNベースのメソッドにエキサイティングなレシピを提供する。
  論文  参考訳（メタデータ） (2023-05-21T22:44:18Z)
• Learning Neural Constitutive Laws From Motion Observations for Generalizable PDE Dynamics [97.38308257547186]
  多くのNNアプローチは、支配的PDEと物質モデルの両方を暗黙的にモデル化するエンドツーエンドモデルを学ぶ。 PDEの管理はよく知られており、学習よりも明示的に実施されるべきである、と私たちは主張する。 そこで我々は,ネットワークアーキテクチャを利用したニューラル構成則(Neural Constitutive Laws,NCLaw)と呼ばれる新しいフレームワークを導入する。
  論文  参考訳（メタデータ） (2023-04-27T17:42:24Z)
• KalmanNet: Neural Network Aided Kalman Filtering for Partially Known Dynamics [84.18625250574853]
  KalmanNetは、データから学習し、非線形力学の下でKalmanフィルタを実行するリアルタイム状態推定器である。 我々は、KalmanNetが非線形性とモデルミスマッチを克服し、古典的なフィルタリング手法より優れていることを数値的に示す。
  論文  参考訳（メタデータ） (2021-07-21T12:26:46Z)
• Learning ODEs via Diffeomorphisms for Fast and Robust Integration [40.52862415144424]
  微分可能な解法はニューラルネットワークの学習の中心である。 本稿では,データからODEを学習するための代替手法を提案する。 学習したODEと勾配を統合する場合、最大2桁の改善を観測する。
  論文  参考訳（メタデータ） (2021-07-04T14:32:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。