論文の概要: In-Context Learning of Stochastic Differential Equations with Foundation Inference Models

• arxiv url: http://arxiv.org/abs/2502.19049v2
• Date: Tue, 21 Oct 2025 16:08:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-25 03:08:04.220165
• Title: In-Context Learning of Stochastic Differential Equations with Foundation Inference Models
• Title（参考訳）: 基礎推論モデルを用いた確率微分方程式の文脈内学習
• Authors: Patrick Seifner, Kostadin Cvejoski, David Berghaus, Cesar Ojeda, Ramses J. Sanchez,
• Abstract要約: 微分方程式(SDE)は、ドリフト関数によって支配される決定論的流れが拡散関数によって予測されるランダムなゆらぎで重畳される力学系を記述する。 低次元SDEのドリフトと拡散関数の正確なテキスト内推定を行う事前学習型認識モデルであるFIM-SDE(Foundation Inference Model for SDEs)を導入する。 我々は、FIM-SDEが、多種多様な合成および実世界のプロセスにわたって頑健なコンテキスト内関数推定を実現することを実証した。
• 参考スコア（独自算出の注目度）: 6.785438664749581
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Stochastic differential equations (SDEs) describe dynamical systems where deterministic flows, governed by a drift function, are superimposed with random fluctuations, dictated by a diffusion function. The accurate estimation (or discovery) of these functions from data is a central problem in machine learning, with wide application across the natural and social sciences. Yet current solutions either rely heavily on prior knowledge of the dynamics or involve intricate training procedures. We introduce FIM-SDE (Foundation Inference Model for SDEs), a pretrained recognition model that delivers accurate in-context (or zero-shot) estimation of the drift and diffusion functions of low-dimensional SDEs, from noisy time series data, and allows rapid finetuning to target datasets. Leveraging concepts from amortized inference and neural operators, we (pre)train FIM-SDE in a supervised fashion to map a large set of noisy, discretely observed SDE paths onto the space of drift and diffusion functions. We demonstrate that FIM-SDE achieves robust in-context function estimation across a wide range of synthetic and real-world processes -- from canonical SDE systems (e.g., double-well dynamics or weakly perturbed Lorenz attractors) to stock price recordings and oil-price and wind-speed fluctuations -- while matching the performance of symbolic, Gaussian process and Neural SDE baselines trained on the target datasets. When finetuned to the target processes, we show that FIM-SDE consistently outperforms all these baselines.
• Abstract（参考訳）: 確率微分方程式(SDE)は、ドリフト関数によって支配される決定論的流れが拡散関数によって予測されるランダムなゆらぎで重畳される力学系を記述する。 データからこれらの関数を正確に推定(あるいは発見)することは、機械学習の中心的な問題であり、自然科学や社会科学に広く応用されている。 しかし、現在のソリューションは、ダイナミクスの事前知識に大きく依存するか、複雑なトレーニング手順を伴います。 FIM-SDE (Foundation Inference Model for SDEs) は,低次元SDEのドリフトと拡散関数の高精度なインコンテキスト(あるいはゼロショット)推定を行う事前学習型認識モデルである。 減弱推論とニューラル演算子の概念を応用し、FIM-SDEを教師付きで訓練し、大きなノイズの集合、離散的に観察されたSDE経路をドリフトと拡散関数の空間にマッピングする。 我々は、FIM-SDEが、標準SDEシステム(例えば、ダブルウェルダイナミックスや弱い摂動誘引子)から株価記録、石油価格、風速変動まで、幅広い合成および実世界のプロセスにわたる堅牢なコンテキスト内関数推定を実現し、同時に、目標データセット上でトレーニングされたシンボル的、ガウス的プロセスおよびニューラルSDEベースラインの性能に適合することを示した。 対象のプロセスに微調整すると、FIM-SDEがこれらのベースラインを一貫して上回ることを示す。

関連論文リスト

• Stochastic Deep Learning: A Probabilistic Framework for Modeling Uncertainty in Structured Temporal Data [0.0]
  構造化データと時間的データを含む機械学習アプリケーションにおける不確実性を改善するために、微分方程式(SDE)を深層生成モデルと統合する新しいフレームワークを提案する。 このアプローチはLatent Differential Inference (SLDI)と呼ばれ、変分オートエンコーダの潜時空間にIt SDEを埋め込む。 SDEのドリフトと拡散の項はニューラルネットワークによってパラメータ化され、データ駆動推論と古典的時系列モデルにより不規則なサンプリングと複雑な動的構造を扱うことができる。
  論文  参考訳（メタデータ） (2026-01-08T18:53:59Z)
• Expanding the Chaos: Neural Operator for Stochastic (Partial) Differential Equations [65.80144621950981]
  我々はWienerカオス拡張(WCE)に基づいて、SPDEとSDEのためのニューラル演算子(NO)アーキテクチャを設計する。 WCEベースのニューラル演算子は、SDE/SPDEソリューション演算子を学習するための実用的でスケーラブルな方法を提供する。
  論文  参考訳（メタデータ） (2026-01-03T00:59:25Z)
• SING: SDE Inference via Natural Gradients [0.0]
  本稿では,SDE推論を自然勾配(Sing)を用いて提案し,モデルと変分後部の基底幾何学を効率的に活用する。 SINGは、難解な積分を近似し、計算を時間内に並列化することにより、潜在SDEモデルの高速かつ信頼性の高い推論を可能にする。 SINGは、様々なデータセットにおける状態推定とドリフト推定において、先行手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2025-06-21T19:36:11Z)
• Physics-informed Reduced Order Modeling of Time-dependent PDEs via Differentiable Solvers [1.224954637705144]
  本稿では,PDEソルバをトレーニング手順に組み込んだ物理インフォームドROM(Phi$-ROM)を提案する。 我々のモデルは、最先端のデータ駆動ROMやその他の物理インフォームド戦略より優れています。 $Phi$-ROMは、未熟で不規則な視野で訓練されたり評価されたりしても、解場を回復し、予測することを学ぶ。
  論文  参考訳（メタデータ） (2025-05-20T16:47:04Z)
• Paving the way for scientific foundation models: enhancing generalization and robustness in PDEs with constraint-aware pre-training [49.8035317670223]
  科学基盤モデル(SciFM)は、様々な領域にまたがる伝達可能な表現を学習するための有望なツールとして登場しつつある。 本稿では,PDE残差を単独の学習信号として,あるいはデータ損失と組み合わせて事前学習に組み込むことにより,限定的あるいは実用的でないトレーニングデータに補償することを提案する。 以上の結果から, PDE制約による事前学習は, 解データのみを訓練したモデルよりも, 一般化を著しく向上させることが示された。
  論文  参考訳（メタデータ） (2025-03-24T19:12:39Z)
• Principled model selection for stochastic dynamics [0.0]
  PASTISは、確率推定統計と極値理論を組み合わせて超流動パラメータを抑圧する原理的手法である。 サンプリング率や測定誤差が低い場合でも、最小限のモデルを確実に識別する。 これは偏微分方程式に適用され、生態ネットワークや反応拡散力学にも適用される。
  論文  参考訳（メタデータ） (2025-01-17T18:23:16Z)
• A Data-Driven Framework for Discovering Fractional Differential Equations in Complex Systems [8.206685537936078]
  本研究では、データから直接分数微分方程式(FDE)を発見するための段階的なデータ駆動フレームワークを提案する。 我々のフレームワークは、スパース観測とノイズ観測の分離と再構成のための代理モデルとしてディープニューラルネットワークを適用している。 本研究は, 凍結土壌のクリープ挙動に関する, 合成異常拡散データおよび実験データを含む, 各種データセットにわたるフレームワークの検証を行った。
  論文  参考訳（メタデータ） (2024-12-05T08:38:30Z)
• Advancing Generalization in PINNs through Latent-Space Representations [71.86401914779019]
  物理インフォームドニューラルネットワーク(PINN)は、偏微分方程式(PDE)によって支配される力学系のモデリングにおいて大きな進歩を遂げた。 本稿では,多種多様なPDE構成を効果的に一般化する物理インフォームドニューラルPDE解法PIDOを提案する。 PIDOは1次元合成方程式と2次元ナビエ・ストークス方程式を含む様々なベンチマークで検証する。
  論文  参考訳（メタデータ） (2024-11-28T13:16:20Z)
• Identifying Drift, Diffusion, and Causal Structure from Temporal Snapshots [10.018568337210876]
  本稿では,SDEの時空間からのドリフトと拡散を共同で推定する,最初の包括的アプローチを提案する。 これらのステップのそれぞれが、Kullback-Leiblerデータセットに関して常に最適であることを示す。
  論文  参考訳（メタデータ） (2024-10-30T06:28:21Z)
• Trajectory Flow Matching with Applications to Clinical Time Series Modeling [77.58277281319253]
  Trajectory Flow Matching (TFM) は、シミュレーションのない方法でニューラルSDEを訓練し、ダイナミックスを通してバックプロパゲーションをバイパスする。 絶対的性能と不確実性予測の観点から,3つの臨床時系列データセットの性能向上を実証した。
  論文  参考訳（メタデータ） (2024-10-28T15:54:50Z)
• A Training-Free Conditional Diffusion Model for Learning Stochastic Dynamical Systems [10.820654486318336]
  本研究では,未知の微分方程式(SDE)をデータを用いて学習するための学習自由条件拡散モデルを提案する。 提案手法はSDEのモデリングにおける計算効率と精度の重要な課題に対処する。 学習されたモデルは、未知のシステムの短期的および長期的両方の挙動を予測する上で、大幅な改善を示す。
  論文  参考訳（メタデータ） (2024-10-04T03:07:36Z)
• On the Trajectory Regularity of ODE-based Diffusion Sampling [79.17334230868693]
  拡散に基づく生成モデルは微分方程式を用いて、複素データ分布と抽出可能な事前分布の間の滑らかな接続を確立する。 本稿では,拡散モデルのODEに基づくサンプリングプロセスにおいて,いくつかの興味深い軌道特性を同定する。
  論文  参考訳（メタデータ） (2024-05-18T15:59:41Z)
• Diffusion models as probabilistic neural operators for recovering unobserved states of dynamical systems [49.2319247825857]
  拡散に基づく生成モデルは、ニューラル演算子に好適な多くの特性を示す。 本稿では,複数のタスクに適応可能な単一モデルを,トレーニング中のタスク間で交互に学習することを提案する。
  論文  参考訳（メタデータ） (2024-05-11T21:23:55Z)
• Neural McKean-Vlasov Processes: Distributional Dependence in Diffusion Processes [24.24785205800212]
  マッキーン・ブラソフ微分方程式(MV-SDE)は、無限個の相互作用する粒子の挙動を数学的に記述する。 本研究では,SDEのパラメータ化における分布情報含意の影響について検討する。
  論文  参考訳（メタデータ） (2024-04-15T01:28:16Z)
• Gaussian Mixture Solvers for Diffusion Models [84.83349474361204]
  本稿では,拡散モデルのためのGMSと呼ばれる,SDEに基づく新しい解法について紹介する。 画像生成およびストロークベース合成におけるサンプル品質の観点から,SDEに基づく多くの解法よりも優れる。
  論文  参考訳（メタデータ） (2023-11-02T02:05:38Z)
• Variational Inference for SDEs Driven by Fractional Noise [16.434973057669676]
  マルコフ近似分数的ブラウン運動(fBM)によって駆動される(神経)微分方程式(SDE)の推論を行うための新しい変分フレームワークを提案する。 本稿では, ニューラルネットワークを用いて, 変動後部におけるドリフト, 拡散, 制御条件を学習し, ニューラルSDEの変分学習を実現することを提案する。
  論文  参考訳（メタデータ） (2023-10-19T17:59:21Z)
• A Geometric Perspective on Diffusion Models [57.27857591493788]
  本稿では,人気のある分散拡散型SDEのODEに基づくサンプリングについて検討する。 我々は、最適なODEベースのサンプリングと古典的な平均シフト(モード探索)アルゴリズムの理論的関係を確立する。
  論文  参考訳（メタデータ） (2023-05-31T15:33:16Z)
• Score-based Diffusion Models in Function Space [137.70916238028306]
  拡散モデルは、最近、生成モデリングの強力なフレームワークとして登場した。 この研究は、関数空間における拡散モデルをトレーニングするためのDDO(Denoising Diffusion Operators)と呼ばれる数学的に厳密なフレームワークを導入する。 データ解像度に依存しない固定コストで、対応する離散化アルゴリズムが正確なサンプルを生成することを示す。
  論文  参考訳（メタデータ） (2023-02-14T23:50:53Z)
• A Kernel Learning Method for Backward SDE Filter [1.7035011973665108]
  我々は,その部分雑音観測に基づいて動的システムの状態を伝播するカーネル学習逆SDEフィルタ法を開発した。 本研究では,目標状態の条件付き確率密度関数に対する連続的大域的近似を学習するためのカーネル学習手法を提案する。 数値実験により、カーネル学習の後方SDEは極めて効率的かつ効率的であることが示されている。
  論文  参考訳（メタデータ） (2022-01-25T19:49:19Z)
• Stochastic Normalizing Flows [52.92110730286403]
  微分方程式(SDE)を用いた最大推定と変分推論のための正規化フロー(VI)を導入する。 粗い経路の理論を用いて、基礎となるブラウン運動は潜在変数として扱われ、近似され、神経SDEの効率的な訓練を可能にする。 これらのSDEは、与えられたデータセットの基盤となる分布からサンプリングする効率的なチェーンを構築するために使用することができる。
  論文  参考訳（メタデータ） (2020-02-21T20:47:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。