論文の概要: Foundation Inference Models for Stochastic Differential Equations: A Transformer-based Approach for Zero-shot Function Estimation

• arxiv url: http://arxiv.org/abs/2502.19049v1
• Date: Wed, 26 Feb 2025 11:04:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-27 14:56:58.218547
• Title: Foundation Inference Models for Stochastic Differential Equations: A Transformer-based Approach for Zero-shot Function Estimation
• Title（参考訳）: 確率微分方程式の基底推定モデル:ゼロショット関数推定のための変換器に基づくアプローチ
• Authors: Patrick Seifner, Kostadin Cvejoski, David Berghaus, Cesar Ojeda, Ramses J. Sanchez,
• Abstract要約: 本稿では,SDEのドリフトと拡散関数を正確にゼロショットで推定できる変換器を用いた認識モデルであるFIM-SDE(Foundation Inference Model for SDEs)を紹介する。 我々は,FIM-SDEと同一(事前訓練)のFIM-SDEが,多種多様な合成および実世界のプロセスにわたって頑健なゼロショット関数推定を実現することを実証した。
• 参考スコア（独自算出の注目度）: 3.005912045854039
• License:
• Abstract: Stochastic differential equations (SDEs) describe dynamical systems where deterministic flows, governed by a drift function, are superimposed with random fluctuations dictated by a diffusion function. The accurate estimation (or discovery) of these functions from data is a central problem in machine learning, with wide application across natural and social sciences alike. Yet current solutions are brittle, and typically rely on symbolic regression or Bayesian non-parametrics. In this work, we introduce FIM-SDE (Foundation Inference Model for SDEs), a transformer-based recognition model capable of performing accurate zero-shot estimation of the drift and diffusion functions of SDEs, from noisy and sparse observations on empirical processes of different dimensionalities. Leveraging concepts from amortized inference and neural operators, we train FIM-SDE in a supervised fashion, to map a large set of noisy and discretely observed SDE paths to their corresponding drift and diffusion functions. We demonstrate that one and the same (pretrained) FIM-SDE achieves robust zero-shot function estimation (i.e. without any parameter fine-tuning) across a wide range of synthetic and real-world processes, from canonical SDE systems (e.g. double-well dynamics or weakly perturbed Hopf bifurcations) to human motion recordings and oil price and wind speed fluctuations.
• Abstract（参考訳）: 確率微分方程式(SDE)は、ドリフト関数によって支配される決定論的流れが拡散関数によって予測されるランダムなゆらぎで重畳される力学系を記述する。 データからこれらの関数を正確に推定(あるいは発見)することは、機械学習における中心的な問題であり、自然科学や社会科学にも広く応用されている。 しかし、現在の解は不安定であり、典型的には記号回帰やベイズ非パラメトリックに依存する。 本研究では,SDEのドリフトと拡散関数の正確なゼロショット推定が可能な変換器に基づく認識モデルであるFIM-SDE(Foundation Inference Model for SDEs)を紹介する。 減弱推論とニューラル演算子の概念を活用して、FIM-SDEを教師付きで訓練し、大きなノイズと離散的に観察されたSDE経路を対応するドリフトと拡散関数にマッピングする。 我々は,FIM-SDEと同一かつ同一のFIM-SDEが,標準SDEシステム(例えばダブルウェルダイナミックスや弱い摂動型ホップ分岐)から人間のモーション記録,石油価格,風速変動に至るまで,幅広い合成および実世界のプロセスにわたって頑健なゼロショット関数推定(パラメータ微調整なし)を実現することを実証した。

関連論文リスト

• A Data-Driven Framework for Discovering Fractional Differential Equations in Complex Systems [8.206685537936078]
  本研究では、データから直接分数微分方程式(FDE)を発見するための段階的なデータ駆動フレームワークを提案する。 我々のフレームワークは、スパース観測とノイズ観測の分離と再構成のための代理モデルとしてディープニューラルネットワークを適用している。 本研究は, 凍結土壌のクリープ挙動に関する, 合成異常拡散データおよび実験データを含む, 各種データセットにわたるフレームワークの検証を行った。
  論文  参考訳（メタデータ） (2024-12-05T08:38:30Z)
• Identifying Drift, Diffusion, and Causal Structure from Temporal Snapshots [10.018568337210876]
  本稿では,SDEの時空間からのドリフトと拡散を共同で推定する,最初の包括的アプローチを提案する。 これらのステップのそれぞれが、Kullback-Leiblerデータセットに関して常に最適であることを示す。
  論文  参考訳（メタデータ） (2024-10-30T06:28:21Z)
• A Training-Free Conditional Diffusion Model for Learning Stochastic Dynamical Systems [10.820654486318336]
  本研究では,未知の微分方程式(SDE)をデータを用いて学習するための学習自由条件拡散モデルを提案する。 提案手法はSDEのモデリングにおける計算効率と精度の重要な課題に対処する。 学習されたモデルは、未知のシステムの短期的および長期的両方の挙動を予測する上で、大幅な改善を示す。
  論文  参考訳（メタデータ） (2024-10-04T03:07:36Z)
• On the Trajectory Regularity of ODE-based Diffusion Sampling [79.17334230868693]
  拡散に基づく生成モデルは微分方程式を用いて、複素データ分布と抽出可能な事前分布の間の滑らかな接続を確立する。 本稿では,拡散モデルのODEに基づくサンプリングプロセスにおいて,いくつかの興味深い軌道特性を同定する。
  論文  参考訳（メタデータ） (2024-05-18T15:59:41Z)
• Diffusion models as probabilistic neural operators for recovering unobserved states of dynamical systems [49.2319247825857]
  拡散に基づく生成モデルは、ニューラル演算子に好適な多くの特性を示す。 本稿では,複数のタスクに適応可能な単一モデルを,トレーニング中のタスク間で交互に学習することを提案する。
  論文  参考訳（メタデータ） (2024-05-11T21:23:55Z)
• Neural McKean-Vlasov Processes: Distributional Dependence in Diffusion Processes [24.24785205800212]
  マッキーン・ブラソフ微分方程式(MV-SDE)は、無限個の相互作用する粒子の挙動を数学的に記述する。 本研究では,SDEのパラメータ化における分布情報含意の影響について検討する。
  論文  参考訳（メタデータ） (2024-04-15T01:28:16Z)
• Gaussian Mixture Solvers for Diffusion Models [84.83349474361204]
  本稿では,拡散モデルのためのGMSと呼ばれる,SDEに基づく新しい解法について紹介する。 画像生成およびストロークベース合成におけるサンプル品質の観点から,SDEに基づく多くの解法よりも優れる。
  論文  参考訳（メタデータ） (2023-11-02T02:05:38Z)
• Variational Inference for SDEs Driven by Fractional Noise [16.434973057669676]
  マルコフ近似分数的ブラウン運動(fBM)によって駆動される(神経)微分方程式(SDE)の推論を行うための新しい変分フレームワークを提案する。 本稿では, ニューラルネットワークを用いて, 変動後部におけるドリフト, 拡散, 制御条件を学習し, ニューラルSDEの変分学習を実現することを提案する。
  論文  参考訳（メタデータ） (2023-10-19T17:59:21Z)
• A Geometric Perspective on Diffusion Models [57.27857591493788]
  本稿では,人気のある分散拡散型SDEのODEに基づくサンプリングについて検討する。 我々は、最適なODEベースのサンプリングと古典的な平均シフト(モード探索)アルゴリズムの理論的関係を確立する。
  論文  参考訳（メタデータ） (2023-05-31T15:33:16Z)
• Score-based Diffusion Models in Function Space [137.70916238028306]
  拡散モデルは、最近、生成モデリングの強力なフレームワークとして登場した。 この研究は、関数空間における拡散モデルをトレーニングするためのDDO(Denoising Diffusion Operators)と呼ばれる数学的に厳密なフレームワークを導入する。 データ解像度に依存しない固定コストで、対応する離散化アルゴリズムが正確なサンプルを生成することを示す。
  論文  参考訳（メタデータ） (2023-02-14T23:50:53Z)
• Stochastic Normalizing Flows [52.92110730286403]
  微分方程式(SDE)を用いた最大推定と変分推論のための正規化フロー(VI)を導入する。 粗い経路の理論を用いて、基礎となるブラウン運動は潜在変数として扱われ、近似され、神経SDEの効率的な訓練を可能にする。 これらのSDEは、与えられたデータセットの基盤となる分布からサンプリングする効率的なチェーンを構築するために使用することができる。
  論文  参考訳（メタデータ） (2020-02-21T20:47:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。