論文の概要: Efficient Training of Neural Stochastic Differential Equations by Matching Finite Dimensional Distributions
- arxiv url: http://arxiv.org/abs/2410.03973v1
- Date: Fri, 4 Oct 2024 23:26:38 GMT
- ステータス: 処理完了
- システム内更新日: 2024-11-02 15:00:17.032585
- Title: Efficient Training of Neural Stochastic Differential Equations by Matching Finite Dimensional Distributions
- Title（参考訳）: 有限次元分布のマッチングによるニューラル確率微分方程式の効率的な学習
- Authors: Jianxin Zhang, Josh Viktorov, Doosan Jung, Emily Pitler,
- Abstract要約: 連続マルコフ過程を比較するための新しいスコアリングルールを開発する。
このスコアリングルールにより、シグネチャカーネルに関連する計算オーバーヘッドを回避できます。
計算効率と生成品質の両面において,FDMが既存の手法よりも優れた性能を発揮することを示す。
- 参考スコア（独自算出の注目度）: 3.889230974713832
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Neural Stochastic Differential Equations (Neural SDEs) have emerged as powerful mesh-free generative models for continuous stochastic processes, with critical applications in fields such as finance, physics, and biology. Previous state-of-the-art methods have relied on adversarial training, such as GANs, or on minimizing distance measures between processes using signature kernels. However, GANs suffer from issues like instability, mode collapse, and the need for specialized training techniques, while signature kernel-based methods require solving linear PDEs and backpropagating gradients through the solver, whose computational complexity scales quadratically with the discretization steps. In this paper, we identify a novel class of strictly proper scoring rules for comparing continuous Markov processes. This theoretical finding naturally leads to a novel approach called Finite Dimensional Matching (FDM) for training Neural SDEs. Our method leverages the Markov property of SDEs to provide a computationally efficient training objective. This scoring rule allows us to bypass the computational overhead associated with signature kernels and reduces the training complexity from $O(D^2)$ to $O(D)$ per epoch, where $D$ represents the number of discretization steps of the process. We demonstrate that FDM achieves superior performance, consistently outperforming existing methods in terms of both computational efficiency and generative quality.
- Abstract（参考訳）: ニューラル確率微分方程式(Neural Stochastic Differential Equations (Neural SDEs))は、連続確率過程のための強力なメッシュのない生成モデルとして登場し、金融、物理学、生物学などの分野において重要な応用がなされている。
従来の最先端の手法は、GANのような敵の訓練や、シグネチャカーネルを用いたプロセス間の距離測定の最小化に頼っていた。
しかし、GANは不安定性、モード崩壊、特別なトレーニング技術の必要性といった問題に悩まされ、シグネチャカーネルベースの手法では、線形PDEの解法と、計算複雑性が離散化ステップと2次的にスケールする解法によるバックプロパゲーション勾配を必要とする。
本稿では,連続マルコフ過程を比較するための厳密なスコアリング規則の新たなクラスを同定する。
この理論的な発見は、ニューラルネットワークSDEのトレーニングのためのFDM(Finite dimensional Matching)と呼ばれる新しいアプローチに自然に導かれる。
本手法は,SDEのマルコフ特性を利用して,計算効率のよい学習目標を提供する。
このスコアリングルールにより、シグネチャカーネルに関連する計算オーバーヘッドを回避し、トレーニングの複雑さを1エポックあたり$O(D^2)$から$O(D)$に削減できます。
計算効率と生成品質の両面において,FDMが既存の手法よりも優れた性能を発揮することを示す。
関連論文リスト
- A Simulation-Free Deep Learning Approach to Stochastic Optimal Control [12.699529713351287]
最適制御(SOC)における一般問題の解法のためのシミュレーションフリーアルゴリズムを提案する。
既存の手法とは異なり、我々の手法は随伴問題の解を必要としない。
論文 参考訳（メタデータ） (2024-10-07T16:16:53Z) - Partial-differential-algebraic equations of nonlinear dynamics by Physics-Informed Neural-Network: (I) Operator splitting and framework assessment [51.3422222472898]
偏微分代数方程式の解法として, 新規な物理情報ネットワーク(PINN)の構築法が提案されている。
これらの新しい手法には PDE 形式があり、これは未知の従属変数が少ない低レベル形式からより従属変数を持つ高レベル形式へと進化している。
論文 参考訳（メタデータ） (2024-07-13T22:48:17Z) - Non-adversarial training of Neural SDEs with signature kernel scores [4.721845865189578]
不規則な時系列生成のための最先端性能は、これらのモデルをGANとして逆向きに訓練することで既に得られている。
本稿では,シグネチャカーネルに基づくパス空間のスコアリングルールを新たに導入する。
論文 参考訳（メタデータ） (2023-05-25T17:31:18Z) - Implicit Stochastic Gradient Descent for Training Physics-informed
Neural Networks [51.92362217307946]
物理インフォームドニューラルネットワーク(PINN)は、前方および逆微分方程式問題の解法として効果的に実証されている。
PINNは、近似すべきターゲット関数が高周波またはマルチスケールの特徴を示す場合、トレーニング障害に閉じ込められる。
本稿では,暗黙的勾配降下法(ISGD)を用いてPINNを訓練し,トレーニングプロセスの安定性を向上させることを提案する。
論文 参考訳（メタデータ） (2023-03-03T08:17:47Z) - Monte Carlo Neural PDE Solver for Learning PDEs via Probabilistic Representation [59.45669299295436]
教師なしニューラルソルバのトレーニングのためのモンテカルロPDEソルバを提案する。
我々は、マクロ現象をランダム粒子のアンサンブルとみなすPDEの確率的表現を用いる。
対流拡散, アレン・カーン, ナヴィエ・ストークス方程式に関する実験により, 精度と効率が著しく向上した。
論文 参考訳（メタデータ） (2023-02-10T08:05:19Z) - Learnable Path in Neural Controlled Differential Equations [11.38331901271794]
ニューラルネットワーク制御微分方程式(NCDEs)は、(不規則な)時系列処理における特別なモデルである。
本稿では,適切な方法を学ぶのと同一の潜在経路を生成する方法を提案する。
我々はNCDEとNODEをベースとしたエンコーダデコーダモジュールを設計し,その特別な訓練方法を提案する。
論文 参考訳（メタデータ） (2023-01-11T07:05:27Z) - JAX-DIPS: Neural bootstrapping of finite discretization methods and
application to elliptic problems with discontinuities [0.0]
この戦略は、偏微分方程式のニューラルネットワークサロゲートモデルを効率的に訓練するために使用できる。
提案したニューラルブートストラップ法(以下 NBM と呼ぶ)は,PDE システムの有限離散化残基の評価に基づいている。
NBMは他のPINNタイプのフレームワークとメモリとトレーニングの速度で競合することを示す。
論文 参考訳（メタデータ） (2022-10-25T20:13:26Z) - Score-based Generative Modeling of Graphs via the System of Stochastic
Differential Equations [57.15855198512551]
本稿では,連続時間フレームワークを用いたグラフのスコアベース生成モデルを提案する。
本手法は, トレーニング分布に近い分子を生成できるが, 化学価数則に違反しないことを示す。
論文 参考訳（メタデータ） (2022-02-05T08:21:04Z) - Large-scale Neural Solvers for Partial Differential Equations [48.7576911714538]
偏微分方程式 (PDE) を解くことは、多くのプロセスがPDEの観点でモデル化できるため、科学の多くの分野において不可欠である。
最近の数値解法では、基礎となる方程式を手動で離散化するだけでなく、分散コンピューティングのための高度で調整されたコードも必要である。
偏微分方程式, 物理インフォームドニューラルネットワーク(PINN)に対する連続メッシュフリーニューラルネットワークの適用性について検討する。
本稿では,解析解に関するGatedPINNの精度と,スペクトル解法などの最先端数値解法について論じる。
論文 参考訳（メタデータ） (2020-09-08T13:26:51Z) - Efficient Learning of Generative Models via Finite-Difference Score
Matching [111.55998083406134]
有限差分で任意の順序方向微分を効率的に近似する汎用戦略を提案する。
我々の近似は関数評価にのみ関係しており、これは並列で実行でき、勾配計算は行わない。
論文 参考訳（メタデータ） (2020-07-07T10:05:01Z) - Weak SINDy For Partial Differential Equations [0.0]
我々はWeak SINDy(WSINDy)フレームワークを偏微分方程式(PDE)の設定にまで拡張する。
弱い形状による点微分近似の除去は、ノイズフリーデータからモデル係数の効率的な機械的精度回復を可能にする。
我々は、いくつかの挑戦的なPDEに対して、WSINDyの堅牢性、速度、精度を実証する。
論文 参考訳（メタデータ） (2020-07-06T16:03:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。