論文の概要: Non-adversarial training of Neural SDEs with signature kernel scores
- arxiv url: http://arxiv.org/abs/2305.16274v1
- Date: Thu, 25 May 2023 17:31:18 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-26 13:34:11.382589
- Title: Non-adversarial training of Neural SDEs with signature kernel scores
- Title（参考訳）: 符号カーネルスコアを用いたニューラルSDEの非線形学習
- Authors: Zacharia Issa and Blanka Horvath and Maud Lemercier and Cristopher
Salvi
- Abstract要約: 不規則な時系列生成のための最先端性能は、これらのモデルをGANとして逆向きに訓練することで既に得られている。
本稿では,シグネチャカーネルに基づくパス空間のスコアリングルールを新たに導入する。
- 参考スコア（独自算出の注目度）: 4.721845865189578
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Neural SDEs are continuous-time generative models for sequential data.
State-of-the-art performance for irregular time series generation has been
previously obtained by training these models adversarially as GANs. However, as
typical for GAN architectures, training is notoriously unstable, often suffers
from mode collapse, and requires specialised techniques such as weight clipping
and gradient penalty to mitigate these issues. In this paper, we introduce a
novel class of scoring rules on pathspace based on signature kernels and use
them as objective for training Neural SDEs non-adversarially. By showing strict
properness of such kernel scores and consistency of the corresponding
estimators, we provide existence and uniqueness guarantees for the minimiser.
With this formulation, evaluating the generator-discriminator pair amounts to
solving a system of linear path-dependent PDEs which allows for
memory-efficient adjoint-based backpropagation. Moreover, because the proposed
kernel scores are well-defined for paths with values in infinite dimensional
spaces of functions, our framework can be easily extended to generate
spatiotemporal data. Our procedure permits conditioning on a rich variety of
market conditions and significantly outperforms alternative ways of training
Neural SDEs on a variety of tasks including the simulation of rough volatility
models, the conditional probabilistic forecasts of real-world forex pairs where
the conditioning variable is an observed past trajectory, and the mesh-free
generation of limit order book dynamics.
- Abstract（参考訳）: ニューラルSDEはシーケンシャルデータのための連続時間生成モデルである。
不規則な時系列生成のための最先端性能は、これらのモデルをGANとして逆向きに訓練することで既に得られている。
しかし、GANアーキテクチャの典型的なように、トレーニングは不安定で、しばしばモード崩壊に悩まされ、これらの問題を緩和するために重量削減や勾配ペナルティといった専門技術を必要とする。
本稿では,シグネチャカーネルに基づくパス空間のスコアリングルールを新たに導入し,ニューラルSDEを非逆的に訓練するための目的として利用する。
このようなカーネルスコアの厳密な正当性と対応する推定器の整合性を示すことにより、ミニミザーの存在と特異性を保証する。
この定式化により、ジェネレータと差別化器のペアの評価は、メモリ効率の良い随伴型バックプロパゲーションを可能にする線形パス依存PDEのシステムに相当する。
さらに,提案するカーネルスコアは無限次元関数空間内の値を持つ経路に対してよく定義されているので,時空間データを生成するために容易に拡張できる。
提案手法は,多種多様な市場条件下での条件付けを許容し,粗変動モデルのシミュレーション,条件変数が過去の軌跡である実世界のForexペアの条件確率予測,リミットオーダーブックダイナミクスのメッシュフリー生成など,さまざまなタスクにおけるニューラルSDEの訓練方法よりもはるかに優れる。
関連論文リスト
- SDE Matching: Scalable and Simulation-Free Training of Latent Stochastic Differential Equations [2.1779479916071067]
SDEマッチング(SDE Matching)を提案する。
以上の結果から,SDEマッチングは随伴感度法に匹敵する性能を示す。
論文 参考訳（メタデータ） (2025-02-04T16:47:49Z) - Hard Constraint Guided Flow Matching for Gradient-Free Generation of PDE Solutions [41.558608119074755]
計算コストや微調整を必要とせず、ゼロショットで制約を正確に満たすために、事前訓練された非拘束フローマッチングモデルを適用するための新しいフレームワークを提案する。
ECIサンプリングの枠組みは外挿(E)、補正(C)、生成(I)の段階を交互に行い、生成の妥当性を保ちながら制約情報の正確な統合を保証する。
本研究では,これらの制約により引き起こされる複雑な分散シフトを正確に把握し,ECI誘導生成が物理的制約に厳密に準拠することを示し,PDEシステムにおけるアプローチの有効性を実証する。
論文 参考訳（メタデータ） (2024-12-02T18:36:26Z) - Trajectory Flow Matching with Applications to Clinical Time Series Modeling [77.58277281319253]
Trajectory Flow Matching (TFM) は、シミュレーションのない方法でニューラルSDEを訓練し、ダイナミックスを通してバックプロパゲーションをバイパスする。
絶対的性能と不確実性予測の観点から,3つの臨床時系列データセットの性能向上を実証した。
論文 参考訳（メタデータ） (2024-10-28T15:54:50Z) - Efficient Training of Neural Stochastic Differential Equations by Matching Finite Dimensional Distributions [3.889230974713832]
連続マルコフ過程を比較するための新しいスコアリングルールを開発する。
このスコアリングルールにより、シグネチャカーネルに関連する計算オーバーヘッドを回避できます。
計算効率と生成品質の両面において,FDMが既存の手法よりも優れた性能を発揮することを示す。
論文 参考訳（メタデータ） (2024-10-04T23:26:38Z) - On the Trajectory Regularity of ODE-based Diffusion Sampling [79.17334230868693]
拡散に基づく生成モデルは微分方程式を用いて、複素データ分布と抽出可能な事前分布の間の滑らかな接続を確立する。
本稿では,拡散モデルのODEに基づくサンプリングプロセスにおいて,いくつかの興味深い軌道特性を同定する。
論文 参考訳（メタデータ） (2024-05-18T15:59:41Z) - Stable Neural Stochastic Differential Equations in Analyzing Irregular Time Series Data [3.686808512438363]
実世界の時系列データにおける不規則サンプリング間隔と欠落値は,従来の手法の課題である。
本稿では,Langevin-type SDE,Linear Noise SDE,Geometric SDEの3つの安定クラスを提案する。
本研究は,実世界の不規則時系列データを扱う上で,提案手法の有効性を示すものである。
論文 参考訳（メタデータ） (2024-02-22T22:00:03Z) - Towards Continual Learning Desiderata via HSIC-Bottleneck
Orthogonalization and Equiangular Embedding [55.107555305760954]
本稿では,レイヤワイドパラメータのオーバーライトや決定境界の歪みに起因する,概念的にシンプルで効果的な手法を提案する。
提案手法は,ゼロの指数バッファと1.02倍の差が絶対的に優れていても,競争精度が向上する。
論文 参考訳（メタデータ） (2024-01-17T09:01:29Z) - Conditional Denoising Diffusion for Sequential Recommendation [62.127862728308045]
GAN(Generative Adversarial Networks)とVAE(VAE)の2つの顕著な生成モデル
GANは不安定な最適化に苦しむ一方、VAEは後続の崩壊と過度に平らな世代である。
本稿では,シーケンスエンコーダ,クロスアテンティブデノナイジングデコーダ,ステップワイズディフューザを含む条件付きデノナイジング拡散モデルを提案する。
論文 参考訳（メタデータ） (2023-04-22T15:32:59Z) - Closed-form Continuous-Depth Models [99.40335716948101]
連続深度ニューラルモデルは高度な数値微分方程式解法に依存している。
我々は,CfCネットワークと呼ばれる,記述が簡単で,少なくとも1桁高速な新しいモデル群を提示する。
論文 参考訳（メタデータ） (2021-06-25T22:08:51Z) - Neural SDEs as Infinite-Dimensional GANs [18.07683058213448]
我々は、SDE の適合に対する現在の古典的アプローチが、(ワッサーシュタイン) GAN の特別な場合としてアプローチされることを示した。
我々は(現代の機械学習における)連続時間生成時系列モデルとしてニューラルSDEを得る。
論文 参考訳（メタデータ） (2021-02-06T19:59:15Z) - Probabilistic Circuits for Variational Inference in Discrete Graphical
Models [101.28528515775842]
変分法による離散的グラフィカルモデルの推論は困難である。
エビデンス・ロウアーバウンド(ELBO)を推定するためのサンプリングに基づく多くの手法が提案されている。
Sum Product Networks (SPN) のような確率的回路モデルのトラクタビリティを活用する新しい手法を提案する。
選択的SPNが表現的変動分布として適していることを示し、対象モデルの対数密度が重み付けされた場合、対応するELBOを解析的に計算可能であることを示す。
論文 参考訳（メタデータ） (2020-10-22T05:04:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。