論文の概要: Non-adversarial training of Neural SDEs with signature kernel scores
- arxiv url: http://arxiv.org/abs/2305.16274v1
- Date: Thu, 25 May 2023 17:31:18 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-26 13:34:11.382589
- Title: Non-adversarial training of Neural SDEs with signature kernel scores
- Title(参考訳): 符号カーネルスコアを用いたニューラルSDEの非線形学習
- Authors: Zacharia Issa and Blanka Horvath and Maud Lemercier and Cristopher
Salvi
- Abstract要約: 不規則な時系列生成のための最先端性能は、これらのモデルをGANとして逆向きに訓練することで既に得られている。
本稿では,シグネチャカーネルに基づくパス空間のスコアリングルールを新たに導入する。
- 参考スコア(独自算出の注目度): 4.721845865189578
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Neural SDEs are continuous-time generative models for sequential data.
State-of-the-art performance for irregular time series generation has been
previously obtained by training these models adversarially as GANs. However, as
typical for GAN architectures, training is notoriously unstable, often suffers
from mode collapse, and requires specialised techniques such as weight clipping
and gradient penalty to mitigate these issues. In this paper, we introduce a
novel class of scoring rules on pathspace based on signature kernels and use
them as objective for training Neural SDEs non-adversarially. By showing strict
properness of such kernel scores and consistency of the corresponding
estimators, we provide existence and uniqueness guarantees for the minimiser.
With this formulation, evaluating the generator-discriminator pair amounts to
solving a system of linear path-dependent PDEs which allows for
memory-efficient adjoint-based backpropagation. Moreover, because the proposed
kernel scores are well-defined for paths with values in infinite dimensional
spaces of functions, our framework can be easily extended to generate
spatiotemporal data. Our procedure permits conditioning on a rich variety of
market conditions and significantly outperforms alternative ways of training
Neural SDEs on a variety of tasks including the simulation of rough volatility
models, the conditional probabilistic forecasts of real-world forex pairs where
the conditioning variable is an observed past trajectory, and the mesh-free
generation of limit order book dynamics.
- Abstract(参考訳): ニューラルSDEはシーケンシャルデータのための連続時間生成モデルである。
不規則な時系列生成のための最先端性能は、これらのモデルをGANとして逆向きに訓練することで既に得られている。
しかし、GANアーキテクチャの典型的なように、トレーニングは不安定で、しばしばモード崩壊に悩まされ、これらの問題を緩和するために重量削減や勾配ペナルティといった専門技術を必要とする。
本稿では,シグネチャカーネルに基づくパス空間のスコアリングルールを新たに導入し,ニューラルSDEを非逆的に訓練するための目的として利用する。
このようなカーネルスコアの厳密な正当性と対応する推定器の整合性を示すことにより、ミニミザーの存在と特異性を保証する。
この定式化により、ジェネレータと差別化器のペアの評価は、メモリ効率の良い随伴型バックプロパゲーションを可能にする線形パス依存PDEのシステムに相当する。
さらに,提案するカーネルスコアは無限次元関数空間内の値を持つ経路に対してよく定義されているので,時空間データを生成するために容易に拡張できる。
提案手法は,多種多様な市場条件下での条件付けを許容し,粗変動モデルのシミュレーション,条件変数が過去の軌跡である実世界のForexペアの条件確率予測,リミットオーダーブックダイナミクスのメッシュフリー生成など,さまざまなタスクにおけるニューラルSDEの訓練方法よりもはるかに優れる。
関連論文リスト
- Stable Neural Stochastic Differential Equations in Analyzing Irregular
Time Series Data [4.14360329494344]
実世界の時系列データにおける不規則サンプリング間隔と欠落値は,従来の手法の課題である。
本稿では,Langevin-type SDE,Linear Noise SDE,Geometric SDEの3つの安定クラスを提案する。
本研究は,実世界の不規則時系列データを扱う上で,提案手法の有効性を示すものである。
論文 参考訳(メタデータ) (2024-02-22T22:00:03Z) - Projected Generative Diffusion Models for Constraint Satisfaction [51.957984732779245]
生成拡散モデルは、逐次過程を通じて生ノイズからコヒーレントな内容の合成に優れる。
本稿では,従来の拡散サンプリングを制約最適化経路に再キャストすることで,これらの課題を克服することを目的とする。
論文 参考訳(メタデータ) (2024-02-05T22:18:16Z) - Towards Continual Learning Desiderata via HSIC-Bottleneck
Orthogonalization and Equiangular Embedding [55.107555305760954]
本稿では,レイヤワイドパラメータのオーバーライトや決定境界の歪みに起因する,概念的にシンプルで効果的な手法を提案する。
提案手法は,ゼロの指数バッファと1.02倍の差が絶対的に優れていても,競争精度が向上する。
論文 参考訳(メタデータ) (2024-01-17T09:01:29Z) - Generative Modeling of Regular and Irregular Time Series Data via
Koopman VAEs [53.91784369229405]
モデルの新しい設計に基づく新しい生成フレームワークであるKoopman VAEを紹介する。
クープマン理論に触発され、線形写像を用いて潜在条件事前力学を表現する。
以上の結果から,KVAEは,合成および実世界の時系列生成ベンチマークにおいて,最先端のGAN法およびVAE法よりも優れていた。
論文 参考訳(メタデータ) (2023-10-04T07:14:43Z) - Physics-constrained robust learning of open-form PDEs from limited and
noisy data [0.8099700053397277]
R-DISCOVER(R-DISCOVER)は、自由形式偏微分方程式(PDE)を有限かつノイズの多いデータから堅牢に発見するように設計されたフレームワークである。
ニューラルネットワークに基づく予測モデルは、システム応答に適合し、生成されたPDEに対する報酬評価器として機能する。
数値実験により, 非線形力学系から, 極めてノイズの多いデータで支配方程式を発見できることを示す。
論文 参考訳(メタデータ) (2023-09-14T12:34:42Z) - Conditional Denoising Diffusion for Sequential Recommendation [62.127862728308045]
GAN(Generative Adversarial Networks)とVAE(VAE)の2つの顕著な生成モデル
GANは不安定な最適化に苦しむ一方、VAEは後続の崩壊と過度に平らな世代である。
本稿では,シーケンスエンコーダ,クロスアテンティブデノナイジングデコーダ,ステップワイズディフューザを含む条件付きデノナイジング拡散モデルを提案する。
論文 参考訳(メタデータ) (2023-04-22T15:32:59Z) - EgPDE-Net: Building Continuous Neural Networks for Time Series
Prediction with Exogenous Variables [22.145726318053526]
現在の連続法では、変数間の系列間相関と時間依存性はめったに考慮されない。
未知のPDEシステムを学習するための任意のステップ予測のための連続時間モデルを提案する。
論文 参考訳(メタデータ) (2022-08-03T08:34:31Z) - Closed-form Continuous-Depth Models [99.40335716948101]
連続深度ニューラルモデルは高度な数値微分方程式解法に依存している。
我々は,CfCネットワークと呼ばれる,記述が簡単で,少なくとも1桁高速な新しいモデル群を提示する。
論文 参考訳(メタデータ) (2021-06-25T22:08:51Z) - Neural SDEs as Infinite-Dimensional GANs [18.07683058213448]
我々は、SDE の適合に対する現在の古典的アプローチが、(ワッサーシュタイン) GAN の特別な場合としてアプローチされることを示した。
我々は(現代の機械学習における)連続時間生成時系列モデルとしてニューラルSDEを得る。
論文 参考訳(メタデータ) (2021-02-06T19:59:15Z) - STENCIL-NET: Data-driven solution-adaptive discretization of partial
differential equations [2.362412515574206]
STENCIL-NETは、非線形PDEの問題と分解能特異的な局所識別のデータ駆動学習のための人工ニューラルネットワークアーキテクチャである。
ソリューションデータは、離散演算子を学ぶためにネットワークを訓練するのに十分であるため、実際のPDEを知る必要はありません。
一度トレーニングされたSTENCIL-NETモデルは、トレーニング済みのより長い時間、より大きなドメインでのPDEのソリューションを予測するために使用できる。
論文 参考訳(メタデータ) (2021-01-15T15:43:41Z) - Probabilistic Circuits for Variational Inference in Discrete Graphical
Models [101.28528515775842]
変分法による離散的グラフィカルモデルの推論は困難である。
エビデンス・ロウアーバウンド(ELBO)を推定するためのサンプリングに基づく多くの手法が提案されている。
Sum Product Networks (SPN) のような確率的回路モデルのトラクタビリティを活用する新しい手法を提案する。
選択的SPNが表現的変動分布として適していることを示し、対象モデルの対数密度が重み付けされた場合、対応するELBOを解析的に計算可能であることを示す。
論文 参考訳(メタデータ) (2020-10-22T05:04:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。