論文の概要: Non-adversarial training of Neural SDEs with signature kernel scores
- arxiv url: http://arxiv.org/abs/2305.16274v1
- Date: Thu, 25 May 2023 17:31:18 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-26 13:34:11.382589
- Title: Non-adversarial training of Neural SDEs with signature kernel scores
- Title（参考訳）: 符号カーネルスコアを用いたニューラルSDEの非線形学習
- Authors: Zacharia Issa and Blanka Horvath and Maud Lemercier and Cristopher
Salvi
- Abstract要約: 不規則な時系列生成のための最先端性能は、これらのモデルをGANとして逆向きに訓練することで既に得られている。
本稿では,シグネチャカーネルに基づくパス空間のスコアリングルールを新たに導入する。
- 参考スコア（独自算出の注目度）: 4.721845865189578
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Neural SDEs are continuous-time generative models for sequential data.
State-of-the-art performance for irregular time series generation has been
previously obtained by training these models adversarially as GANs. However, as
typical for GAN architectures, training is notoriously unstable, often suffers
from mode collapse, and requires specialised techniques such as weight clipping
and gradient penalty to mitigate these issues. In this paper, we introduce a
novel class of scoring rules on pathspace based on signature kernels and use
them as objective for training Neural SDEs non-adversarially. By showing strict
properness of such kernel scores and consistency of the corresponding
estimators, we provide existence and uniqueness guarantees for the minimiser.
With this formulation, evaluating the generator-discriminator pair amounts to
solving a system of linear path-dependent PDEs which allows for
memory-efficient adjoint-based backpropagation. Moreover, because the proposed
kernel scores are well-defined for paths with values in infinite dimensional
spaces of functions, our framework can be easily extended to generate
spatiotemporal data. Our procedure permits conditioning on a rich variety of
market conditions and significantly outperforms alternative ways of training
Neural SDEs on a variety of tasks including the simulation of rough volatility
models, the conditional probabilistic forecasts of real-world forex pairs where
the conditioning variable is an observed past trajectory, and the mesh-free
generation of limit order book dynamics.
- Abstract（参考訳）: ニューラルSDEはシーケンシャルデータのための連続時間生成モデルである。
不規則な時系列生成のための最先端性能は、これらのモデルをGANとして逆向きに訓練することで既に得られている。
しかし、GANアーキテクチャの典型的なように、トレーニングは不安定で、しばしばモード崩壊に悩まされ、これらの問題を緩和するために重量削減や勾配ペナルティといった専門技術を必要とする。
本稿では,シグネチャカーネルに基づくパス空間のスコアリングルールを新たに導入し,ニューラルSDEを非逆的に訓練するための目的として利用する。
このようなカーネルスコアの厳密な正当性と対応する推定器の整合性を示すことにより、ミニミザーの存在と特異性を保証する。
この定式化により、ジェネレータと差別化器のペアの評価は、メモリ効率の良い随伴型バックプロパゲーションを可能にする線形パス依存PDEのシステムに相当する。
さらに,提案するカーネルスコアは無限次元関数空間内の値を持つ経路に対してよく定義されているので,時空間データを生成するために容易に拡張できる。
提案手法は,多種多様な市場条件下での条件付けを許容し,粗変動モデルのシミュレーション,条件変数が過去の軌跡である実世界のForexペアの条件確率予測,リミットオーダーブックダイナミクスのメッシュフリー生成など,さまざまなタスクにおけるニューラルSDEの訓練方法よりもはるかに優れる。
関連論文リスト
- Trajectory Flow Matching with Applications to Clinical Time Series Modeling [77.58277281319253]
Trajectory Flow Matching (TFM) は、シミュレーションのない方法でニューラルSDEを訓練し、ダイナミックスを通してバックプロパゲーションをバイパスする。
絶対的性能と不確実性予測の観点から,3つの臨床時系列データセットの性能向上を実証した。
論文 参考訳（メタデータ） (2024-10-28T15:54:50Z) - Efficient Training of Neural Stochastic Differential Equations by Matching Finite Dimensional Distributions [3.889230974713832]
連続マルコフ過程を比較するための新しいスコアリングルールを開発する。
このスコアリングルールにより、シグネチャカーネルに関連する計算オーバーヘッドを回避できます。
計算効率と生成品質の両面において,FDMが既存の手法よりも優れた性能を発揮することを示す。
論文 参考訳（メタデータ） (2024-10-04T23:26:38Z) - On the Trajectory Regularity of ODE-based Diffusion Sampling [79.17334230868693]
拡散に基づく生成モデルは微分方程式を用いて、複素データ分布と抽出可能な事前分布の間の滑らかな接続を確立する。
本稿では,拡散モデルのODEに基づくサンプリングプロセスにおいて,いくつかの興味深い軌道特性を同定する。
論文 参考訳（メタデータ） (2024-05-18T15:59:41Z) - Stable Neural Stochastic Differential Equations in Analyzing Irregular Time Series Data [3.686808512438363]
実世界の時系列データにおける不規則サンプリング間隔と欠落値は,従来の手法の課題である。
本稿では,Langevin-type SDE,Linear Noise SDE,Geometric SDEの3つの安定クラスを提案する。
本研究は,実世界の不規則時系列データを扱う上で,提案手法の有効性を示すものである。
論文 参考訳（メタデータ） (2024-02-22T22:00:03Z) - Towards Continual Learning Desiderata via HSIC-Bottleneck
Orthogonalization and Equiangular Embedding [55.107555305760954]
本稿では,レイヤワイドパラメータのオーバーライトや決定境界の歪みに起因する,概念的にシンプルで効果的な手法を提案する。
提案手法は,ゼロの指数バッファと1.02倍の差が絶対的に優れていても,競争精度が向上する。
論文 参考訳（メタデータ） (2024-01-17T09:01:29Z) - Conditional Denoising Diffusion for Sequential Recommendation [62.127862728308045]
GAN(Generative Adversarial Networks)とVAE(VAE)の2つの顕著な生成モデル
GANは不安定な最適化に苦しむ一方、VAEは後続の崩壊と過度に平らな世代である。
本稿では,シーケンスエンコーダ,クロスアテンティブデノナイジングデコーダ,ステップワイズディフューザを含む条件付きデノナイジング拡散モデルを提案する。
論文 参考訳（メタデータ） (2023-04-22T15:32:59Z) - EgPDE-Net: Building Continuous Neural Networks for Time Series
Prediction with Exogenous Variables [22.145726318053526]
現在の連続法では、変数間の系列間相関と時間依存性はめったに考慮されない。
未知のPDEシステムを学習するための任意のステップ予測のための連続時間モデルを提案する。
論文 参考訳（メタデータ） (2022-08-03T08:34:31Z) - Closed-form Continuous-Depth Models [99.40335716948101]
連続深度ニューラルモデルは高度な数値微分方程式解法に依存している。
我々は,CfCネットワークと呼ばれる,記述が簡単で,少なくとも1桁高速な新しいモデル群を提示する。
論文 参考訳（メタデータ） (2021-06-25T22:08:51Z) - Neural SDEs as Infinite-Dimensional GANs [18.07683058213448]
我々は、SDE の適合に対する現在の古典的アプローチが、(ワッサーシュタイン) GAN の特別な場合としてアプローチされることを示した。
我々は(現代の機械学習における)連続時間生成時系列モデルとしてニューラルSDEを得る。
論文 参考訳（メタデータ） (2021-02-06T19:59:15Z) - STENCIL-NET: Data-driven solution-adaptive discretization of partial
differential equations [2.362412515574206]
STENCIL-NETは、非線形PDEの問題と分解能特異的な局所識別のデータ駆動学習のための人工ニューラルネットワークアーキテクチャである。
ソリューションデータは、離散演算子を学ぶためにネットワークを訓練するのに十分であるため、実際のPDEを知る必要はありません。
一度トレーニングされたSTENCIL-NETモデルは、トレーニング済みのより長い時間、より大きなドメインでのPDEのソリューションを予測するために使用できる。
論文 参考訳（メタデータ） (2021-01-15T15:43:41Z) - Probabilistic Circuits for Variational Inference in Discrete Graphical
Models [101.28528515775842]
変分法による離散的グラフィカルモデルの推論は困難である。
エビデンス・ロウアーバウンド(ELBO)を推定するためのサンプリングに基づく多くの手法が提案されている。
Sum Product Networks (SPN) のような確率的回路モデルのトラクタビリティを活用する新しい手法を提案する。
選択的SPNが表現的変動分布として適していることを示し、対象モデルの対数密度が重み付けされた場合、対応するELBOを解析的に計算可能であることを示す。
論文 参考訳（メタデータ） (2020-10-22T05:04:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。