論文の概要: Stable Neural Stochastic Differential Equations in Analyzing Irregular Time Series Data

• arxiv url: http://arxiv.org/abs/2402.14989v3
• Date: Mon, 20 May 2024 19:59:58 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-22 18:31:52.006012
• Title: Stable Neural Stochastic Differential Equations in Analyzing Irregular Time Series Data
• Title（参考訳）: 不規則時系列データ解析における安定なニューラル確率微分方程式
• Authors: YongKyung Oh, Dongyoung Lim, Sungil Kim,
• Abstract要約: 実世界の時系列データにおける不規則サンプリング間隔と欠落値は,従来の手法の課題である。 本稿では,Langevin-type SDE,Linear Noise SDE,Geometric SDEの3つの安定クラスを提案する。 本研究は,実世界の不規則時系列データを扱う上で,提案手法の有効性を示すものである。
• 参考スコア（独自算出の注目度）: 3.686808512438363
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Irregular sampling intervals and missing values in real-world time series data present challenges for conventional methods that assume consistent intervals and complete data. Neural Ordinary Differential Equations (Neural ODEs) offer an alternative approach, utilizing neural networks combined with ODE solvers to learn continuous latent representations through parameterized vector fields. Neural Stochastic Differential Equations (Neural SDEs) extend Neural ODEs by incorporating a diffusion term, although this addition is not trivial, particularly when addressing irregular intervals and missing values. Consequently, careful design of drift and diffusion functions is crucial for maintaining stability and enhancing performance, while incautious choices can result in adverse properties such as the absence of strong solutions, stochastic destabilization, or unstable Euler discretizations, significantly affecting Neural SDEs' performance. In this study, we propose three stable classes of Neural SDEs: Langevin-type SDE, Linear Noise SDE, and Geometric SDE. Then, we rigorously demonstrate their robustness in maintaining excellent performance under distribution shift, while effectively preventing overfitting. To assess the effectiveness of our approach, we conduct extensive experiments on four benchmark datasets for interpolation, forecasting, and classification tasks, and analyze the robustness of our methods with 30 public datasets under different missing rates. Our results demonstrate the efficacy of the proposed method in handling real-world irregular time series data.
• Abstract（参考訳）: 実世界の時系列データにおける不規則サンプリング間隔と欠落値は、一貫した間隔と完全データを仮定する従来の手法の課題を示す。 ニューラル正規微分方程式(Neural Ordinary Differential Equations (Neural ODEs))は、パラメータ化されたベクトル場を通して連続的な潜在表現を学習するためにODEソルバと結合されたニューラルネットワークを利用する別のアプローチを提供する。 ニューラル確率微分方程式(Neural Stochastic Differential Equations (Neural SDEs))は、拡散項を組み込むことでニューラル ODE を拡張するが、特に不規則区間や欠落値を扱う場合、この加算は自明ではない。 その結果, ドリフトと拡散関数の注意設計は安定性の維持と性能の向上に不可欠であるが, 強い解の欠如, 確率的不安定化, 不安定なオイラー離散化などの不適切な選択はニューラルSDEの性能に大きな影響を及ぼす可能性がある。 本研究では,Langevin型SDE,Linear Noise SDE,Geometric SDEの3つの安定クラスを提案する。 そして, 配電時の性能を良好に維持する上で, 過度な適合を効果的に防止し, その堅牢性を示す。 提案手法の有効性を評価するため, 補間, 予測, 分類タスクの4つのベンチマークデータセットに対して広範囲な実験を行い, 欠落率の異なる30個の公開データセットを用いて手法のロバスト性を解析した。 本研究は,実世界の不規則時系列データを扱う上で,提案手法の有効性を示すものである。

関連論文リスト

• Trajectory Flow Matching with Applications to Clinical Time Series Modeling [77.58277281319253]
  Trajectory Flow Matching (TFM) は、シミュレーションのない方法でニューラルSDEを訓練し、ダイナミックスを通してバックプロパゲーションをバイパスする。 絶対的性能と不確実性予測の観点から,3つの臨床時系列データセットの性能向上を実証した。
  論文  参考訳（メタデータ） (2024-10-28T15:54:50Z)
• Towards stable real-world equation discovery with assessing differentiating quality influence [52.2980614912553]
  一般的に用いられる有限差分法に代わる方法を提案する。 我々は,これらの手法を実問題と類似した問題に適用可能であること,および方程式発見アルゴリズムの収束性を確保する能力の観点から評価する。
  論文  参考訳（メタデータ） (2023-11-09T23:32:06Z)
• A Geometric Perspective on Diffusion Models [57.27857591493788]
  本稿では,人気のある分散拡散型SDEのODEに基づくサンプリングについて検討する。 我々は、最適なODEベースのサンプリングと古典的な平均シフト(モード探索)アルゴリズムの理論的関係を確立する。
  論文  参考訳（メタデータ） (2023-05-31T15:33:16Z)
• Non-adversarial training of Neural SDEs with signature kernel scores [4.721845865189578]
  不規則な時系列生成のための最先端性能は、これらのモデルをGANとして逆向きに訓練することで既に得られている。 本稿では,シグネチャカーネルに基づくパス空間のスコアリングルールを新たに導入する。
  論文  参考訳（メタデータ） (2023-05-25T17:31:18Z)
• Continuous-Time Modeling of Counterfactual Outcomes Using Neural Controlled Differential Equations [84.42837346400151]
  反現実的な結果を予測することは、パーソナライズされたヘルスケアをアンロックする可能性がある。 既存の因果推論アプローチでは、観察と治療決定の間の通常の離散時間間隔が考慮されている。 そこで本研究では,腫瘍増殖モデルに基づく制御可能なシミュレーション環境を提案する。
  論文  参考訳（メタデータ） (2022-06-16T17:15:15Z)
• Learning effective stochastic differential equations from microscopic simulations: combining stochastic numerics and deep learning [0.46180371154032895]
  ニューラルネットワークを用いた実効SDEにおけるドリフトと拡散関数を近似した。 当社のアプローチでは、長いトラジェクトリを必要とせず、散在するスナップショットデータで動作し、スナップショット毎に異なるタイムステップを自然に処理するように設計されています。
  論文  参考訳（メタデータ） (2021-06-10T13:00:18Z)
• Accurate and Reliable Forecasting using Stochastic Differential Equations [48.21369419647511]
  ディープラーニングモデルにとって、現実世界の環境に浸透する不確実性を適切に特徴付けることは、非常に困難である。 本論文では,HNNの予測平均と分散の相互作用を特徴づけるSDE-HNNを開発した。 本手法は,予測性能と不確実性定量化の両方の観点から,最先端のベースラインを著しく上回ることを示す。
  論文  参考訳（メタデータ） (2021-03-28T04:18:11Z)
• STENCIL-NET: Data-driven solution-adaptive discretization of partial differential equations [2.362412515574206]
  STENCIL-NETは、非線形PDEの問題と分解能特異的な局所識別のデータ駆動学習のための人工ニューラルネットワークアーキテクチャである。 ソリューションデータは、離散演算子を学ぶためにネットワークを訓練するのに十分であるため、実際のPDEを知る必要はありません。 一度トレーニングされたSTENCIL-NETモデルは、トレーニング済みのより長い時間、より大きなドメインでのPDEのソリューションを予測するために使用できる。
  論文  参考訳（メタデータ） (2021-01-15T15:43:41Z)
• Learning Continuous-Time Dynamics by Stochastic Differential Networks [32.63114111531396]
  変動微分ネットワーク(VSDN)という,フレキシブルな連続時間リカレントニューラルネットワークを提案する。 VSDNは神経微分方程式(SDE)による散発時間系列の複雑なダイナミクスを埋め込む VSDNは最先端の継続的ディープラーニングモデルより優れており、散発時系列の予測やタスクにおいて優れた性能を発揮する。
  論文  参考訳（メタデータ） (2020-06-11T01:40:34Z)
• Stochasticity in Neural ODEs: An Empirical Study [68.8204255655161]
  ニューラルネットワークの正規化(ドロップアウトなど)は、より高度な一般化を可能にするディープラーニングの広範な技術である。 トレーニング中のデータ拡張は、同じモデルの決定論的およびバージョンの両方のパフォーマンスを向上させることを示す。 しかし、データ拡張によって得られる改善により、経験的正規化の利得は完全に排除され、ニューラルODEとニューラルSDEの性能は無視される。
  論文  参考訳（メタデータ） (2020-02-22T22:12:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。