論文の概要: Neural SDEs as a Unified Approach to Continuous-Domain Sequence Modeling

• arxiv url: http://arxiv.org/abs/2501.18871v1
• Date: Fri, 31 Jan 2025 03:47:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-03 14:03:32.560248
• Title: Neural SDEs as a Unified Approach to Continuous-Domain Sequence Modeling
• Title（参考訳）: 連続ドメインシーケンスモデリングへの統一的アプローチとしてのニューラルSDE
• Authors: Macheng Shen, Chen Cheng,
• Abstract要約: 本稿では,連続シーケンスモデリングに対する新しい直感的なアプローチを提案する。 本手法は, 時系列データを, 基礎となる連続力学系からのtextitdiscrete サンプルとして解釈する。 我々は、ニューラルネットワークSDEモデルの効率的なトレーニングのための、最大原理的目的とテクスティシミュレーションなしスキームを導出する。
• 参考スコア（独自算出の注目度）: 3.8980564330208662
• License:
• Abstract: Inspired by the ubiquitous use of differential equations to model continuous dynamics across diverse scientific and engineering domains, we propose a novel and intuitive approach to continuous sequence modeling. Our method interprets time-series data as \textit{discrete samples from an underlying continuous dynamical system}, and models its time evolution using Neural Stochastic Differential Equation (Neural SDE), where both the flow (drift) and diffusion terms are parameterized by neural networks. We derive a principled maximum likelihood objective and a \textit{simulation-free} scheme for efficient training of our Neural SDE model. We demonstrate the versatility of our approach through experiments on sequence modeling tasks across both embodied and generative AI. Notably, to the best of our knowledge, this is the first work to show that SDE-based continuous-time modeling also excels in such complex scenarios, and we hope that our work opens up new avenues for research of SDE models in high-dimensional and temporally intricate domains.
• Abstract（参考訳）: 様々な科学的・工学的領域にわたる連続力学をモデル化するための微分方程式のユビキタスな利用に着想を得て、連続列モデリングに対する新しい直感的なアプローチを提案する。 本手法は, 時系列データを基礎となる連続力学系のサンプルとして解釈し, その時間進化をニューラル確率微分方程式(Neural Stochastic Differential Equation, ニューラルSDE)を用いてモデル化する。 我々は、ニューラルネットワークSDEモデルの効率的なトレーニングのための、原理化された極大目標と \textit{simulation-free} スキームを導出する。 具体的および生成的AIにまたがるシーケンスモデリングタスクの実験を通じて、我々のアプローチの汎用性を実証する。 特に、私たちの知る限りでは、これはSDEベースの連続時間モデリングがこのような複雑なシナリオでも優れていることを示す最初の研究であり、高次元および時間的に複雑な領域におけるSDEモデルの研究のための新たな道を開くことを願っています。

関連論文リスト

• SDE Matching: Scalable and Simulation-Free Training of Latent Stochastic Differential Equations [2.1779479916071067]
  SDEマッチング(SDE Matching)を提案する。 以上の結果から,SDEマッチングは随伴感度法に匹敵する性能を示す。
  論文  参考訳（メタデータ） (2025-02-04T16:47:49Z)
• Trajectory Flow Matching with Applications to Clinical Time Series Modeling [77.58277281319253]
  Trajectory Flow Matching (TFM) は、シミュレーションのない方法でニューラルSDEを訓練し、ダイナミックスを通してバックプロパゲーションをバイパスする。 絶対的性能と不確実性予測の観点から,3つの臨床時系列データセットの性能向上を実証した。
  論文  参考訳（メタデータ） (2024-10-28T15:54:50Z)
• Latent Space Energy-based Neural ODEs [73.01344439786524]
  本稿では,連続時間列を表現するために設計された新しい深部力学モデルを提案する。 マルコフ連鎖モンテカルロの最大推定値を用いてモデルを訓練する。 振動系, ビデオ, 実世界の状態系列(MuJoCo)の実験結果から, 学習可能なエネルギーベース先行モデルの方が既存のモデルより優れていることが示された。
  論文  参考訳（メタデータ） (2024-09-05T18:14:22Z)
• Equivariant Graph Neural Operator for Modeling 3D Dynamics [148.98826858078556]
  我々は,次のステップの予測ではなく,ダイナミックスを直接トラジェクトリとしてモデル化するために,Equivariant Graph Neural Operator (EGNO)を提案する。 EGNOは3次元力学の時間的進化を明示的に学習し、時間とともに関数として力学を定式化し、それを近似するためにニューラル演算子を学習する。 粒子シミュレーション、人間のモーションキャプチャー、分子動力学を含む複数の領域における総合的な実験は、既存の手法と比較して、EGNOの極めて優れた性能を示す。
  論文  参考訳（メタデータ） (2024-01-19T21:50:32Z)
• Learning Space-Time Continuous Neural PDEs from Partially Observed States [13.01244901400942]
  格子独立モデル学習偏微分方程式(PDE)を雑音および不規則格子上の部分的な観測から導入する。 本稿では、効率的な確率的フレームワークとデータ効率とグリッド独立性を改善するための新しい設計エンコーダを備えた時空間連続型ニューラルネットワークPDEモデルを提案する。
  論文  参考訳（メタデータ） (2023-07-09T06:53:59Z)
• Neural Ideal Large Eddy Simulation: Modeling Turbulence with Neural Stochastic Differential Equations [22.707574194338132]
  乱流閉包モデルからの理想渦シミュレーション(LES)と大規模モデリングのためのニューラル微分方程式(SDE)の2つの強力なアイデアを同化するデータ駆動学習フレームワークを提案する。 我々は,この手法がカオス力学系において有効であることを示す: レイノルズ数20,000のコルモゴロフ流。
  論文  参考訳（メタデータ） (2023-06-01T22:16:28Z)
• Neural Delay Differential Equations: System Reconstruction and Image Classification [14.59919398960571]
  我々はニューラル遅延微分方程式 (Neural Delay Differential Equations, NDDEs) という,遅延を伴う連続深度ニューラルネットワークの新しいクラスを提案する。 NODE と比較して、NDDE はより強い非線形表現能力を持つ。 我々は、合成されたデータだけでなく、よく知られた画像データセットであるCIFAR10に対しても、損失の低減と精度の向上を実現している。
  論文  参考訳（メタデータ） (2023-04-11T16:09:28Z)
• Learning PDE Solution Operator for Continuous Modeling of Time-Series [1.39661494747879]
  この研究は、動的モデリング能力を改善する偏微分方程式(PDE)に基づくフレームワークを提案する。 時間的離散化の反復的操作や特定のグリッドを必要とせずに連続的に処理できるニューラル演算子を提案する。 我々のフレームワークは、現実世界のアプリケーションに容易に適用可能な、ニューラルネットワークの継続的な表現のための新しい方法を開く。
  論文  参考訳（メタデータ） (2023-02-02T03:47:52Z)
• Mixed Effects Neural ODE: A Variational Approximation for Analyzing the Dynamics of Panel Data [50.23363975709122]
  パネルデータ解析に(固定・ランダムな)混合効果を取り入れたME-NODEという確率モデルを提案する。 我々は、Wong-Zakai定理によって提供されるSDEの滑らかな近似を用いて、我々のモデルを導出できることを示す。 次に、ME-NODEのためのエビデンスに基づく下界を導出し、(効率的な)トレーニングアルゴリズムを開発する。
  論文  参考訳（メタデータ） (2022-02-18T22:41:51Z)
• Closed-form Continuous-Depth Models [99.40335716948101]
  連続深度ニューラルモデルは高度な数値微分方程式解法に依存している。 我々は,CfCネットワークと呼ばれる,記述が簡単で,少なくとも1桁高速な新しいモデル群を提示する。
  論文  参考訳（メタデータ） (2021-06-25T22:08:51Z)
• Sparse Flows: Pruning Continuous-depth Models [107.98191032466544]
  生成モデルにおいて,プルーニングによりニューラルネットワークの一般化が向上することを示す。 また、プルーニングは、元のネットワークに比べて最大98%少ないパラメータで、精度を損なうことなく、最小かつ効率的なニューラルODE表現を見出すことを示した。
  論文  参考訳（メタデータ） (2021-06-24T01:40:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。