論文の概要: Neural Rough Differential Equations for Long Time Series

• arxiv url: http://arxiv.org/abs/2009.08295v4
• Date: Mon, 21 Jun 2021 12:04:06 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-17 08:09:47.743255
• Title: Neural Rough Differential Equations for Long Time Series
• Title（参考訳）: 連続時間に対するニューラルラフ微分方程式
• Authors: James Morrill and Cristopher Salvi and Patrick Kidger and James Foster and Terry Lyons
• Abstract要約: 我々は粗い経路理論を用いてニューラルCDEの定式化を拡張する。 経路空間に直接埋め込む代わりに、テキスト-署名を通して小さな時間間隔で入力信号を表現します。 これは、テキストトロフ微分方程式(RDE)の解法である。
• 参考スコア（独自算出の注目度）: 19.004296236396947
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural controlled differential equations (CDEs) are the continuous-time analogue of recurrent neural networks, as Neural ODEs are to residual networks, and offer a memory-efficient continuous-time way to model functions of potentially irregular time series. Existing methods for computing the forward pass of a Neural CDE involve embedding the incoming time series into path space, often via interpolation, and using evaluations of this path to drive the hidden state. Here, we use rough path theory to extend this formulation. Instead of directly embedding into path space, we instead represent the input signal over small time intervals through its \textit{log-signature}, which are statistics describing how the signal drives a CDE. This is the approach for solving \textit{rough differential equations} (RDEs), and correspondingly we describe our main contribution as the introduction of Neural RDEs. This extension has a purpose: by generalising the Neural CDE approach to a broader class of driving signals, we demonstrate particular advantages for tackling long time series. In this regime, we demonstrate efficacy on problems of length up to 17k observations and observe significant training speed-ups, improvements in model performance, and reduced memory requirements compared to existing approaches.
• Abstract（参考訳）: ニューラル制御微分方程式(英: Neural Control differential equation, CDEs)は、リカレントニューラルネットワークの連続時間アナログであり、ニューラルODEは残留ネットワークであり、潜在的に不規則な時系列の関数をモデル化するためのメモリ効率のよい連続時間方法を提供する。 ニューラルCDEの前方通過を計算する既存の方法は、しばしば補間を通して、入ってくる時系列を経路空間に埋め込み、この経路の評価を用いて隠れた状態を駆動する。 ここでは、この定式化を拡張するためにラフパス理論を用いる。 経路空間に直接埋め込む代わりに、信号がどのようにCDEを駆動するかを記述する統計データである「textit{log-signature}」を通して入力信号を小さな時間間隔で表現する。 この手法は, RDE (textit{rough differential equations) の解法であり, ニューラル RDE の導入として本研究の主な貢献を述べる。 この拡張は、より広い種類の駆動信号にニューラルCDEアプローチを一般化することにより、長い時系列に対処する上で特に利点を示す。 本手法では,最大17kの観測問題に対して有効性を示し,重要なトレーニングスピードアップ,モデル性能の向上,メモリ要求の削減を既存の手法と比較した。

関連論文リスト

• Log Neural Controlled Differential Equations: The Lie Brackets Make a Difference [22.224853384201595]
  ニューラルCDE(英語版)(NCDE)は、時系列データを制御経路からの観測として扱う。 NCDEを学習するための新しい,効果的かつ効率的な手法であるLog-NCDEを紹介する。
  論文  参考訳（メタデータ） (2024-02-28T17:40:05Z)
• Faster Training of Neural ODEs Using Gau{\ss}-Legendre Quadrature [68.9206193762751]
  ニューラルネットワークの訓練を高速化する代替手法を提案する。 我々はGuss-Legendre乗法を用いて、ODEベースの方法よりも高速に積分を解く。 また、Wong-Zakai定理を用いて、対応するODEをトレーニングし、パラメータを転送することで、SDEのトレーニングにも拡張する。
  論文  参考訳（メタデータ） (2023-08-21T11:31:15Z)
• Neural Delay Differential Equations: System Reconstruction and Image Classification [14.59919398960571]
  我々はニューラル遅延微分方程式 (Neural Delay Differential Equations, NDDEs) という,遅延を伴う連続深度ニューラルネットワークの新しいクラスを提案する。 NODE と比較して、NDDE はより強い非線形表現能力を持つ。 我々は、合成されたデータだけでなく、よく知られた画像データセットであるCIFAR10に対しても、損失の低減と精度の向上を実現している。
  論文  参考訳（メタデータ） (2023-04-11T16:09:28Z)
• Learning the Delay Using Neural Delay Differential Equations [0.5505013339790825]
  遅延微分方程式(DDE)に基づく連続時間ニューラルネットワークアプローチを開発する。 我々のモデルは随伴感度法を用いてモデルパラメータを学習し、データから直接遅延する。 我々は今後の方向性と応用について議論をまとめる。
  論文  参考訳（メタデータ） (2023-04-03T19:50:36Z)
• Neural Basis Functions for Accelerating Solutions to High Mach Euler Equations [63.8376359764052]
  ニューラルネットワークを用いた偏微分方程式(PDE)の解法を提案する。 ニューラルネットワークの集合を縮小順序 Proper Orthogonal Decomposition (POD) に回帰する。 これらのネットワークは、所定のPDEのパラメータを取り込み、PDEに還元順序近似を計算する分岐ネットワークと組み合わせて使用される。
  論文  参考訳（メタデータ） (2022-08-02T18:27:13Z)
• EXIT: Extrapolation and Interpolation-based Neural Controlled Differential Equations for Time-series Classification and Forecasting [19.37382379378985]
  神経制御微分方程式(NCDE)は深層学習におけるブレークスルーと見なされている。 本研究では、NCDEのコア部分、すなわち離散的な時系列入力から連続的なパスを生成することで、NCDEを強化する。 我々のNCDE設計では、下流の機械学習タスクに外挿情報と外挿情報の両方を使うことができる。
  論文  参考訳（メタデータ） (2022-04-19T09:37:36Z)
• Time Series Forecasting with Ensembled Stochastic Differential Equations Driven by L\'evy Noise [2.3076895420652965]
  我々は、ニューラルネットワークを備えたSDEの集合を用いて、ノイズのある時系列の長期的な傾向を予測する。 まず、位相空間再構成法を用いて時系列データの固有次元を抽出する。 次に、$alpha$-stable L'evyの動作によって駆動されるSDEを探索し、時系列データをモデル化し、ニューラルネットワーク近似を用いて問題を解く。
  論文  参考訳（メタデータ） (2021-11-25T16:49:01Z)
• Neural ODE Processes [64.10282200111983]
  NDP(Neural ODE Process)は、Neural ODEの分布によって決定される新しいプロセスクラスである。 我々のモデルは,少数のデータポイントから低次元システムのダイナミクスを捉えることができることを示す。
  論文  参考訳（メタデータ） (2021-03-23T09:32:06Z)
• Short-Term Memory Optimization in Recurrent Neural Networks by Autoencoder-based Initialization [79.42778415729475]
  線形オートエンコーダを用いた列列の明示的暗記に基づく代替解を提案する。 このような事前学習が、長いシーケンスで難しい分類タスクを解くのにどのように役立つかを示す。 提案手法は, 長周期の復元誤差をはるかに小さくし, 微調整時の勾配伝播を良くすることを示す。
  論文  参考訳（メタデータ） (2020-11-05T14:57:16Z)
• Liquid Time-constant Networks [117.57116214802504]
  本稿では,時間連続リカレントニューラルネットワークモデルについて紹介する。 暗黙の非線形性によって学習システムの力学を宣言する代わりに、線形一階力学系のネットワークを構築する。 これらのニューラルネットワークは安定かつ有界な振る舞いを示し、ニューラル常微分方程式の族の中で優れた表現性をもたらす。
  論文  参考訳（メタデータ） (2020-06-08T09:53:35Z)
• Time Dependence in Non-Autonomous Neural ODEs [74.78386661760662]
  時変重みを持つニューラルODEの新しいファミリーを提案する。 我々は、速度と表現能力の両面で、従来のニューラルODEの変形よりも優れていた。
  論文  参考訳（メタデータ） (2020-05-05T01:41:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。