論文の概要: Attentive Neural Controlled Differential Equations for Time-series Classification and Forecasting

• arxiv url: http://arxiv.org/abs/2109.01876v1
• Date: Sat, 4 Sep 2021 14:17:01 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-07 16:54:44.753061
• Title: Attentive Neural Controlled Differential Equations for Time-series Classification and Forecasting
• Title（参考訳）: 時系列分類と予測のための注意神経制御微分方程式
• Authors: Sheo Yon Jhin, Heejoo Shin, Seoyoung Hong, Solhee Park, Noseong Park
• Abstract要約: 本稿では,時系列分類と予測のための注意神経制御微分方程式(ANCDE)を提案する。 非自明なマージンで全てのケースで最高の精度を示す。 我々の可視化は、提示された注意機構が重要な情報に焦点をあてることによって機能することを示している。
• 参考スコア（独自算出の注目度）: 3.673363968661099
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Neural networks inspired by differential equations have proliferated for the past several years. Neural ordinary differential equations (NODEs) and neural controlled differential equations (NCDEs) are two representative examples of them. In theory, NCDEs provide better representation learning capability for time-series data than NODEs. In particular, it is known that NCDEs are suitable for processing irregular time-series data. Whereas NODEs have been successfully extended after adopting attention, however, it had not been studied yet how to integrate attention into NCDEs. To this end, we present the method of Attentive Neural Controlled Differential Equations (ANCDEs) for time-series classification and forecasting, where dual NCDEs are used: one for generating attention values, and the other for evolving hidden vectors for a downstream machine learning task. We conduct experiments with three real-world time-series datasets and 10 baselines. After dropping some values, we also conduct irregular time-series experiments. Our method consistently shows the best accuracy in all cases by non-trivial margins. Our visualizations also show that the presented attention mechanism works as intended by focusing on crucial information.
• Abstract（参考訳）: 微分方程式にインスパイアされたニューラルネットワークは、ここ数年で急増している。 ニューラル常微分方程式(NODE)とニューラル制御微分方程式(NCDE)はその代表的な例である。 理論上、NCDEはNODEよりも時系列データに優れた表現学習機能を提供する。 特に、NCDEは不規則な時系列データを処理するのに適していることが知られている。 しかし、NODEは注意を引いた後に拡張されているが、NCDEにどのように注意を組み込むかはまだ研究されていない。 そこで,本研究では,2つのNCDEを用いて時系列分類と予測を行うANCDE(Attentive Neural Controlled Differential Equations)の手法を提案する。 3つの実世界の時系列データセットと10のベースラインで実験を行う。 いくつかの値を落とした後、不規則な時系列実験も行います。 非自明なマージンで全てのケースで最高の精度を示す。 我々の可視化は、提示された注意機構が重要な情報に集中して機能することを示している。

関連論文リスト

• Trajectory Flow Matching with Applications to Clinical Time Series Modeling [77.58277281319253]
  Trajectory Flow Matching (TFM) は、シミュレーションのない方法でニューラルSDEを訓練し、ダイナミックスを通してバックプロパゲーションをバイパスする。 絶対的性能と不確実性予測の観点から,3つの臨床時系列データセットの性能向上を実証した。
  論文  参考訳（メタデータ） (2024-10-28T15:54:50Z)
• PDETime: Rethinking Long-Term Multivariate Time Series Forecasting from the perspective of partial differential equations [49.80959046861793]
  本稿では,ニューラルPDEソルバの原理に着想を得た新しいLMTFモデルであるPDETimeを提案する。 7つの異なる時間的実世界のLMTFデータセットを用いた実験により、PDETimeがデータ固有の性質に効果的に適応できることが判明した。
  論文  参考訳（メタデータ） (2024-02-25T17:39:44Z)
• Continuous Depth Recurrent Neural Differential Equations [0.0]
  RNNモデルを一般化するための連続深さ再帰型ニューラル微分方程式(CDR-NDE)を提案する。 CDR-NDEはこれらの次元のそれぞれに2つの異なる微分方程式を考慮し、時間方向と深さ方向の進化をモデル化する。 また,隠蔽状態の計算を時間経過に伴う熱方程式の解法として扱う偏微分方程式に基づくCDR-NDE熱モデルを提案する。
  論文  参考訳（メタデータ） (2022-12-28T06:34:32Z)
• EXIT: Extrapolation and Interpolation-based Neural Controlled Differential Equations for Time-series Classification and Forecasting [19.37382379378985]
  神経制御微分方程式(NCDE)は深層学習におけるブレークスルーと見なされている。 本研究では、NCDEのコア部分、すなわち離散的な時系列入力から連続的なパスを生成することで、NCDEを強化する。 我々のNCDE設計では、下流の機械学習タスクに外挿情報と外挿情報の両方を使うことができる。
  論文  参考訳（メタデータ） (2022-04-19T09:37:36Z)
• Graph Neural Controlled Differential Equations for Traffic Forecasting [4.012886243094023]
  トラフィックは、機械学習の分野でもっとも人気のある時間的タスクの1つである。 本稿では,グラフニューラル制御微分方程式(NCDE)の手法を提案する。 概念を拡張して2つのNCDEを設計する:1つは時間処理、もう1つは空間処理である。
  論文  参考訳（メタデータ） (2021-12-07T08:14:10Z)
• Time Series Forecasting with Ensembled Stochastic Differential Equations Driven by L\'evy Noise [2.3076895420652965]
  我々は、ニューラルネットワークを備えたSDEの集合を用いて、ノイズのある時系列の長期的な傾向を予測する。 まず、位相空間再構成法を用いて時系列データの固有次元を抽出する。 次に、$alpha$-stable L'evyの動作によって駆動されるSDEを探索し、時系列データをモデル化し、ニューラルネットワーク近似を用いて問題を解く。
  論文  参考訳（メタデータ） (2021-11-25T16:49:01Z)
• Consistency of mechanistic causal discovery in continuous-time using Neural ODEs [85.7910042199734]
  ダイナミカルシステムの研究において,連続時間における因果的発見を検討する。 本稿では,ニューラルネットワークを用いた因果探索アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-05-06T08:48:02Z)
• Neural ODE Processes [64.10282200111983]
  NDP(Neural ODE Process)は、Neural ODEの分布によって決定される新しいプロセスクラスである。 我々のモデルは,少数のデータポイントから低次元システムのダイナミクスを捉えることができることを示す。
  論文  参考訳（メタデータ） (2021-03-23T09:32:06Z)
• Learning Continuous-Time Dynamics by Stochastic Differential Networks [32.63114111531396]
  変動微分ネットワーク(VSDN)という,フレキシブルな連続時間リカレントニューラルネットワークを提案する。 VSDNは神経微分方程式(SDE)による散発時間系列の複雑なダイナミクスを埋め込む VSDNは最先端の継続的ディープラーニングモデルより優れており、散発時系列の予測やタスクにおいて優れた性能を発揮する。
  論文  参考訳（メタデータ） (2020-06-11T01:40:34Z)
• Liquid Time-constant Networks [117.57116214802504]
  本稿では,時間連続リカレントニューラルネットワークモデルについて紹介する。 暗黙の非線形性によって学習システムの力学を宣言する代わりに、線形一階力学系のネットワークを構築する。 これらのニューラルネットワークは安定かつ有界な振る舞いを示し、ニューラル常微分方程式の族の中で優れた表現性をもたらす。
  論文  参考訳（メタデータ） (2020-06-08T09:53:35Z)
• Stochasticity in Neural ODEs: An Empirical Study [68.8204255655161]
  ニューラルネットワークの正規化(ドロップアウトなど)は、より高度な一般化を可能にするディープラーニングの広範な技術である。 トレーニング中のデータ拡張は、同じモデルの決定論的およびバージョンの両方のパフォーマンスを向上させることを示す。 しかし、データ拡張によって得られる改善により、経験的正規化の利得は完全に排除され、ニューラルODEとニューラルSDEの性能は無視される。
  論文  参考訳（メタデータ） (2020-02-22T22:12:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。