論文の概要: On the balance between the training time and interpretability of neural ODE for time series modelling

• arxiv url: http://arxiv.org/abs/2206.03304v1
• Date: Tue, 7 Jun 2022 13:49:40 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-08 16:55:53.815971
• Title: On the balance between the training time and interpretability of neural ODE for time series modelling
• Title（参考訳）: 時系列モデリングにおけるニューラルネットワークの学習時間と解釈可能性のバランスについて
• Authors: Yakov Golovanev, Alexander Hvatov
• Abstract要約: 本稿は,現代のニューラルODEを,時系列モデリングアプリケーションのためのより単純なモデルに還元することはできないことを示す。 ニューラルODEの複雑さは、従来の時系列モデリングツールと比較されるか、超える。 本稿では,ニューラルネットワークとODEシステムを用いた時系列モデリングの新しい視点を提案する。
• 参考スコア（独自算出の注目度）: 77.34726150561087
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Most machine learning methods are used as a black box for modelling. We may try to extract some knowledge from physics-based training methods, such as neural ODE (ordinary differential equation). Neural ODE has advantages like a possibly higher class of represented functions, the extended interpretability compared to black-box machine learning models, ability to describe both trend and local behaviour. Such advantages are especially critical for time series with complicated trends. However, the known drawback is the high training time compared to the autoregressive models and long-short term memory (LSTM) networks widely used for data-driven time series modelling. Therefore, we should be able to balance interpretability and training time to apply neural ODE in practice. The paper shows that modern neural ODE cannot be reduced to simpler models for time-series modelling applications. The complexity of neural ODE is compared to or exceeds the conventional time-series modelling tools. The only interpretation that could be extracted is the eigenspace of the operator, which is an ill-posed problem for a large system. Spectra could be extracted using different classical analysis methods that do not have the drawback of extended time. Consequently, we reduce the neural ODE to a simpler linear form and propose a new view on time-series modelling using combined neural networks and an ODE system approach.
• Abstract（参考訳）: ほとんどの機械学習手法は、モデリングのブラックボックスとして使用される。 我々は、ニューラルODE(正規微分方程式)のような物理に基づくトレーニング手法から知識を抽出しようとするかもしれない。 ニューラルODEには、おそらく高レベルの表現関数、ブラックボックス機械学習モデルに対する解釈可能性の拡張、トレンドとローカルな振る舞いの両方を記述できるといったメリットがある。 このような利点は、複雑な傾向を持つ時系列において特に重要である。 しかし、既知の欠点は、データ駆動時系列モデリングに広く使用されている自己回帰モデルや長短時間メモリ(LSTM)ネットワークと比較して、高いトレーニング時間である。 したがって、ニューラルネットワークを実際に適用するためには、解釈可能性とトレーニング時間のバランスをとる必要がある。 本稿は,現代のニューラルODEを時系列モデリングアプリケーションのためのシンプルなモデルに還元することはできないことを示す。 ニューラルネットワークodeの複雑さは、従来の時系列モデリングツールと比較または超える。 抽出できる唯一の解釈は作用素の固有空間であり、これは大規模システムにとって不適切な問題である。 スペクトルは、拡張時間の欠点を持たない異なる古典的分析法を用いて抽出することができる。 そこで我々は,ニューラルネットワークをより単純な線形形式に還元し,複合ニューラルネットワークとODEシステムアプローチを用いた時系列モデリングの新しい視点を提案する。

関連論文リスト

• Foundational Inference Models for Dynamical Systems [5.549794481031468]
  我々は,ODEによって決定されると仮定される時系列データの欠落を補うという古典的な問題に対して,新たな視点を提供する。 本稿では,いくつかの(隠れた)ODEを満たすパラメトリック関数を通じて,ゼロショット時系列計算のための新しい教師付き学習フレームワークを提案する。 我々は,1と同一(事前学習)の認識モデルが,63個の異なる時系列に対してゼロショット計算を行なえることを実証的に実証した。
  論文  参考訳（メタデータ） (2024-02-12T11:48:54Z)
• A Dynamical Model of Neural Scaling Laws [79.59705237659547]
  ネットワークトレーニングと一般化の解決可能なモデルとして,勾配降下で訓練されたランダムな特徴モデルを分析する。 我々の理論は、データの繰り返し再利用により、トレーニングとテスト損失のギャップが徐々に増大することを示している。
  論文  参考訳（メタデータ） (2024-02-02T01:41:38Z)
• Diffusion-Model-Assisted Supervised Learning of Generative Models for Density Estimation [10.793646707711442]
  本稿では,密度推定のための生成モデルを訓練するためのフレームワークを提案する。 スコアベース拡散モデルを用いてラベル付きデータを生成する。 ラベル付きデータが生成されると、シンプルな完全に接続されたニューラルネットワークをトレーニングして、教師付き方法で生成モデルを学ぶことができます。
  論文  参考訳（メタデータ） (2023-10-22T23:56:19Z)
• Faster Training of Neural ODEs Using Gau{\ss}-Legendre Quadrature [68.9206193762751]
  ニューラルネットワークの訓練を高速化する代替手法を提案する。 我々はGuss-Legendre乗法を用いて、ODEベースの方法よりも高速に積分を解く。 また、Wong-Zakai定理を用いて、対応するODEをトレーニングし、パラメータを転送することで、SDEのトレーニングにも拡張する。
  論文  参考訳（メタデータ） (2023-08-21T11:31:15Z)
• Neural ODE Processes [64.10282200111983]
  NDP(Neural ODE Process)は、Neural ODEの分布によって決定される新しいプロセスクラスである。 我々のモデルは,少数のデータポイントから低次元システムのダイナミクスを捉えることができることを示す。
  論文  参考訳（メタデータ） (2021-03-23T09:32:06Z)
• Artificial neural network as a universal model of nonlinear dynamical systems [0.0]
  このマップは、重みがモデル化されたシステムをエンコードする人工知能ニューラルネットワークとして構築されている。 ローレンツ系、ロースラー系およびヒンドマール・ロースニューロンを考察する。 誘引子、パワースペクトル、分岐図、リャプノフ指数の視覚像に高い類似性が観察される。
  論文  参考訳（メタデータ） (2021-03-06T16:02:41Z)
• STEER: Simple Temporal Regularization For Neural ODEs [80.80350769936383]
  トレーニング中のODEの終了時刻をランダムにサンプリングする新しい正規化手法を提案する。 提案された正規化は実装が簡単で、オーバーヘッドを無視でき、様々なタスクで有効である。 本稿では,フローの正規化,時系列モデル,画像認識などの実験を通じて,提案した正規化がトレーニング時間を大幅に短縮し,ベースラインモデルよりも性能を向上できることを示す。
  論文  参考訳（メタデータ） (2020-06-18T17:44:50Z)
• Neural Jump Ordinary Differential Equations: Consistent Continuous-Time Prediction and Filtering [6.445605125467574]
  我々は、連続的に学習するデータ駆動型アプローチを提供するNeural Jump ODE(NJ-ODE)を紹介する。 我々のモデルは、$L2$-Optimalオンライン予測に収束することを示す。 我々は,より複雑な学習タスクにおいて,モデルがベースラインより優れていることを示す。
  論文  参考訳（メタデータ） (2020-06-08T16:34:51Z)
• Neural Ordinary Differential Equation based Recurrent Neural Network Model [0.7233897166339269]
  微分方程式は ニューラルネットワークの 新たなメンバーだ 本稿では, 通常の微分方程式(ODE)の強度を新しい拡張法で探索する。 2つの新しいODEベースのRNNモデル(GRU-ODEモデルとLSTM-ODE)は、ODEソルバを用いて任意の時点で隠れた状態とセル状態を計算することができる。 実験により、これらの新しいODEベースのRNNモデルは、遅延ODEや従来のニューラルODEよりもトレーニング時間が少ないことが示された。
  論文  参考訳（メタデータ） (2020-05-20T01:02:29Z)
• Time Dependence in Non-Autonomous Neural ODEs [74.78386661760662]
  時変重みを持つニューラルODEの新しいファミリーを提案する。 我々は、速度と表現能力の両面で、従来のニューラルODEの変形よりも優れていた。
  論文  参考訳（メタデータ） (2020-05-05T01:41:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。