論文の概要: Closed-form Continuous-Depth Models
- arxiv url: http://arxiv.org/abs/2106.13898v1
- Date: Fri, 25 Jun 2021 22:08:51 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-29 13:46:22.716851
- Title: Closed-form Continuous-Depth Models
- Title(参考訳): 閉形式連続深層モデル
- Authors: Ramin Hasani, Mathias Lechner, Alexander Amini, Lucas Liebenwein, Max
Tschaikowski, Gerald Teschl, Daniela Rus
- Abstract要約: 連続深度ニューラルモデルは高度な数値微分方程式解法に依存している。
我々は,CfCネットワークと呼ばれる,記述が簡単で,少なくとも1桁高速な新しいモデル群を提示する。
- 参考スコア(独自算出の注目度): 99.40335716948101
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Continuous-depth neural models, where the derivative of the model's hidden
state is defined by a neural network, have enabled strong sequential data
processing capabilities. However, these models rely on advanced numerical
differential equation (DE) solvers resulting in a significant overhead both in
terms of computational cost and model complexity. In this paper, we present a
new family of models, termed Closed-form Continuous-depth (CfC) networks, that
are simple to describe and at least one order of magnitude faster while
exhibiting equally strong modeling abilities compared to their ODE-based
counterparts. The models are hereby derived from the analytical closed-form
solution of an expressive subset of time-continuous models, thus alleviating
the need for complex DE solvers all together. In our experimental evaluations,
we demonstrate that CfC networks outperform advanced, recurrent models over a
diverse set of time-series prediction tasks, including those with long-term
dependencies and irregularly sampled data. We believe our findings open new
opportunities to train and deploy rich, continuous neural models in
resource-constrained settings, which demand both performance and efficiency.
- Abstract(参考訳): モデル隠れ状態の微分がニューラルネットワークによって定義される連続深度ニューラルネットワークは、強力なシーケンシャルなデータ処理機能を実現している。
しかし、これらのモデルは高度な数値微分方程式(DE)の解法に依存しており、計算コストとモデルの複雑さの両方において大きなオーバーヘッドをもたらす。
本稿では,CfCネットワークと呼ばれる新しいモデル群について述べる。そのモデル群は,ODEをベースとしたモデルと同等に強力なモデリング能力を示しながら,記述が簡単で,少なくとも1桁高速である。
モデルは、時間連続モデルの表現的部分集合の解析的閉形式解から導出され、複雑なdeソルバの必要性を全て和らげる。
実験により,CfCネットワークは長期依存や不規則なサンプルデータを含む様々な時系列予測タスクにおいて,高度で反復的なモデルよりも優れていることを示した。
私たちは、リソース制約のある環境でリッチで継続的なニューラルモデルをトレーニングし、デプロイする新たな機会が、パフォーマンスと効率の両方を必要としている、と信じています。
関連論文リスト
- Learning Space-Time Continuous Neural PDEs from Partially Observed
States [13.01244901400942]
格子独立モデル学習偏微分方程式(PDE)を雑音および不規則格子上の部分的な観測から導入する。
本稿では、効率的な確率的フレームワークとデータ効率とグリッド独立性を改善するための新しい設計エンコーダを備えた時空間連続型ニューラルネットワークPDEモデルを提案する。
論文 参考訳(メタデータ) (2023-07-09T06:53:59Z) - ChiroDiff: Modelling chirographic data with Diffusion Models [132.5223191478268]
チャーログラフィーデータのための強力なモデルクラスである「拡散確率モデル(Denoising Diffusion Probabilistic Models)」やDDPMを導入している。
我々のモデルは「ChiroDiff」と呼ばれ、非自己回帰的であり、全体論的概念を捉えることを学び、したがって高い時間的サンプリングレートに回復する。
論文 参考訳(メタデータ) (2023-04-07T15:17:48Z) - Artificial neural networks and time series of counts: A class of
nonlinear INGARCH models [0.0]
INGARCHモデルを人工知能ニューラルネットワーク(ANN)応答関数と組み合わせて非線形INGARCHモデルのクラスを得る方法を示す。
ANNフレームワークは、対応するニューラルモデルの退化バージョンとして、既存のINGARCHモデルの解釈を可能にする。
有界数と非有界数の時系列の実証分析により、ニューラルINGARCHモデルは、情報損失の観点から、合理的に退化した競合モデルより優れていることが示された。
論文 参考訳(メタデータ) (2023-04-03T14:26:16Z) - Learning PDE Solution Operator for Continuous Modeling of Time-Series [1.39661494747879]
この研究は、動的モデリング能力を改善する偏微分方程式(PDE)に基づくフレームワークを提案する。
時間的離散化の反復的操作や特定のグリッドを必要とせずに連続的に処理できるニューラル演算子を提案する。
我々のフレームワークは、現実世界のアプリケーションに容易に適用可能な、ニューラルネットワークの継続的な表現のための新しい方法を開く。
論文 参考訳(メタデータ) (2023-02-02T03:47:52Z) - Sparse Flows: Pruning Continuous-depth Models [107.98191032466544]
生成モデルにおいて,プルーニングによりニューラルネットワークの一般化が向上することを示す。
また、プルーニングは、元のネットワークに比べて最大98%少ないパラメータで、精度を損なうことなく、最小かつ効率的なニューラルODE表現を見出すことを示した。
論文 参考訳(メタデータ) (2021-06-24T01:40:17Z) - Anomaly Detection of Time Series with Smoothness-Inducing Sequential
Variational Auto-Encoder [59.69303945834122]
Smoothness-Inducing Sequential Variational Auto-Encoder (SISVAE) モデルを提案する。
我々のモデルは、フレキシブルニューラルネットワークを用いて各タイムスタンプの平均と分散をパラメータ化する。
合成データセットと公開実世界のベンチマークの両方において,本モデルの有効性を示す。
論文 参考訳(メタデータ) (2021-02-02T06:15:15Z) - Neural Closure Models for Dynamical Systems [35.000303827255024]
低忠実度モデルに対する非マルコフ閉閉パラメータ化を学習する新しい手法を開発した。
ニューラルクロージャモデル」はニューラル遅延微分方程式(nDDE)を用いた低忠実度モデルを強化する
非マルコヴィアンオーバーマルコヴィアンクロージャを使用することで、長期的精度が向上し、より小さなネットワークが必要であることを示した。
論文 参考訳(メタデータ) (2020-12-27T05:55:33Z) - Hybrid modeling: Applications in real-time diagnosis [64.5040763067757]
我々は、機械学習にインスパイアされたモデルと物理モデルを組み合わせた、新しいハイブリッドモデリングアプローチの概要を述べる。
このようなモデルをリアルタイム診断に利用しています。
論文 参考訳(メタデータ) (2020-03-04T00:44:57Z) - Convolutional Tensor-Train LSTM for Spatio-temporal Learning [116.24172387469994]
本稿では,ビデオシーケンスの長期相関を効率的に学習できる高次LSTMモデルを提案する。
これは、時間をかけて畳み込み特徴を組み合わせることによって予測を行う、新しいテンソルトレインモジュールによって達成される。
この結果は,幅広いアプリケーションやデータセットにおいて,最先端のパフォーマンス向上を実現している。
論文 参考訳(メタデータ) (2020-02-21T05:00:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。