論文の概要: Piecewise-constant Neural ODEs
- arxiv url: http://arxiv.org/abs/2106.06621v1
- Date: Fri, 11 Jun 2021 21:46:55 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-20 02:16:25.967575
- Title: Piecewise-constant Neural ODEs
- Title（参考訳）: 分節結合型ニューラルオデム
- Authors: Sam Greydanus, Stefan Lee, Alan Fern
- Abstract要約: 我々はこれらの問題を緩和するためにニューラルODEに一括的に近似する。
我々のモデルは、Euler統合によって正確に統合することができ、対応するRNNやODE-RNNモデルよりも3～20倍少ないステップで自己回帰サンプルを生成することができる。
- 参考スコア（独自算出の注目度）: 41.116259317376475
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Neural networks are a popular tool for modeling sequential data but they
generally do not treat time as a continuous variable. Neural ODEs represent an
important exception: they parameterize the time derivative of a hidden state
with a neural network and then integrate over arbitrary amounts of time. But
these parameterizations, which have arbitrary curvature, can be hard to
integrate and thus train and evaluate. In this paper, we propose making a
piecewise-constant approximation to Neural ODEs to mitigate these issues. Our
model can be integrated exactly via Euler integration and can generate
autoregressive samples in 3-20 times fewer steps than comparable RNN and
ODE-RNN models. We evaluate our model on several synthetic physics tasks and a
planning task inspired by the game of billiards. We find that it matches the
performance of baseline approaches while requiring less time to train and
evaluate.
- Abstract（参考訳）: ニューラルネットワークはシーケンシャルデータをモデリングするための一般的なツールだが、一般的には時間の連続変数として扱うことはない。
ニューラルネットワークは、隠れた状態の時間微分をニューラルネットワークでパラメータ化し、任意の時間にわたって統合する。
しかし、任意の曲率を持つこれらのパラメータ化は統合が難しく、したがって訓練と評価が難しい。
本稿では,これらの問題を緩和するために,神経オデムに対する分割定数近似法を提案する。
我々のモデルは、Euler統合によって正確に統合することができ、対応するRNNやODE-RNNモデルよりも3～20倍少ないステップで自己回帰サンプルを生成することができる。
いくつかの合成物理タスクとビリヤードゲームに触発された計画タスクでモデルを評価する。
トレーニングや評価に要する時間を少なくしながら,ベースラインアプローチのパフォーマンスにマッチしていることが分かりました。
関連論文リスト
- Neural Differential Recurrent Neural Network with Adaptive Time Steps [11.999568208578799]
隠れ状態の時間的発達を表すためにニューラルODEを用いるRNN-ODE-Adapと呼ばれるRNNベースのモデルを提案する。
我々は、データの変化の急激さに基づいて時間ステップを適応的に選択し、「スパイクのような」時系列に対してより効率的にモデルを訓練する。
論文 参考訳（メタデータ） (2023-06-02T16:46:47Z) - Continuous time recurrent neural networks: overview and application to
forecasting blood glucose in the intensive care unit [56.801856519460465]
連続時間自己回帰リカレントニューラルネットワーク(Continuous Time Autoregressive Recurrent Neural Network, CTRNN)は、不規則な観測を考慮に入れたディープラーニングモデルである。
重篤なケア環境下での血糖値の確率予測へのこれらのモデルの適用を実証する。
論文 参考訳（メタデータ） (2023-04-14T09:39:06Z) - On the balance between the training time and interpretability of neural
ODE for time series modelling [77.34726150561087]
本稿は,現代のニューラルODEを,時系列モデリングアプリケーションのためのより単純なモデルに還元することはできないことを示す。
ニューラルODEの複雑さは、従来の時系列モデリングツールと比較されるか、超える。
本稿では,ニューラルネットワークとODEシステムを用いた時系列モデリングの新しい視点を提案する。
論文 参考訳（メタデータ） (2022-06-07T13:49:40Z) - Neural Flows: Efficient Alternative to Neural ODEs [8.01886971335823]
本稿では,ORのフローである解曲線を直接ニューラルネットワークでモデル化する手法を提案する。
これにより、ニューラルネットワークのモデリング能力を維持しながら、高価な数値解法の必要性はすぐに解消される。
論文 参考訳（メタデータ） (2021-10-25T15:24:45Z) - Representation learning for neural population activity with Neural Data
Transformers [3.4376560669160394]
我々は、明示的力学モデルの非リカレントな代替品であるNeural Data Transformer (NDT)を紹介する。
NDTは3.9msの推論を可能にし、リアルタイムアプリケーションのループ時間内では、リカレントベースラインの6倍以上高速である。
論文 参考訳（メタデータ） (2021-08-02T23:36:39Z) - ANNETTE: Accurate Neural Network Execution Time Estimation with Stacked
Models [56.21470608621633]
本稿では,アーキテクチャ検索を対象ハードウェアから切り離すための時間推定フレームワークを提案する。
提案手法は,マイクロカーネルと多層ベンチマークからモデルの集合を抽出し,マッピングとネットワーク実行時間推定のためのスタックモデルを生成する。
生成した混合モデルの推定精度と忠実度, 統計モデルとルーフラインモデル, 評価のための洗練されたルーフラインモデルを比較した。
論文 参考訳（メタデータ） (2021-05-07T11:39:05Z) - Neural ODE Processes [64.10282200111983]
NDP(Neural ODE Process)は、Neural ODEの分布によって決定される新しいプロセスクラスである。
我々のモデルは,少数のデータポイントから低次元システムのダイナミクスを捉えることができることを示す。
論文 参考訳（メタデータ） (2021-03-23T09:32:06Z) - Neural Ordinary Differential Equation based Recurrent Neural Network
Model [0.7233897166339269]
微分方程式は ニューラルネットワークの 新たなメンバーだ
本稿では, 通常の微分方程式(ODE)の強度を新しい拡張法で探索する。
2つの新しいODEベースのRNNモデル(GRU-ODEモデルとLSTM-ODE)は、ODEソルバを用いて任意の時点で隠れた状態とセル状態を計算することができる。
実験により、これらの新しいODEベースのRNNモデルは、遅延ODEや従来のニューラルODEよりもトレーニング時間が少ないことが示された。
論文 参考訳（メタデータ） (2020-05-20T01:02:29Z) - Time Dependence in Non-Autonomous Neural ODEs [74.78386661760662]
時変重みを持つニューラルODEの新しいファミリーを提案する。
我々は、速度と表現能力の両面で、従来のニューラルODEの変形よりも優れていた。
論文 参考訳（メタデータ） (2020-05-05T01:41:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。