Fugu-MT 論文翻訳(概要): Improved Batching Strategy For Irregular Time-Series ODE

論文の概要: Improved Batching Strategy For Irregular Time-Series ODE

arxiv url: http://arxiv.org/abs/2207.05708v1
Date: Tue, 12 Jul 2022 17:30:02 GMT
ステータス: 処理完了
システム内更新日: 2022-07-13 15:08:35.276863
Title: Improved Batching Strategy For Irregular Time-Series ODE
Title（参考訳）: 不規則時間列ODEのバッチ戦略の改善
Authors: Ting Fung Lam, Yony Bresler, Ahmed Khorshid and Nathan Perlmutter
Abstract要約: 本稿では, ODE-RNN 上でのランタイムの改善を, 異なる効率的な戦略を用いて提案する。実験の結果,データの不規則性に応じてODE-RNNのランタイムを2倍から49倍に削減できることがわかった。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Irregular time series data are prevalent in the real world and are challenging to model with a simple recurrent neural network (RNN). Hence, a model that combines the use of ordinary differential equations (ODE) and RNN was proposed (ODE-RNN) to model irregular time series with higher accuracy, but it suffers from high computational costs. In this paper, we propose an improvement in the runtime on ODE-RNNs by using a different efficient batching strategy. Our experiments show that the new models reduce the runtime of ODE-RNN significantly ranging from 2 times up to 49 times depending on the irregularity of the data while maintaining comparable accuracy. Hence, our model can scale favorably for modeling larger irregular data sets.
Abstract（参考訳）: 不規則な時系列データは実世界で普及しており、単純なリカレントニューラルネットワーク(RNN)でモデル化することは困難である。したがって、通常の微分方程式(ODE)とRNN(ODE-RNN)を組み合わせたモデルが提案され、不規則時系列を高精度にモデル化するが、計算コストが高い。本稿では,異なる効率的なバッチ戦略を用いてode-rnn上でのランタイムの改善を提案する。実験の結果, ODE-RNNのランタイムはデータの不規則性に応じて2倍から49倍まで大幅に削減され, 精度は同等であった。したがって、我々のモデルはより大きな不規則データセットをモデル化するのに好適にスケールできる。

関連論文リスト

Neural Differential Recurrent Neural Network with Adaptive Time Steps [11.999568208578799]
隠れ状態の時間的発達を表すためにニューラルODEを用いるRNN-ODE-Adapと呼ばれるRNNベースのモデルを提案する。我々は、データの変化の急激さに基づいて時間ステップを適応的に選択し、「スパイクのような」時系列に対してより効率的にモデルを訓練する。
論文参考訳（メタデータ） (2023-06-02T16:46:47Z)
Continuous time recurrent neural networks: overview and application to forecasting blood glucose in the intensive care unit [56.801856519460465]
連続時間自己回帰リカレントニューラルネットワーク(Continuous Time Autoregressive Recurrent Neural Network, CTRNN)は、不規則な観測を考慮に入れたディープラーニングモデルである。重篤なケア環境下での血糖値の確率予測へのこれらのモデルの適用を実証する。
論文参考訳（メタデータ） (2023-04-14T09:39:06Z)
Deep Latent State Space Models for Time-Series Generation [68.45746489575032]
状態空間ODEに従って進化する潜伏変数を持つ列の生成モデルLS4を提案する。近年の深層状態空間モデル(S4)に着想を得て,LS4の畳み込み表現を利用して高速化を実現する。 LS4は, 実世界のデータセット上での限界分布, 分類, 予測スコアにおいて, 従来の連続時間生成モデルよりも有意に優れていた。
論文参考訳（メタデータ） (2022-12-24T15:17:42Z)
On the balance between the training time and interpretability of neural ODE for time series modelling [77.34726150561087]
本稿は,現代のニューラルODEを,時系列モデリングアプリケーションのためのより単純なモデルに還元することはできないことを示す。ニューラルODEの複雑さは、従来の時系列モデリングツールと比較されるか、超える。本稿では,ニューラルネットワークとODEシステムを用いた時系列モデリングの新しい視点を提案する。
論文参考訳（メタデータ） (2022-06-07T13:49:40Z)
Task-Synchronized Recurrent Neural Networks [0.0]
リカレントニューラルネットワーク(RNN)は、伝統的に事実を無視し、時間差を追加入力として与えたり、データを再サンプリングしたりする。我々は、データやタスクの時間と一致するように、RNNを効果的に再サンプリングするエレガントな代替手法を提案する。我々は、我々のモデルがデータの時間的非均一性を効果的に補償できることを実証的に確認し、データ再サンプリングや古典的RNN手法、代替的なRNNモデルと比較することを実証した。
論文参考訳（メタデータ） (2022-04-11T15:27:40Z)
ANNETTE: Accurate Neural Network Execution Time Estimation with Stacked Models [56.21470608621633]
本稿では,アーキテクチャ検索を対象ハードウェアから切り離すための時間推定フレームワークを提案する。提案手法は,マイクロカーネルと多層ベンチマークからモデルの集合を抽出し,マッピングとネットワーク実行時間推定のためのスタックモデルを生成する。生成した混合モデルの推定精度と忠実度, 統計モデルとルーフラインモデル, 評価のための洗練されたルーフラインモデルを比較した。
論文参考訳（メタデータ） (2021-05-07T11:39:05Z)
CARRNN: A Continuous Autoregressive Recurrent Neural Network for Deep Representation Learning from Sporadic Temporal Data [1.8352113484137622]
本稿では,散発データにおける複数の時間的特徴をモデル化するための新しい深層学習モデルを提案する。提案モデルはCARRNNと呼ばれ、時間ラグによって変調されたニューラルネットワークを用いてエンドツーエンドにトレーニング可能な一般化された離散時間自己回帰モデルを使用する。アルツハイマー病進行モデルおよび集中治療単位(ICU)死亡率予測のためのデータを用いて,多変量時系列回帰タスクに適用した。
論文参考訳（メタデータ） (2021-04-08T12:43:44Z)
Anomaly Detection of Time Series with Smoothness-Inducing Sequential Variational Auto-Encoder [59.69303945834122]
Smoothness-Inducing Sequential Variational Auto-Encoder (SISVAE) モデルを提案する。我々のモデルは、フレキシブルニューラルネットワークを用いて各タイムスタンプの平均と分散をパラメータ化する。合成データセットと公開実世界のベンチマークの両方において,本モデルの有効性を示す。
論文参考訳（メタデータ） (2021-02-02T06:15:15Z)
STEER: Simple Temporal Regularization For Neural ODEs [80.80350769936383]
トレーニング中のODEの終了時刻をランダムにサンプリングする新しい正規化手法を提案する。提案された正規化は実装が簡単で、オーバーヘッドを無視でき、様々なタスクで有効である。本稿では,フローの正規化,時系列モデル,画像認識などの実験を通じて,提案した正規化がトレーニング時間を大幅に短縮し,ベースラインモデルよりも性能を向上できることを示す。
論文参考訳（メタデータ） (2020-06-18T17:44:50Z)
Learning Long-Term Dependencies in Irregularly-Sampled Time Series [16.762335749650717]
連続時間隠れ状態を持つリカレントニューラルネットワーク(RNN)は、不規則サンプリング時系列のモデリングに自然に適合する。我々は、標準のRNNと同様、この問題の根底にある理由は、トレーニング中に勾配が消滅または爆発することにあることを証明している。我々は,その時間連続状態からメモリを分離する長寿命メモリ(LSTM)に基づく新しいアルゴリズムを設計することで,その解を提供する。
論文参考訳（メタデータ） (2020-06-08T08:46:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。