論文の概要: Task-Synchronized Recurrent Neural Networks

• arxiv url: http://arxiv.org/abs/2204.05192v2
• Date: Tue, 2 Jul 2024 11:15:19 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-04 10:36:26.896038
• Title: Task-Synchronized Recurrent Neural Networks
• Title（参考訳）: タスク同期リカレントニューラルネットワーク
• Authors: Mantas Lukoševičius, Arnas Uselis,
• Abstract要約: リカレントニューラルネットワーク(RNN)は、伝統的に事実を無視し、時間差を追加入力として与えたり、データを再サンプリングしたりする。 我々は、データやタスクの時間と一致するように、RNNを効果的に再サンプリングするエレガントな代替手法を提案する。 我々は、我々のモデルがデータの時間的非均一性を効果的に補償できることを実証的に確認し、データ再サンプリングや古典的RNN手法、代替的なRNNモデルと比較することを実証した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Data are often sampled irregularly in time. Dealing with this using Recurrent Neural Networks (RNNs) traditionally involved ignoring the fact, feeding the time differences as additional inputs, or resampling the data. All these methods have their shortcomings. We propose an elegant straightforward alternative approach where instead the RNN is in effect resampled in time to match the time of the data or the task at hand. We use Echo State Network (ESN) and Gated Recurrent Unit (GRU) as the basis for our solution. Such RNNs can be seen as discretizations of continuous-time dynamical systems, which gives a solid theoretical ground to our approach. Our Task-Synchronized ESN (TSESN) and GRU (TSGRU) models allow for a direct model time setting and require no additional training, parameter tuning, or computation (solving differential equations or interpolating data) compared to their regular counterparts, thus retaining their original efficiency. We confirm empirically that our models can effectively compensate for the time-non-uniformity of the data and demonstrate that they compare favorably to data resampling, classical RNN methods, and alternative RNN models proposed to deal with time irregularities on several real-world nonuniform-time datasets. We open-source the code at https://github.com/oshapio/task-synchronized-RNNs .
• Abstract（参考訳）: データは時間内に不規則にサンプリングされることが多い。 これに対処するためには、リカレントニューラルネットワーク(RNN)を使用して、従来は事実を無視し、時間差を追加入力として供給したり、データを再サンプリングする必要があった。 これらの手法には欠点がある。 我々は、データやタスクの時間と一致するように、RNNを効果的に再サンプリングするエレガントな代替手法を提案する。 ソリューションの基盤として,Echo State Network (ESN) と Gated Recurrent Unit (GRU) を使用しています。 このようなRNNは連続時間力学系の離散化と見なすことができ、これは我々のアプローチに確かな理論的根拠を与える。 タスク同期 ESN (TSESN) と GRU (TSGRU) のモデルでは,通常のモデルに比べてトレーニングやパラメータチューニング,あるいは計算(微分方程式や補間データの解法)を必要とせず,本来の効率を維持することができる。 我々は、我々のモデルがデータの時間的非均一性を効果的に補償できることを実証的に確認し、データ再サンプリング、古典的RNN法、およびいくつかの実世界の非一様時間データセットの時間的不均一性を扱うために提案された代替RNNモデルと比較することを実証した。 私たちはhttps://github.com/oshapio/task-synchronized-RNNsでコードをオープンソース化しました。

関連論文リスト

• Time-Parameterized Convolutional Neural Networks for Irregularly Sampled Time Series [26.77596449192451]
  不規則にサンプリングされた時系列は、いくつかのアプリケーション領域でユビキタスであり、スパースであり、完全に観測されていない、非整合的な観察に繋がる。 標準シーケンシャルニューラルネットワーク(RNN)と畳み込みニューラルネットワーク(CNN)は、観測時間間の定期的な間隔を考慮し、不規則な時系列モデリングに重大な課題を提起する。 時間的に不規則なカーネルを用いて畳み込み層をパラメータ化する。
  論文  参考訳（メタデータ） (2023-08-06T21:10:30Z)
• How neural networks learn to classify chaotic time series [77.34726150561087]
  本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。 入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
  論文  参考訳（メタデータ） (2023-06-04T08:53:27Z)
• Neural Differential Recurrent Neural Network with Adaptive Time Steps [11.999568208578799]
  隠れ状態の時間的発達を表すためにニューラルODEを用いるRNN-ODE-Adapと呼ばれるRNNベースのモデルを提案する。 我々は、データの変化の急激さに基づいて時間ステップを適応的に選択し、「スパイクのような」時系列に対してより効率的にモデルを訓練する。
  論文  参考訳（メタデータ） (2023-06-02T16:46:47Z)
• Online Evolutionary Neural Architecture Search for Multivariate Non-Stationary Time Series Forecasting [72.89994745876086]
  本研究は、オンラインニューロ進化に基づくニューラルアーキテクチャサーチ(ONE-NAS)アルゴリズムを提案する。 ONE-NASは、オンライン予測タスクのためにリカレントニューラルネットワーク(RNN)を自動設計し、動的にトレーニングする新しいニューラルネットワーク探索手法である。 その結果、ONE-NASは従来の統計時系列予測法よりも優れていた。
  論文  参考訳（メタデータ） (2023-02-20T22:25:47Z)
• Improved Batching Strategy For Irregular Time-Series ODE [0.0]
  本稿では, ODE-RNN 上でのランタイムの改善を, 異なる効率的な戦略を用いて提案する。 実験の結果,データの不規則性に応じてODE-RNNのランタイムを2倍から49倍に削減できることがわかった。
  論文  参考訳（メタデータ） (2022-07-12T17:30:02Z)
• AEGNN: Asynchronous Event-based Graph Neural Networks [54.528926463775946]
  イベントベースのグラフニューラルネットワークは、標準のGNNを一般化して、イベントを"進化的"時間グラフとして処理する。 AEGNNは同期入力で容易に訓練でき、テスト時に効率的な「非同期」ネットワークに変換できる。
  論文  参考訳（メタデータ） (2022-03-31T16:21:12Z)
• CARRNN: A Continuous Autoregressive Recurrent Neural Network for Deep Representation Learning from Sporadic Temporal Data [1.8352113484137622]
  本稿では,散発データにおける複数の時間的特徴をモデル化するための新しい深層学習モデルを提案する。 提案モデルはCARRNNと呼ばれ、時間ラグによって変調されたニューラルネットワークを用いてエンドツーエンドにトレーニング可能な一般化された離散時間自己回帰モデルを使用する。 アルツハイマー病進行モデルおよび集中治療単位(ICU)死亡率予測のためのデータを用いて,多変量時系列回帰タスクに適用した。
  論文  参考訳（メタデータ） (2021-04-08T12:43:44Z)
• Neural ODE Processes [64.10282200111983]
  NDP(Neural ODE Process)は、Neural ODEの分布によって決定される新しいプロセスクラスである。 我々のモデルは,少数のデータポイントから低次元システムのダイナミクスを捉えることができることを示す。
  論文  参考訳（メタデータ） (2021-03-23T09:32:06Z)
• Deep Cellular Recurrent Network for Efficient Analysis of Time-Series Data with Spatial Information [52.635997570873194]
  本研究では,空間情報を用いた複雑な多次元時系列データを処理するための新しいディープセルリカレントニューラルネットワーク(DCRNN)アーキテクチャを提案する。 提案するアーキテクチャは,文献に比較して,学習可能なパラメータをかなり少なくしつつ,最先端の性能を実現している。
  論文  参考訳（メタデータ） (2021-01-12T20:08:18Z)
• Deep Time Delay Neural Network for Speech Enhancement with Full Data Learning [60.20150317299749]
  本稿では,全データ学習による音声強調のためのディープタイム遅延ニューラルネットワーク(TDNN)を提案する。 トレーニングデータを完全に活用するために,音声強調のための完全なデータ学習手法を提案する。
  論文  参考訳（メタデータ） (2020-11-11T06:32:37Z)
• Learning Long-Term Dependencies in Irregularly-Sampled Time Series [16.762335749650717]
  連続時間隠れ状態を持つリカレントニューラルネットワーク(RNN)は、不規則サンプリング時系列のモデリングに自然に適合する。 我々は、標準のRNNと同様、この問題の根底にある理由は、トレーニング中に勾配が消滅または爆発することにあることを証明している。 我々は,その時間連続状態からメモリを分離する長寿命メモリ(LSTM)に基づく新しいアルゴリズムを設計することで,その解を提供する。
  論文  参考訳（メタデータ） (2020-06-08T08:46:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。