論文の概要: IRNN: Innovation-driven Recurrent Neural Network for Time-Series Data Modeling and Prediction

• arxiv url: http://arxiv.org/abs/2505.05916v1
• Date: Fri, 09 May 2025 09:43:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-12 20:40:10.223055
• Title: IRNN: Innovation-driven Recurrent Neural Network for Time-Series Data Modeling and Prediction
• Title（参考訳）: IRNN:時系列データモデリングと予測のためのイノベーション駆動リカレントニューラルネットワーク
• Authors: Yifan Zhou, Yibo Wang, Chao Shang,
• Abstract要約: 本稿では、時系列データモデリングと予測タスクに適した新しいRNNアーキテクチャであるInnovation-driven RNN(IRNN)を提案する。 KFからRNNへの「革新」の概念の適用により、過去の予測エラーを追加入力信号として採用し、RNNの隠れ状態を更新する。 実世界のベンチマークデータセットの実験から、RNNの様々な形態へのイノベーションの統合は、IRNNの予測精度を著しく向上させることが示された。
• 参考スコア（独自算出の注目度）: 22.332696262170284
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Many real-world datasets are time series that are sequentially collected and contain rich temporal information. Thus, a common interest in practice is to capture dynamics of time series and predict their future evolutions. To this end, the recurrent neural network (RNN) has been a prevalent and effective machine learning option, which admits a nonlinear state-space model representation. Motivated by the resemblance between RNN and Kalman filter (KF) for linear state-space models, we propose in this paper Innovation-driven RNN (IRNN), a novel RNN architecture tailored to time-series data modeling and prediction tasks. By adapting the concept of "innovation" from KF to RNN, past prediction errors are adopted as additional input signals to update hidden states of RNN and boost prediction performance. Since innovation data depend on network parameters, existing training algorithms for RNN do not apply to IRNN straightforwardly. Thus, a tailored training algorithm dubbed input updating-based back-propagation through time (IU-BPTT) is further proposed, which alternates between updating innovations and optimizing network parameters via gradient descent. Experiments on real-world benchmark datasets show that the integration of innovations into various forms of RNN leads to remarkably improved prediction accuracy of IRNN without increasing the training cost substantially.
• Abstract（参考訳）: 多くの実世界のデータセットは時系列であり、時系列に収集され、豊富な時間情報を含んでいる。 したがって、実践における共通の関心は、時系列のダイナミクスを捉え、将来の進化を予測することである。 この目的のために、リカレントニューラルネットワーク(RNN)は、非線形な状態空間モデル表現を許容する、一般的かつ効果的な機械学習オプションである。 本稿では,線形状態空間モデルに対するRNNとカルマンフィルタ(KF)の類似性から,時系列データモデリングと予測タスクに適した新しいRNNアーキテクチャであるInnovation-driven RNN(IRNN)を提案する。 KFからRNNへの「革新」の概念を適応させることで、過去の予測誤差を付加入力信号として採用し、RNNの隠れ状態を更新し、予測性能を向上する。 イノベーションデータはネットワークパラメータに依存するため、既存のRNNのトレーニングアルゴリズムはIRNNに直接適用されない。 そこで, インプット更新ベースバックプロパゲーション (IU-BPTT) と呼ばれる, 改良と勾配降下によるネットワークパラメータの最適化を交互に行うアルゴリズムを提案する。 実世界のベンチマークデータセットの実験により、RNNの様々な形態へのイノベーションの統合は、トレーニングコストを大幅に増大させることなく、IRNNの予測精度を著しく向上させることが示された。

関連論文リスト

• Scalable Mechanistic Neural Networks for Differential Equations and Machine Learning [52.28945097811129]
  長い時間的シーケンスを含む科学機械学習応用のための拡張ニューラルネットワークフレームワークを提案する。 計算時間と空間複雑度はそれぞれ、列長に関して立方体と二次体から線形へと減少する。 大規模な実験により、S-MNNは元のMNNと精度で一致し、計算資源を大幅に削減した。
  論文  参考訳（メタデータ） (2024-10-08T14:27:28Z)
• Brain-Inspired Spiking Neural Network for Online Unsupervised Time Series Prediction [13.521272923545409]
  連続学習に基づく非教師付きリカレントスパイキングニューラルネットワークモデル(CLURSNN)を提案する。 CLURSNNは、ランダム遅延埋め込み(Random Delay Embedding)を使用して基盤となる動的システムを再構築することで、オンライン予測を行う。 提案手法は,進化するロレンツ63力学系を予測する際に,最先端のDNNモデルよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-04-10T16:18:37Z)
• Online Evolutionary Neural Architecture Search for Multivariate Non-Stationary Time Series Forecasting [72.89994745876086]
  本研究は、オンラインニューロ進化に基づくニューラルアーキテクチャサーチ(ONE-NAS)アルゴリズムを提案する。 ONE-NASは、オンライン予測タスクのためにリカレントニューラルネットワーク(RNN)を自動設計し、動的にトレーニングする新しいニューラルネットワーク探索手法である。 その結果、ONE-NASは従来の統計時系列予測法よりも優れていた。
  論文  参考訳（メタデータ） (2023-02-20T22:25:47Z)
• Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
  スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。 我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
  論文  参考訳（メタデータ） (2022-11-19T15:44:08Z)
• Task-Synchronized Recurrent Neural Networks [0.0]
  リカレントニューラルネットワーク(RNN)は、伝統的に事実を無視し、時間差を追加入力として与えたり、データを再サンプリングしたりする。 我々は、データやタスクの時間と一致するように、RNNを効果的に再サンプリングするエレガントな代替手法を提案する。 我々は、我々のモデルがデータの時間的非均一性を効果的に補償できることを実証的に確認し、データ再サンプリングや古典的RNN手法、代替的なRNNモデルと比較することを実証した。
  論文  参考訳（メタデータ） (2022-04-11T15:27:40Z)
• Reverse engineering recurrent neural networks with Jacobian switching linear dynamical systems [24.0378100479104]
  リカレントニューラルネットワーク(RNN)は時系列データを処理する強力なモデルである。 トレーニングされたRNNをその固定点を中心に線形化することでリバースエンジニアリングするフレームワークは洞察を与えてきたが、アプローチには大きな課題がある。 本稿では,新しい線形力学系 (SLDS) の定式化によるRNNの協調学習により,これらの制約を克服する新しいモデルを提案する。
  論文  参考訳（メタデータ） (2021-11-01T20:49:30Z)
• Modeling from Features: a Mean-field Framework for Over-parameterized Deep Neural Networks [54.27962244835622]
  本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。 このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。 本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
  論文  参考訳（メタデータ） (2020-07-03T01:37:16Z)
• Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
  スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。 高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-02T15:38:44Z)
• Exploring Pre-training with Alignments for RNN Transducer based End-to-End Speech Recognition [39.497407288772386]
  リカレントニューラルネットワークトランスデューサ(RNN-T)アーキテクチャは、エンドツーエンドの自動音声認識研究において、新たなトレンドとなっている。 本研究では、外部アライメントを活用してRNN-Tモデルをシードする。 エンコーダ事前学習(encoder pre-training)と全ネットワーク事前学習( whole-network pre-training)と呼ばれる2つの異なる事前学習ソリューションが検討されている。
  論文  参考訳（メタデータ） (2020-05-01T19:00:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。