論文の概要: ParaRNN: An Interpretable and Parallelizable Recurrent Neural Network for Time-Dependent Data
- arxiv url: http://arxiv.org/abs/2605.02692v1
- Date: Mon, 04 May 2026 15:05:24 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-05 20:33:50.35378
- Title: ParaRNN: An Interpretable and Parallelizable Recurrent Neural Network for Time-Dependent Data
- Title(参考訳): ParaRNN: 時間依存データのための解釈可能で並列化可能なリカレントニューラルネットワーク
- Authors: Yuxi Cai, Lan Li, Feiqing Huang, Guodong Li,
- Abstract要約: リカレントニューラルネットワーク(Recurrent Neural Network, RNN)は、時間依存データの基本モデルである。
機械学習における柔軟性と経験的成功にもかかわらず、RNNは限定的な解釈可能性と遅いトレーニングに悩まされることが多い。
本稿では, 並列化RNN(ParaRNN)を提案する。
- 参考スコア(独自算出の注目度): 14.833374935611703
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The proliferation of large-scale and structurally complex data has spurred the integration of machine learning methods into statistical modeling. Recurrent neural networks (RNNs), a foundational class of models for time-dependent data, can be viewed as nonlinear extensions of classical autoregressive moving average models. Despite their flexibility and empirical success in machine learning, RNNs often suffer from limited interpretability and slow training, which hinders their use in statistics. This paper proposes the Parallelized RNN (ParaRNN), a novel model composed of multiple small recurrent units. ParaRNN admits an additive representation that decouples recurrent dynamics into interpretable components, whose behavior can be characterized through recurrence features. This interpretability enables its applications in nonparametric regression for time-dependent data, while the design also allows efficient parallelization. The approximation capacity and non-asymptotic prediction error bounds in a nonparametric regression setting are established for ParaRNN. Empirical results on three sequential modeling tasks further demonstrate that ParaRNN achieves performance comparable to vanilla RNNs while offering improved interpretability and efficiency.
- Abstract(参考訳): 大規模で構造的に複雑なデータの拡散は、機械学習の手法を統計的モデリングに統合するきっかけとなった。
時間依存データの基本モデルであるリカレントニューラルネットワーク(RNN)は、古典的自己回帰移動平均モデルの非線形拡張と見なすことができる。
機械学習における柔軟性と経験的成功にもかかわらず、RNNは限定的な解釈可能性と遅いトレーニングに悩まされ、統計学での使用を妨げている。
本稿では, 並列化RNN(ParaRNN)を提案する。
ParaRNNは、リカレントダイナミクスを解釈可能なコンポーネントに分離する追加表現を認めており、その振る舞いは繰り返し機能によって特徴づけられる。
この解釈可能性により、時間依存データに対する非パラメトリック回帰の応用が可能となり、設計は効率的な並列化も可能となった。
ParaRNNに対して、非パラメトリック回帰設定における近似能力と非漸近予測誤差境界を確立する。
3つの逐次モデリングタスクに関する実証的な結果は、ParaRNNがバニラRNNに匹敵する性能を実現し、解釈可能性と効率が向上したことを示している。
関連論文リスト
- IRNN: Innovation-driven Recurrent Neural Network for Time-Series Data Modeling and Prediction [22.332696262170284]
本稿では、時系列データモデリングと予測タスクに適した新しいRNNアーキテクチャであるInnovation-driven RNN(IRNN)を提案する。
KFからRNNへの「革新」の概念の適用により、過去の予測エラーを追加入力信号として採用し、RNNの隠れ状態を更新する。
実世界のベンチマークデータセットの実験から、RNNの様々な形態へのイノベーションの統合は、IRNNの予測精度を著しく向上させることが示された。
論文 参考訳(メタデータ) (2025-05-09T09:43:40Z) - Scalable Mechanistic Neural Networks for Differential Equations and Machine Learning [52.28945097811129]
長い時間的シーケンスを含む科学機械学習応用のための拡張ニューラルネットワークフレームワークを提案する。
計算時間と空間複雑度はそれぞれ、列長に関して立方体と二次体から線形へと減少する。
大規模な実験により、S-MNNは元のMNNと精度で一致し、計算資源を大幅に削減した。
論文 参考訳(メタデータ) (2024-10-08T14:27:28Z) - Online Evolutionary Neural Architecture Search for Multivariate
Non-Stationary Time Series Forecasting [72.89994745876086]
本研究は、オンラインニューロ進化に基づくニューラルアーキテクチャサーチ(ONE-NAS)アルゴリズムを提案する。
ONE-NASは、オンライン予測タスクのためにリカレントニューラルネットワーク(RNN)を自動設計し、動的にトレーニングする新しいニューラルネットワーク探索手法である。
その結果、ONE-NASは従来の統計時系列予測法よりも優れていた。
論文 参考訳(メタデータ) (2023-02-20T22:25:47Z) - Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。
我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
論文 参考訳(メタデータ) (2022-11-19T15:44:08Z) - Learning Low Dimensional State Spaces with Overparameterized Recurrent
Neural Nets [57.06026574261203]
我々は、長期記憶をモデル化できる低次元状態空間を学習するための理論的証拠を提供する。
実験は、線形RNNと非線形RNNの両方で低次元状態空間を学習することで、我々の理論を裏付けるものである。
論文 参考訳(メタデータ) (2022-10-25T14:45:15Z) - Task-Synchronized Recurrent Neural Networks [0.0]
リカレントニューラルネットワーク(RNN)は、伝統的に事実を無視し、時間差を追加入力として与えたり、データを再サンプリングしたりする。
我々は、データやタスクの時間と一致するように、RNNを効果的に再サンプリングするエレガントな代替手法を提案する。
我々は、我々のモデルがデータの時間的非均一性を効果的に補償できることを実証的に確認し、データ再サンプリングや古典的RNN手法、代替的なRNNモデルと比較することを実証した。
論文 参考訳(メタデータ) (2022-04-11T15:27:40Z) - Reverse engineering recurrent neural networks with Jacobian switching
linear dynamical systems [24.0378100479104]
リカレントニューラルネットワーク(RNN)は時系列データを処理する強力なモデルである。
トレーニングされたRNNをその固定点を中心に線形化することでリバースエンジニアリングするフレームワークは洞察を与えてきたが、アプローチには大きな課題がある。
本稿では,新しい線形力学系 (SLDS) の定式化によるRNNの協調学習により,これらの制約を克服する新しいモデルを提案する。
論文 参考訳(メタデータ) (2021-11-01T20:49:30Z) - Interpretable Additive Recurrent Neural Networks For Multivariate
Clinical Time Series [4.125698836261585]
本稿では,モデル内の変数間の関係を加法的に強制することで,モデルの複雑性と精度のバランスをとるInterpretable-RNN(I-RNN)を提案する。
I-RNNは、時間内に不均一にサンプリングされ、非同期に取得され、データが欠落している臨床時系列の特徴を特に捉えている。
本研究は,院内死亡率予測のためのPhysoronet 2012 ChallengeデータセットのI-RNNモデルと,集中治療室における血行動態の介入を予測するリアルな臨床診断支援タスクについて評価する。
論文 参考訳(メタデータ) (2021-09-15T22:30:19Z) - Regularized Sequential Latent Variable Models with Adversarial Neural
Networks [33.74611654607262]
逐次データの変動をモデル化するために,RNN で高レベル潜時確率変数を使用する方法を提案する。
変動RNNモデルの学習に逆法を用いる可能性を探る。
論文 参考訳(メタデータ) (2021-08-10T08:05:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。