論文の概要: Message Propagation Through Time: An Algorithm for Sequence Dependency Retention in Time Series Modeling

• arxiv url: http://arxiv.org/abs/2309.16882v1
• Date: Thu, 28 Sep 2023 22:38:18 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-02 16:04:35.493923
• Title: Message Propagation Through Time: An Algorithm for Sequence Dependency Retention in Time Series Modeling
• Title（参考訳）: 時間によるメッセージ伝搬:時系列モデリングにおけるシーケンス依存保持アルゴリズム
• Authors: Shaoming Xu, Ankush Khandelwal, Arvind Renganathan, Vipin Kumar
• Abstract要約: 本稿では,時系列モデリングのためのMPTT(Message Propagation Through Time)アルゴリズムを提案する。 MPTTは、ステートフルなソリューションと比較して、より高速なトレーニング時間を保ちながら、長時間の時間的依存を取り入れている。 実験の結果,MPTTは4つの気候データセットにおいて7つの戦略より優れていた。
• 参考スコア（独自算出の注目度）: 14.49997340857179
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Time series modeling, a crucial area in science, often encounters challenges when training Machine Learning (ML) models like Recurrent Neural Networks (RNNs) using the conventional mini-batch training strategy that assumes independent and identically distributed (IID) samples and initializes RNNs with zero hidden states. The IID assumption ignores temporal dependencies among samples, resulting in poor performance. This paper proposes the Message Propagation Through Time (MPTT) algorithm to effectively incorporate long temporal dependencies while preserving faster training times relative to the stateful solutions. MPTT utilizes two memory modules to asynchronously manage initial hidden states for RNNs, fostering seamless information exchange between samples and allowing diverse mini-batches throughout epochs. MPTT further implements three policies to filter outdated and preserve essential information in the hidden states to generate informative initial hidden states for RNNs, facilitating robust training. Experimental results demonstrate that MPTT outperforms seven strategies on four climate datasets with varying levels of temporal dependencies.
• Abstract（参考訳）: 科学における重要な領域である時系列モデリングは、独立かつ同一分散(iid)サンプルを仮定し、隠れた状態を持つrnnを初期化する従来のミニバッチトレーニング戦略を使用して、recurrent neural networks(rnn)のような機械学習(ml)モデルをトレーニングする場合、しばしば課題に直面する。 iidの仮定はサンプル間の時間依存を無視し、結果としてパフォーマンスが低下する。 本稿では,メッセージ伝達時間(mptt)アルゴリズムを提案する。ステートフルな解に対する高速なトレーニング時間を保ちながら,時間的依存性を効果的に組み込む。 MPTTは2つのメモリモジュールを使用して、RNNの初期隠れ状態を非同期に管理し、サンプル間のシームレスな情報交換を促進し、エポックを通じて多様なミニバッチを可能にする。 さらにMPTTは、古い情報をフィルタリングし、隠れた状態に重要な情報を保存し、RNNに情報的な初期隠れ状態を生成するための3つのポリシーを実装している。 実験の結果,MPTTは時間依存性の異なる4つの気候データセットにおいて7つの戦略より優れていた。

関連論文リスト

• TCGPN: Temporal-Correlation Graph Pre-trained Network for Stock Forecasting [1.864621482724548]
  本稿では,これらの制約に対処するため,TCGPN(Temporal-Correlation Graph Pre-trained Network)と呼ばれる新しい手法を提案する。 TCGPNはテンポラル相関融合エンコーダを用いて,時間的および相関的な事前学習タスクを慎重に設計した混合表現と事前学習を行う。 CSI300とCSI500は、最小限の周期性を示す。
  論文  参考訳（メタデータ） (2024-07-26T05:27:26Z)
• State Sequences Prediction via Fourier Transform for Representation Learning [111.82376793413746]
  本研究では,表現表現を効率よく学習する新しい方法である,フーリエ変換(SPF)による状態列予測を提案する。 本研究では,状態系列における構造情報の存在を理論的に解析する。 実験により,提案手法はサンプル効率と性能の両面で,最先端のアルゴリズムよりも優れていることが示された。
  論文  参考訳（メタデータ） (2023-10-24T14:47:02Z)
• Fully-Connected Spatial-Temporal Graph for Multivariate Time-Series Data [50.84488941336865]
  完全時空間グラフニューラルネットワーク(FC-STGNN)という新しい手法を提案する。 グラフ構築のために、時間的距離に基づいて、すべてのタイムスタンプにセンサーを接続する減衰グラフを設計する。 グラフ畳み込みのために,移動プールGNN層を用いたFCグラフ畳み込みを考案し,ST依存性を効果的に把握し,効率的な表現を学習する。
  論文  参考訳（メタデータ） (2023-09-11T08:44:07Z)
• Time-Parameterized Convolutional Neural Networks for Irregularly Sampled Time Series [26.77596449192451]
  不規則にサンプリングされた時系列は、いくつかのアプリケーション領域でユビキタスであり、スパースであり、完全に観測されていない、非整合的な観察に繋がる。 標準シーケンシャルニューラルネットワーク(RNN)と畳み込みニューラルネットワーク(CNN)は、観測時間間の定期的な間隔を考慮し、不規則な時系列モデリングに重大な課題を提起する。 時間的に不規則なカーネルを用いて畳み込み層をパラメータ化する。
  論文  参考訳（メタデータ） (2023-08-06T21:10:30Z)
• STING: Self-attention based Time-series Imputation Networks using GAN [4.052758394413726]
  GANを用いたSING(Self-attention based Time-Series Imputation Networks)を提案する。 我々は、時系列の潜在表現を学習するために、生成的対向ネットワークと双方向リカレントニューラルネットワークを利用する。 3つの実世界のデータセットによる実験結果から、STINGは既存の最先端手法よりも計算精度が優れていることが示された。
  論文  参考訳（メタデータ） (2022-09-22T06:06:56Z)
• Large Scale Time-Series Representation Learning via Simultaneous Low and High Frequency Feature Bootstrapping [7.0064929761691745]
  本稿では,非コントラスト型自己教師型学習手法を提案する。 提案手法は生の時系列データを入力として、モデルの2つのブランチに対して2つの異なる拡張ビューを生成する。 モデルの堅牢性を実証するために,5つの実世界の時系列データセットに関する広範な実験とアブレーション研究を行った。
  論文  参考訳（メタデータ） (2022-04-24T14:39:47Z)
• Task-Synchronized Recurrent Neural Networks [0.0]
  リカレントニューラルネットワーク(RNN)は、伝統的に事実を無視し、時間差を追加入力として与えたり、データを再サンプリングしたりする。 我々は、データやタスクの時間と一致するように、RNNを効果的に再サンプリングするエレガントな代替手法を提案する。 我々は、我々のモデルがデータの時間的非均一性を効果的に補償できることを実証的に確認し、データ再サンプリングや古典的RNN手法、代替的なRNNモデルと比較することを実証した。
  論文  参考訳（メタデータ） (2022-04-11T15:27:40Z)
• Recurrence-in-Recurrence Networks for Video Deblurring [58.49075799159015]
  最先端のビデオデブロアリング法は、しばしばフレーム間の時間的依存性をモデル化するために、リカレントニューラルネットワークを採用する。 本稿では,短距離メモリの限界に対処する再帰型ネットワークアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2022-03-12T11:58:13Z)
• Online learning of windmill time series using Long Short-term Cognitive Networks [58.675240242609064]
  風車農場で生成されたデータの量は、オンライン学習が従うべき最も有効な戦略となっている。 我々はLong Short-term Cognitive Networks (LSTCNs) を用いて、オンライン環境での風車時系列を予測する。 提案手法は,単純なRNN,長期記憶,Gated Recurrent Unit,Hidden Markov Modelに対して最も低い予測誤差を報告した。
  論文  参考訳（メタデータ） (2021-07-01T13:13:24Z)
• PredRNN: A Recurrent Neural Network for Spatiotemporal Predictive Learning [109.84770951839289]
  歴史的文脈からビジュアルダイナミクスを学習するための新しいリカレントネットワークであるPredRNNを紹介する。 本手法は,3つの標準データセット上で高い競争結果が得られることを示す。
  論文  参考訳（メタデータ） (2021-03-17T08:28:30Z)
• Connecting the Dots: Multivariate Time Series Forecasting with Graph Neural Networks [91.65637773358347]
  多変量時系列データに特化して設計された汎用グラフニューラルネットワークフレームワークを提案する。 グラフ学習モジュールを用いて,変数間の一方向関係を自動的に抽出する。 提案手法は,4つのベンチマークデータセットのうち3つにおいて,最先端のベースライン手法よりも優れている。
  論文  参考訳（メタデータ） (2020-05-24T04:02:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。