論文の概要: Hyper Attention Recurrent Neural Network: Tackling Temporal Covariate Shift in Time Series Analysis

• arxiv url: http://arxiv.org/abs/2202.10808v1
• Date: Tue, 22 Feb 2022 10:58:26 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-23 22:00:48.672394
• Title: Hyper Attention Recurrent Neural Network: Tackling Temporal Covariate Shift in Time Series Analysis
• Title（参考訳）: ハイパーアテンションリカレントニューラルネットワーク:時系列解析における時間的共変量シフトに対処する
• Authors: Wenying Duan, Xiaoxi He, Lu Zhou, Zimu Zhou, Lothar Thiele and Hong Rao
• Abstract要約: 非定常時系列では、異なるセグメント間での分布シフトがしばしば存在する。 グローバル情報がないため、RNNはこれらのセグメントの適合バイアスのジレンマに簡単に潜入できる。 マイクロ情報とマクロ情報の両方を含む時間パターンをモデル化するためのハイパーアテンションリカレントニューラルネットワーク(HARNN)を提案する。
• 参考スコア（独自算出の注目度）: 18.164097348714265
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Analyzing long time series with RNNs often suffers from infeasible training. Segmentation is therefore commonly used in data pre-processing. However, in non-stationary time series, there exists often distribution shift among different segments. RNN is easily swamped in the dilemma of fitting bias in these segments due to the lack of global information, leading to poor generalization, known as Temporal Covariate Shift (TCS) problem, which is only addressed by a recently proposed RNN-based model. One of the assumptions in TCS is that the distribution of all divided intervals under the same segment are identical. This assumption, however, may not be true on high-frequency time series, such as traffic flow, that also have large stochasticity. Besides, macro information across long periods isn't adequately considered in the latest RNN-based methods. To address the above issues, we propose Hyper Attention Recurrent Neural Network (HARNN) for the modeling of temporal patterns containing both micro and macro information. An HARNN consists of a meta layer for parameter generation and an attention-enabled main layer for inference. High-frequency segments are transformed into low-frequency segments and fed into the meta layers, while the first main layer consumes the same high-frequency segments as conventional methods. In this way, each low-frequency segment in the meta inputs generates a unique main layer, enabling the integration of both macro information and micro information for inference. This forces all main layers to predict the same target which fully harnesses the common knowledge in varied distributions when capturing temporal patterns. Evaluations on multiple benchmarks demonstrated that our model outperforms a couple of RNN-based methods on a federation of key metrics.
• Abstract（参考訳）: RNNとの長いシリーズの分析は、しばしば不可能な訓練に悩まされる。 したがって、セグメンテーションはデータ前処理で一般的に使用される。 しかし、非定常時系列では、しばしば異なるセグメント間で分布シフトが存在する。 RNNは、グローバルな情報の欠如により、これらのセグメントの適合バイアスのジレンマに陥りやすくなり、最近提案されたRNNベースのモデルによってのみ対処される、Temporal Covariate Shift (TCS) 問題と呼ばれる一般化の低さにつながる。 TCSにおける仮定の1つは、同じセグメントの下でのすべての分割区間の分布が同一であるということである。 しかし、この仮定は、大きな確率性を持つ交通流のような高周波時系列では当てはまらないかもしれない。 さらに、最新のRNNベースの手法では、長期にわたってマクロ情報が適切に考慮されていない。 以上の課題に対処するため,マイクロ情報とマクロ情報の両方を含む時間パターンをモデル化するためのハイパーアテンション・リカレントニューラルネットワーク(HARNN)を提案する。 HARNNは、パラメータ生成のためのメタ層と、推論のための注目可能なメイン層から構成される。 高周波セグメントは低周波セグメントに変換され、メタ層に供給され、第1のメイン層は従来の方法と同じ高周波セグメントを消費する。 このようにして、メタ入力の各低周波セグメントは独自の主層を生成し、マクロ情報とマイクロ情報の両方を統合することができる。 これにより、すべての主要層は、時間的パターンを捉える際に、異なる分布の共通知識を十分に活用する同じターゲットを予測せざるを得なくなる。 複数のベンチマークで評価したところ、我々のモデルはキーメトリクスのフェデレーションにおいていくつかのRNNベースの手法よりも優れていた。

関連論文リスト

• General Time-series Model for Universal Knowledge Representation of Multivariate Time-Series data [61.163542597764796]
  周波数領域で異なる時間粒度(または対応する周波数分解能)の時系列が異なる結合分布を示すことを示す。 時間領域と周波数領域の両方からタイムアウェア表現を学習するために,新しいFourierナレッジアテンション機構を提案する。 自己回帰的空白埋め込み事前学習フレームワークを時系列解析に初めて組み込み、生成タスクに依存しない事前学習戦略を実現する。
  論文  参考訳（メタデータ） (2025-02-05T15:20:04Z)
• Graph Mixture of Experts and Memory-augmented Routers for Multivariate Time Series Anomaly Detection [28.57277614615255]
  本稿では,多変量時系列異常検出のためのGraph Mixture of Experts (Graph-MoE)ネットワークを提案する。 我々のGraph-MoEは、プラグイン・アンド・プレイ方式で任意のGNNベースのMSS異常検出手法に統合できる。 さらに,MTSのグローバルな歴史的特徴から時間的相関情報を捉えるために,メモリ拡張ルータを提案する。
  論文  参考訳（メタデータ） (2024-12-26T07:49:51Z)
• WaveGNN: Modeling Irregular Multivariate Time Series for Accurate Predictions [3.489870763747715]
  実世界の時系列は、しばしば不整合タイムスタンプ、欠落したエントリ、可変サンプリングレートなどの不規則性を示す。 既存のアプローチは、しばしばバイアスを生じさせる計算に頼っている。 本稿では,不規則にサンプリングされた時系列データを埋め込んで正確な予測を行う新しいフレームワークWaveGNNを提案する。
  論文  参考訳（メタデータ） (2024-12-14T00:03:44Z)
• PeFAD: A Parameter-Efficient Federated Framework for Time Series Anomaly Detection [51.20479454379662]
  私たちはaを提案します。 フェデレートされた異常検出フレームワークであるPeFADは、プライバシーの懸念が高まっている。 我々は、4つの実際のデータセットに対して広範な評価を行い、PeFADは既存の最先端ベースラインを最大28.74%上回っている。
  論文  参考訳（メタデータ） (2024-06-04T13:51:08Z)
• Concrete Dense Network for Long-Sequence Time Series Clustering [4.307648859471193]
  時系列クラスタリングは、時間的パターンを発見するためのデータ分析において基本である。 深部時間クラスタリング手法は、ニューラルネットワークのエンドツーエンドトレーニングに標準k平均を組み込もうとしている。 LoSTerは、時系列クラスタリング問題に対する新しい密集型オートエンコーダアーキテクチャである。
  論文  参考訳（メタデータ） (2024-05-08T12:31:35Z)
• Time-Parameterized Convolutional Neural Networks for Irregularly Sampled Time Series [26.77596449192451]
  不規則にサンプリングされた時系列は、いくつかのアプリケーション領域でユビキタスであり、スパースであり、完全に観測されていない、非整合的な観察に繋がる。 標準シーケンシャルニューラルネットワーク(RNN)と畳み込みニューラルネットワーク(CNN)は、観測時間間の定期的な間隔を考慮し、不規則な時系列モデリングに重大な課題を提起する。 時間的に不規則なカーネルを用いて畳み込み層をパラメータ化する。
  論文  参考訳（メタデータ） (2023-08-06T21:10:30Z)
• How neural networks learn to classify chaotic time series [77.34726150561087]
  本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。 入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
  論文  参考訳（メタデータ） (2023-06-04T08:53:27Z)
• Vector Quantized Time Series Generation with a Bidirectional Prior Model [0.3867363075280544]
  時系列生成(TSG)の研究は、主にGAN(Generative Adversarial Networks)とリカレントニューラルネットワーク(RNN)の亜種の使用に焦点を当てている。 本稿では,ベクトル量子化(VQ)技術を用いてTSG問題に対処するTimeVQVAEを提案する。 また、低周波(LF)と高周波(HF)に分かれた時間周波数領域におけるVQモデリングを提案する。
  論文  参考訳（メタデータ） (2023-03-08T17:27:39Z)
• Self-Ensembling GAN for Cross-Domain Semantic Segmentation [107.27377745720243]
  本稿では,セマンティックセグメンテーションのためのクロスドメインデータを利用した自己理解型生成逆数ネットワーク(SE-GAN)を提案する。 SE-GANでは、教師ネットワークと学生ネットワークは、意味分節マップを生成するための自己組織化モデルを構成する。 その単純さにもかかわらず、SE-GANは敵の訓練性能を大幅に向上させ、モデルの安定性を高めることができる。
  論文  参考訳（メタデータ） (2021-12-15T09:50:25Z)
• Redundant representations help generalization in wide neural networks [71.38860635025907]
  様々な最先端の畳み込みニューラルネットワークの最後に隠された層表現について検討する。 最後に隠された表現が十分に広ければ、そのニューロンは同一の情報を持つグループに分裂し、統計的に独立したノイズによってのみ異なる傾向にある。
  論文  参考訳（メタデータ） (2021-06-07T10:18:54Z)
• TadGAN: Time Series Anomaly Detection Using Generative Adversarial Networks [73.01104041298031]
  TadGANは、GAN(Generative Adversarial Networks)上に構築された教師なしの異常検出手法である。 時系列の時間相関を捉えるために,ジェネレータと批評家のベースモデルとしてLSTMリカレントニューラルネットワークを用いる。 提案手法の性能と一般化性を示すため,いくつかの異常スコアリング手法を検証し,最も適した手法を報告する。
  論文  参考訳（メタデータ） (2020-09-16T15:52:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。