論文の概要: Time-Transformer: Integrating Local and Global Features for Better Time Series Generation

• arxiv url: http://arxiv.org/abs/2312.11714v2
• Date: Mon, 8 Jan 2024 23:21:31 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-10 19:11:17.387470
• Title: Time-Transformer: Integrating Local and Global Features for Better Time Series Generation
• Title（参考訳）: Time-Transformer: ローカルおよびグローバル機能の統合による時系列生成の改善
• Authors: Yuansan Liu, Sudanthi Wijewickrema, Ang Li, Christofer Bester, Stephen O'Leary, James Bailey
• Abstract要約: 我々は,新しい時系列生成モデル「Time-Transformer AAE」を提案する。 我々のモデルは6つのデータセットのうち5つで既存の最先端モデルより優れている。 私たちは、小さなデータセットで学習をサポートするデータ拡張という、実世界の問題に対処するモデルの能力を示します。
• 参考スコア（独自算出の注目度）: 14.492477054797892
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Generating time series data is a promising approach to address data deficiency problems. However, it is also challenging due to the complex temporal properties of time series data, including local correlations as well as global dependencies. Most existing generative models have failed to effectively learn both the local and global properties of time series data. To address this open problem, we propose a novel time series generative model named 'Time-Transformer AAE', which consists of an adversarial autoencoder (AAE) and a newly designed architecture named 'Time-Transformer' within the decoder. The Time-Transformer first simultaneously learns local and global features in a layer-wise parallel design, combining the abilities of Temporal Convolutional Networks and Transformer in extracting local features and global dependencies respectively. Second, a bidirectional cross attention is proposed to provide complementary guidance across the two branches and achieve proper fusion between local and global features. Experimental results demonstrate that our model can outperform existing state-of-the-art models in 5 out of 6 datasets, specifically on those with data containing both global and local properties. Furthermore, we highlight our model's advantage on handling this kind of data via an artificial dataset. Finally, we show our model's ability to address a real-world problem: data augmentation to support learning with small datasets and imbalanced datasets.
• Abstract（参考訳）: 時系列データの生成は、データ不足問題に対処するための有望なアプローチである。 しかし、局所的相関やグローバルな依存関係を含む時系列データの複雑な時間的特性のため、これは困難である。 既存の生成モデルは、時系列データの局所的特性と大域的特性の両方を効果的に学べなかった。 この問題に対処するため, 対向オートエンコーダ (AAE) とデコーダ内に新たに設計されたアーキテクチャ "Time-Transformer" から構成される新しい時系列生成モデル「Time-Transformer AAE」を提案する。 Time-Transformerは、まず、時間的畳み込みネットワークとTransformerがそれぞれローカル特徴とグローバル依存関係を抽出する能力を組み合わせて、レイヤワイド並列設計でローカル特徴とグローバル特徴を同時に学習する。 第2に,両枝間の補完的ガイダンスを提供し,局所的特徴とグローバル特徴の適切な融合を実現するために,双方向のクロス・アテンションを提案する。 実験の結果,本モデルは6つのデータセットのうち5つ,特にグローバルプロパティとローカルプロパティの両方を含むデータに対して,既存の最先端モデルよりも優れることがわかった。 さらに,このモデルのアドバンテージとして,人工データセットによるデータ処理を強調する。 最後に、小さなデータセットと不均衡なデータセットによる学習をサポートするデータ拡張という、現実的な問題に対処するモデルの能力を示す。

関連論文リスト

• Leveraging 2D Information for Long-term Time Series Forecasting with Vanilla Transformers [55.475142494272724]
  時系列予測は、様々な領域における複雑な力学の理解と予測に不可欠である。 GridTSTは、革新的な多方向性の注意を用いた2つのアプローチの利点を組み合わせたモデルである。 このモデルは、さまざまな現実世界のデータセットに対して、常に最先端のパフォーマンスを提供する。
  論文  参考訳（メタデータ） (2024-05-22T16:41:21Z)
• Context Neural Networks: A Scalable Multivariate Model for Time Series Forecasting [5.5711773076846365]
  実世界の時系列は、しばしば孤立して取得できない複雑な相互依存性を示す。 本稿では,時系列モデルに関連性のある文脈洞察を付加する,効率的な線形複雑化手法であるContext Neural Networkを紹介する。
  論文  参考訳（メタデータ） (2024-05-12T00:21:57Z)
• Fake It Till Make It: Federated Learning with Consensus-Oriented Generation [52.82176415223988]
  コンセンサス指向生成による連合学習(FedCOG)を提案する。 FedCOGは、補完的なデータ生成と知識蒸留に基づくモデルトレーニングという、クライアント側の2つの重要なコンポーネントで構成されています。 古典的および実世界のFLデータセットの実験は、FedCOGが一貫して最先端の手法より優れていることを示している。
  論文  参考訳（メタデータ） (2023-12-10T18:49:59Z)
• Global-to-Local Modeling for Video-based 3D Human Pose and Shape Estimation [53.04781510348416]
  フレーム内精度とフレーム間スムーズさにより,映像に基づく3次元人間のポーズと形状推定を評価する。 エンドツーエンドフレームワークGLoT(Global-to-Local Transformer)における長期的・短期的相関のモデル化を構造的に分離することを提案する。 我々のGLoTは、一般的なベンチマーク(3DPW、MPI-INF-3DHP、Human3.6M)において、最も低いモデルパラメータを持つ従来の最先端の手法を上回る。
  論文  参考訳（メタデータ） (2023-03-26T14:57:49Z)
• Towards Understanding and Mitigating Dimensional Collapse in Heterogeneous Federated Learning [112.69497636932955]
  フェデレートラーニングは、プライバシを考慮したデータ共有を必要とせずに、さまざまなクライアントでモデルをトレーニングすることを目的としている。 本研究では,データの不均一性がグローバル集約モデルの表現に与える影響について検討する。 フェデレーション学習における次元的崩壊を効果的に緩和する新しい手法である sc FedDecorr を提案する。
  論文  参考訳（メタデータ） (2022-10-01T09:04:17Z)
• Decoupling Local and Global Representations of Time Series [38.73548222141307]
  本稿では,時系列における大域的・局所的な変動要因の表現を学習するための新しい生成手法を提案する。 実験では,シミュレーションデータ上での真の局所的および大域的変動係数の回復を実証した。 表現を定義する方法の提案は、データモデリングに有用であり、実世界のデータの複雑さに関するより良い洞察をもたらすと信じています。
  論文  参考訳（メタデータ） (2022-02-04T17:46:04Z)
• Towards Generating Real-World Time Series Data [52.51620668470388]
  時系列データ生成のための新しい生成フレームワーク - RTSGANを提案する。 RTSGANは、時系列インスタンスと固定次元潜在ベクトルの間のマッピングを提供するエンコーダデコーダモジュールを学習する。 不足した値の時系列を生成するために、RTSGANに観測埋め込み層と決定・生成デコーダを更に装備する。
  論文  参考訳（メタデータ） (2021-11-16T11:31:37Z)
• Learning from Multiple Time Series: A Deep Disentangled Approach to Diversified Time Series Forecasting [7.568140878859946]
  DeepDGLは、ダイナミクスをグローバルな時間的パターンとローカルな時間的パターンに分離する、深い予測モデルである。 実世界のいくつかのデータセットに対する我々の実験は、DeepDGLが既存の最先端モデルより優れていることを示している。
  論文  参考訳（メタデータ） (2021-11-09T03:52:24Z)
• PIETS: Parallelised Irregularity Encoders for Forecasting with Heterogeneous Time-Series [5.911865723926626]
  マルチソースデータセットの不均一性と不規則性は時系列解析において重要な課題となる。 本研究では、異種時系列をモデル化するための新しいアーキテクチャ、PIETSを設計する。 PIETSは異種時間データを効果的にモデル化し、予測タスクにおける他の最先端手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-09-30T20:01:19Z)
• Think Locally, Act Globally: Federated Learning with Local and Global Representations [92.68484710504666]
  フェデレートラーニング(Federated Learning)とは、複数のデバイスに分散したプライベートデータ上でモデルをトレーニングする手法である。 本稿では,各デバイス上でコンパクトな局所表現を共同で学習する新しいフェデレーション学習アルゴリズムを提案する。 また、プライバシが鍵となる実世界のモバイルデータから、パーソナライズされた気分予測のタスクを評価する。
  論文  参考訳（メタデータ） (2020-01-06T12:40:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。