論文の概要: Infomaxformer: Maximum Entropy Transformer for Long Time-Series Forecasting Problem

• arxiv url: http://arxiv.org/abs/2301.01772v1
• Date: Wed, 4 Jan 2023 14:08:21 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-06 14:28:33.128350
• Title: Infomaxformer: Maximum Entropy Transformer for Long Time-Series Forecasting Problem
• Title（参考訳）: infomaxformer: 時系列予測問題に対する最大エントロピー変換器
• Authors: Peiwang Tang and Xianchao Zhang
• Abstract要約: Transformerアーキテクチャは、自然言語処理(NLP)やコンピュータビジョン(CV)といった多くのタスクにおいて、最先端の結果をもたらす。 しかし、この高度な能力により、二次的な時間複雑性と高いメモリ使用量により、Transformerは長い時系列予測問題に対処できなくなる。 本稿では,エンコーダ・デコーダアーキテクチャと季節差分解を併用して,より特定の季節差部分を取得する手法を提案する。
• 参考スコア（独自算出の注目度）: 6.497816402045097
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The Transformer architecture yields state-of-the-art results in many tasks such as natural language processing (NLP) and computer vision (CV), since the ability to efficiently capture the precise long-range dependency coupling between input sequences. With this advanced capability, however, the quadratic time complexity and high memory usage prevents the Transformer from dealing with long time-series forecasting problem (LTFP). To address these difficulties: (i) we revisit the learned attention patterns of the vanilla self-attention, redesigned the calculation method of self-attention based the Maximum Entropy Principle. (ii) we propose a new method to sparse the self-attention, which can prevent the loss of more important self-attention scores due to random sampling.(iii) We propose Keys/Values Distilling method motivated that a large amount of feature in the original self-attention map is redundant, which can further reduce the time and spatial complexity and make it possible to input longer time-series. Finally, we propose a method that combines the encoder-decoder architecture with seasonal-trend decomposition, i.e., using the encoder-decoder architecture to capture more specific seasonal parts. A large number of experiments on several large-scale datasets show that our Infomaxformer is obviously superior to the existing methods. We expect this to open up a new solution for Transformer to solve LTFP, and exploring the ability of the Transformer architecture to capture much longer temporal dependencies.
• Abstract（参考訳）: Transformerアーキテクチャは、入力シーケンス間の正確な長距離結合を効率的にキャプチャできるため、自然言語処理(NLP)やコンピュータビジョン(CV)といった多くのタスクにおいて最先端の結果をもたらす。 しかし、この高度な能力により、二次的な時間複雑性と高いメモリ使用量により、Transformerは長い時系列予測問題(LTFP)に対処できなくなる。 これらの困難に対処するために: (i)バニラセルフアテンションの学習した注意パターンを再検討し,最大エントロピー原理に基づく自己アテンションの計算法を再設計した。 (II) ランダムサンプリングによるより重要な自己意識スコアの喪失を防止するため, 自己意識を分離する新しい手法を提案する。 (iii)元来の自己照準図の大量の特徴が冗長であることに動機づけられたキー・値蒸留法を提案し,時間と空間の複雑さをさらに低減し,長い時系列入力を可能にする。 最後に,エンコーダ-デコーダアーキテクチャと季節分解,すなわちエンコーダ-デコーダアーキテクチャを組み合わせることで,より特定の季節的な部分を取り込む手法を提案する。 いくつかの大規模データセットに対する多数の実験は、Infomaxformerが既存の方法よりも明らかに優れていることを示している。 我々は、TransformerがLTFPを解決するための新しいソリューションを公開し、Transformerアーキテクチャがはるかに長い時間的依存関係をキャプチャする能力を探ることを期待している。

関連論文リスト

• Rough Transformers: Lightweight Continuous-Time Sequence Modelling with Path Signatures [46.58170057001437]
  本稿では,入力シーケンスの連続時間表現で動作するトランスフォーマーモデルのバリエーションであるRough Transformerを紹介する。 様々な時系列関連タスクにおいて、Rough Transformersはベニラアテンションよりも常に優れています。
  論文  参考訳（メタデータ） (2024-05-31T14:00:44Z)
• Diagnostic Spatio-temporal Transformer with Faithful Encoding [54.02712048973161]
  本稿では,データ生成プロセスが複合時間(ST)依存性を持つ場合の異常診断の課題について述べる。 我々は、ST依存を時系列分類の副産物として学習する、教師付き依存発見として問題を定式化する。 既存のST変圧器で使用される時間的位置符号化は、高周波数(短時間スケール)の周波数をキャプチャする重大な制限を有することを示す。 また、空間的および時間的方向の両方で容易に消費可能な診断情報を提供する新しいST依存性発見フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-05-26T05:31:23Z)
• CARD: Channel Aligned Robust Blend Transformer for Time Series Forecasting [50.23240107430597]
  本稿では,CARD(Channel Aligned Robust Blend Transformer)という特殊なトランスを設計する。 まず、CARDはチャネルに沿ったアテンション構造を導入し、信号間の時間的相関をキャプチャする。 第二に、マルチスケール知識を効率的に活用するために、異なる解像度のトークンを生成するトークンブレンドモジュールを設計する。 第3に,潜在的な過度な問題を軽減するため,時系列予測のためのロバストな損失関数を導入する。
  論文  参考訳（メタデータ） (2023-05-20T05:16:31Z)
• FormerTime: Hierarchical Multi-Scale Representations for Multivariate Time Series Classification [53.55504611255664]
  formerTimeは、多変量時系列分類タスクの分類能力を改善する階層的表現モデルである。 1)時系列データから階層的なマルチスケール表現を学習し、(2)トランスフォーマーと畳み込みネットワークの強さを継承し、(3)自己維持メカニズムによって引き起こされる効率の課題に取り組む。
  論文  参考訳（メタデータ） (2023-02-20T07:46:14Z)
• Towards Long-Term Time-Series Forecasting: Feature, Pattern, and Distribution [57.71199089609161]
  長期的時系列予測(LTTF)は、風力発電計画など、多くのアプリケーションで需要が高まっている。 トランスフォーマーモデルは、高い計算自己認識機構のため、高い予測能力を提供するために採用されている。 LTTFの既存の手法を3つの面で区別する,Conformer という,効率的なTransformer ベースモデルを提案する。
  論文  参考訳（メタデータ） (2023-01-05T13:59:29Z)
• ChunkFormer: Learning Long Time Series with Multi-stage Chunked Transformer [0.0]
  オリジナルトランスフォーマーベースのモデルは、シーケンスに沿ったグローバル情報を検出するためのアテンションメカニズムを採用している。 ChunkFormerは、長いシーケンスを注意計算のために小さなシーケンスチャンクに分割する。 このようにして、提案モデルは、入力シーケンスの総長を変更することなく、局所情報と大域情報の両方を徐々に学習する。
  論文  参考訳（メタデータ） (2021-12-30T15:06:32Z)
• TCCT: Tightly-Coupled Convolutional Transformer on Time Series Forecasting [6.393659160890665]
  本稿では, 密結合型畳み込み変換器(TCCT)と3つのTCCTアーキテクチャを提案する。 実世界のデータセットに対する我々の実験は、我々のTCCTアーキテクチャが既存の最先端トランスフォーマーモデルの性能を大幅に改善できることを示している。
  論文  参考訳（メタデータ） (2021-08-29T08:49:31Z)
• Stable, Fast and Accurate: Kernelized Attention with Relative Positional Encoding [63.539333383965726]
  相対的位置符号化(RPE)を用いた変換器の注意計算を高速化する新しい手法を提案する。 相対的な位置符号化がToeplitz行列を形成するという観測に基づいて、Fast Fourier Transform (FFT) を用いて、RPEによるカーネル化された注意を効率的に計算できることを数学的に示す。
  論文  参考訳（メタデータ） (2021-06-23T17:51:26Z)
• Informer: Beyond Efficient Transformer for Long Sequence Time-Series Forecasting [25.417560221400347]
  長周期時系列予測(LSTF)は高い予測能力を必要とする。 最近の研究は、予測能力を高めるトランスフォーマーの可能性を示しています。 我々は3つの特徴を有するlstf用効率的なトランスフォーマーモデル,informerを設計した。
  論文  参考訳（メタデータ） (2020-12-14T11:43:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。