Fugu-MT 論文翻訳(概要): TCCT: Tightly-Coupled Convolutional Transformer on Time Series Forecasting

論文の概要: TCCT: Tightly-Coupled Convolutional Transformer on Time Series Forecasting

arxiv url: http://arxiv.org/abs/2108.12784v1
Date: Sun, 29 Aug 2021 08:49:31 GMT
ステータス: 処理完了
システム内更新日: 2021-09-01 04:42:40.769073
Title: TCCT: Tightly-Coupled Convolutional Transformer on Time Series Forecasting
Title（参考訳）: TCCT:Tightly Coupled Convolutional Transformer on Time Series Forecasting
Authors: Li Shen and Yangzhu Wang
Abstract要約: 本稿では, 密結合型畳み込み変換器(TCCT)と3つのTCCTアーキテクチャを提案する。実世界のデータセットに対する我々の実験は、我々のTCCTアーキテクチャが既存の最先端トランスフォーマーモデルの性能を大幅に改善できることを示している。
参考スコア（独自算出の注目度）: 6.393659160890665
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Time series forecasting is essential for a wide range of real-world applications. Recent studies have shown the superiority of Transformer in dealing with such problems, especially long sequence time series input(LSTI) and long sequence time series forecasting(LSTF) problems. To improve the efficiency and enhance the locality of Transformer, these studies combine Transformer with CNN in varying degrees. However, their combinations are loosely-coupled and do not make full use of CNN. To address this issue, we propose the concept of tightly-coupled convolutional Transformer(TCCT) and three TCCT architectures which apply transformed CNN architectures into Transformer: (1) CSPAttention: through fusing CSPNet with self-attention mechanism, the computation cost of self-attention mechanism is reduced by 30% and the memory usage is reduced by 50% while achieving equivalent or beyond prediction accuracy. (2) Dilated causal convolution: this method is to modify the distilling operation proposed by Informer through replacing canonical convolutional layers with dilated causal convolutional layers to gain exponentially receptive field growth. (3) Passthrough mechanism: the application of passthrough mechanism to stack of self-attention blocks helps Transformer-like models get more fine-grained information with negligible extra computation costs. Our experiments on real-world datasets show that our TCCT architectures could greatly improve the performance of existing state-of-art Transformer models on time series forecasting with much lower computation and memory costs, including canonical Transformer, LogTrans and Informer.
Abstract（参考訳）: 時系列予測は現実世界の幅広いアプリケーションにとって不可欠である。近年の研究では、このような問題、特にlsti(long sequence time series input)やlstf(long sequence time series forecasting)問題に対するトランスフォーマーの優位性が示されている。トランスフォーマーの効率向上と局所性向上のために,トランスフォーマーとCNNを多変量で組み合わせた研究を行った。しかし、それらの組み合わせは疎結合であり、CNNを完全に利用していない。 1) cspattention: cspnetと自己接続機構を融合させることにより、自己接続機構の計算コストを30%削減し、メモリ使用量を50%削減し、同等またはそれ以上の予測精度を達成する。 2) 拡張因果共進化(Dilated causal convolution): Informer が提案する蒸留操作を,拡張因果共進化層に置き換えて,指数関数的に受容的な磁場成長を得る。 3)パススルー機構:自己付着ブロックのスタックへのパススルー機構の適用は、トランスフォーマーのようなモデルが余分な計算コストでより細かい情報を得るのに役立つ。実世界のデータセットに関する実験により、我々のtcctアーキテクチャは、従来の最先端トランスフォーマモデルの性能を大幅に向上し、計算コストとメモリコストを大幅に削減できることを示した。

関連論文リスト

PRformer: Pyramidal Recurrent Transformer for Multivariate Time Series Forecasting [82.03373838627606]
Transformerアーキテクチャにおける自己保持機構は、時系列予測において時間順序を符号化するために位置埋め込みを必要とする。この位置埋め込みへの依存は、トランスフォーマーの時間的シーケンスを効果的に表現する能力を制限している、と我々は主張する。本稿では,Prepreを標準的なTransformerエンコーダと統合し,様々な実世界のデータセット上での最先端性能を示す。
論文参考訳（メタデータ） (2024-08-20T01:56:07Z)
PointMT: Efficient Point Cloud Analysis with Hybrid MLP-Transformer Architecture [46.266960248570086]
本研究は,効率的な特徴集約のための複雑局所的注意機構を導入することで,自己注意機構の二次的複雑さに取り組む。また,各チャネルの注目重量分布を適応的に調整するパラメータフリーチャネル温度適応機構を導入する。我々は,PointMTが性能と精度の最適なバランスを維持しつつ,最先端手法に匹敵する性能を実現することを示す。
論文参考訳（メタデータ） (2024-08-10T10:16:03Z)
CARD: Channel Aligned Robust Blend Transformer for Time Series Forecasting [50.23240107430597]
本稿では,CARD(Channel Aligned Robust Blend Transformer)という特殊なトランスを設計する。まず、CARDはチャネルに沿ったアテンション構造を導入し、信号間の時間的相関をキャプチャする。第二に、マルチスケール知識を効率的に活用するために、異なる解像度のトークンを生成するトークンブレンドモジュールを設計する。第3に,潜在的な過度な問題を軽減するため,時系列予測のためのロバストな損失関数を導入する。
論文参考訳（メタデータ） (2023-05-20T05:16:31Z)
Full Stack Optimization of Transformer Inference: a Survey [58.55475772110702]
トランスフォーマーモデルは広範囲のアプリケーションにまたがって優れた精度を実現する。最近のTransformerモデルの推測に必要な計算量と帯域幅は、かなり増加しています。 Transformerモデルをより効率的にすることに注力している。
論文参考訳（メタデータ） (2023-02-27T18:18:13Z)
FormerTime: Hierarchical Multi-Scale Representations for Multivariate Time Series Classification [53.55504611255664]
formerTimeは、多変量時系列分類タスクの分類能力を改善する階層的表現モデルである。 1)時系列データから階層的なマルチスケール表現を学習し、(2)トランスフォーマーと畳み込みネットワークの強さを継承し、(3)自己維持メカニズムによって引き起こされる効率の課題に取り組む。
論文参考訳（メタデータ） (2023-02-20T07:46:14Z)
Towards Long-Term Time-Series Forecasting: Feature, Pattern, and Distribution [57.71199089609161]
長期的時系列予測(LTTF)は、風力発電計画など、多くのアプリケーションで需要が高まっている。トランスフォーマーモデルは、高い計算自己認識機構のため、高い予測能力を提供するために採用されている。 LTTFの既存の手法を3つの面で区別する,Conformer という,効率的なTransformer ベースモデルを提案する。
論文参考訳（メタデータ） (2023-01-05T13:59:29Z)
Infomaxformer: Maximum Entropy Transformer for Long Time-Series Forecasting Problem [6.497816402045097]
Transformerアーキテクチャは、自然言語処理(NLP)やコンピュータビジョン(CV)といった多くのタスクにおいて、最先端の結果をもたらす。しかし、この高度な能力により、二次的な時間複雑性と高いメモリ使用量により、Transformerは長い時系列予測問題に対処できなくなる。本稿では,エンコーダ・デコーダアーキテクチャと季節差分解を併用して,より特定の季節差部分を取得する手法を提案する。
論文参考訳（メタデータ） (2023-01-04T14:08:21Z)
Transformers Solve the Limited Receptive Field for Monocular Depth Prediction [82.90445525977904]
畳み込みニューラルネットワークとトランスの両方の恩恵を受けるアーキテクチャであるTransDepthを提案します。連続ラベルを含む画素単位での予測問題にトランスフォーマーを適用する最初の論文である。
論文参考訳（メタデータ） (2021-03-22T18:00:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。