論文の概要: InjectTST: A Transformer Method of Injecting Global Information into
Independent Channels for Long Time Series Forecasting
- arxiv url: http://arxiv.org/abs/2403.02814v1
- Date: Tue, 5 Mar 2024 09:33:36 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-06 15:18:36.729645
- Title: InjectTST: A Transformer Method of Injecting Global Information into
Independent Channels for Long Time Series Forecasting
- Title(参考訳): InjectTST:長期連続予測のためのグローバル情報を独立チャネルにインジェクトするトランスフォーマ手法
- Authors: Ce Chi, Xing Wang, Kexin Yang, Zhiyan Song, Di Jin, Lin Zhu, Chao
Deng, Junlan Feng
- Abstract要約: 本稿では,チャネルに依存しないトランスフォーマーInjectTSTへのグローバル情報注入手法を提案する。
実験の結果,InjectTSTは最先端モデルと比較して安定的に改善できることがわかった。
- 参考スコア(独自算出の注目度): 28.138548907887667
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Transformer has become one of the most popular architectures for multivariate
time series (MTS) forecasting. Recent Transformer-based MTS models generally
prefer channel-independent structures with the observation that channel
independence can alleviate noise and distribution drift issues, leading to more
robustness. Nevertheless, it is essential to note that channel dependency
remains an inherent characteristic of MTS, carrying valuable information.
Designing a model that incorporates merits of both channel-independent and
channel-mixing structures is a key to further improvement of MTS forecasting,
which poses a challenging conundrum. To address the problem, an injection
method for global information into channel-independent Transformer, InjectTST,
is proposed in this paper. Instead of designing a channel-mixing model
directly, we retain the channel-independent backbone and gradually inject
global information into individual channels in a selective way. A channel
identifier, a global mixing module and a self-contextual attention module are
devised in InjectTST. The channel identifier can help Transformer distinguish
channels for better representation. The global mixing module produces
cross-channel global information. Through the self-contextual attention module,
the independent channels can selectively concentrate on useful global
information without robustness degradation, and channel mixing is achieved
implicitly. Experiments indicate that InjectTST can achieve stable improvement
compared with state-of-the-art models.
- Abstract(参考訳): Transformerはマルチ変数時系列(MTS)予測の最も一般的なアーキテクチャの1つである。
近年のTransformerベースのMTSモデルでは、チャネル独立性によってノイズや分布のドリフトが軽減され、より堅牢性が向上する。
それでも、チャネル依存性がMSS固有の特性であり、貴重な情報を持っていることに留意する必要がある。
チャネル非依存構造とチャネル混合構造の両方のメリットを組み込んだモデルを設計することは、mts予測をさらに改善する上で鍵となる。
そこで本論文では,チャネルに依存しない変圧器であるInjectTSTへのグローバル情報注入法を提案する。
チャネル混合モデルを直接設計する代わりに、チャネルに依存しないバックボーンを保持し、選択的な方法でグローバル情報を個々のチャネルに徐々に注入する。
インジェクトでは、チャネル識別子、グローバルミキシングモジュール、セルフコンテクストアテンションモジュールが考案される。
チャネル識別子はtransformerがチャネルを識別するのに役立つ。
グローバルミキシングモジュールは、クロスチャネルグローバル情報を生成する。
自己文脈的注意モジュールにより、独立チャネルはロバスト性劣化を伴わずに有用なグローバル情報に選択的に集中することができ、チャネル混合は暗黙的に達成される。
実験の結果,InjectTSTは最先端モデルと比較して安定的に改善できることがわかった。
関連論文リスト
- SOFTS: Efficient Multivariate Time Series Forecasting with Series-Core Fusion [59.96233305733875]
時系列予測は、金融、交通管理、エネルギー、医療など様々な分野で重要な役割を果たしている。
いくつかの方法は、注意やミキサーのようなメカニズムを利用して、チャネル相関をキャプチャすることでこの問題に対処する。
本稿では,効率的なモデルであるSOFTS(Series-cOre Fused Time Series forecaster)を提案する。
論文 参考訳(メタデータ) (2024-04-22T14:06:35Z) - From Similarity to Superiority: Channel Clustering for Time Series Forecasting [61.96777031937871]
CCM(Channel Clustering Module)を開発した。
CCMは、固有の類似性によって特徴付けられるチャネルを動的にグループ化し、チャネルアイデンティティの代わりにクラスタアイデンティティを利用する。
CCMは、CIモデルとCDモデルのパフォーマンスを、それぞれ長期および短期の予測において平均利率2.4%と7.2%で向上させることができる。
論文 参考訳(メタデータ) (2024-03-31T02:46:27Z) - MCformer: Multivariate Time Series Forecasting with Mixed-Channels Transformer [8.329947472853029]
Channel Independence(CI)戦略は、すべてのチャネルを単一のチャネルとして扱い、データセットを拡張する。
Mixed Channels戦略は、CI戦略のデータ拡張アドバンテージと、チャネル間の相関を忘れないように対処する機能を組み合わせたものだ。
モデルは特定の数のチャネルをブレンドし、チャネル間の相関情報を効果的に取得するための注意機構を活用する。
論文 参考訳(メタデータ) (2024-03-14T09:43:07Z) - Generative Diffusion Models for Radio Wireless Channel Modelling and
Sampling [11.09458914721516]
チャネルモデリングの複雑さと高品質な無線チャネルデータの収集コストが大きな課題となっている。
本稿では,拡散モデルに基づくチャネルサンプリング手法を提案する。
モード崩壊や不安定なトレーニングに苦しむ既存のGANベースのアプローチと比較して,拡散型アプローチは多種多様な高忠実度サンプルを合成し,生成することを示した。
論文 参考訳(メタデータ) (2023-08-10T13:49:26Z) - CB-HVTNet: A channel-boosted hybrid vision transformer network for
lymphocyte assessment in histopathological images [0.40777876591043144]
本稿では,トランスファーラーニングを用いてチャネルを再生し,医療画像中のリンパ球を解析するためにトランスフォーマとCNNの両方を用いるCB HVT(Channel Boosted Hybrid Vision Transformer)を提案する。
CB HVTは、チャネル生成モジュール、チャネルエクスプロイトモジュール、チャネルマージモジュール、リージョン認識モジュール、検出およびセグメンテーションヘッドを含む5つのモジュールからなる。
以上の結果から,CB HVTは術式検出モデルの他の状態よりも優れており,病理医のツールとしての価値が示された。
論文 参考訳(メタデータ) (2023-05-16T06:40:04Z) - MIMO-GAN: Generative MIMO Channel Modeling [13.277946558463201]
チャネル入力出力の測定から統計的チャネルモデルを学習するための生成チャネルモデリングを提案する。
我々は、GANの進歩を活用し、観測された測定値からチャネル上の暗黙の分布を学習するのに役立つ。
論文 参考訳(メタデータ) (2022-03-16T12:36:38Z) - Model-Driven Deep Learning Based Channel Estimation and Feedback for
Millimeter-Wave Massive Hybrid MIMO Systems [61.78590389147475]
本稿では,ミリ波(mmWave)システムのモデル駆動深層学習(MDDL)に基づくチャネル推定とフィードバック方式を提案する。
無線周波数(RF)鎖の限られた数から高次元チャネルを推定するためのアップリンクパイロットオーバーヘッドを低減するために,位相シフトネットワークとチャネル推定器を自動エンコーダとして共同で訓練することを提案する。
MDDLに基づくチャネル推定とフィードバック方式は,最先端の手法よりも優れていることを示す。
論文 参考訳(メタデータ) (2021-04-22T13:34:53Z) - Speaker Representation Learning using Global Context Guided Channel and
Time-Frequency Transformations [67.18006078950337]
グローバルな文脈情報を用いて、重要なチャネルを強化し、有意義な時間周波数位置を再検討する。
提案されたモジュールは、人気のあるResNetベースのモデルとともに、VoxCeleb1データセットで評価される。
論文 参考訳(メタデータ) (2020-09-02T01:07:29Z) - Single Image Super-Resolution via a Holistic Attention Network [87.42409213909269]
本稿では,階層,チャネル,位置間の全体的相互依存性をモデル化するための新しい全体論的注意ネットワーク(HAN)を提案する。
提案したHANは階層的特徴を適応的に強調し,層間相関を考慮した。
実験により、提案HANは、最先端の単一画像超解像アプローチに対して好適に機能することが示された。
論文 参考訳(メタデータ) (2020-08-20T04:13:15Z) - Data-Driven Symbol Detection via Model-Based Machine Learning [117.58188185409904]
機械学習(ML)とモデルベースアルゴリズムを組み合わせた,検出設計のシンボル化を目的とした,データ駆動型フレームワークについてレビューする。
このハイブリッドアプローチでは、よく知られたチャネルモデルに基づくアルゴリズムをMLベースのアルゴリズムで拡張し、チャネルモデル依存性を除去する。
提案手法は, 正確なチャネル入出力統計関係を知らなくても, モデルベースアルゴリズムのほぼ最適性能が得られることを示す。
論文 参考訳(メタデータ) (2020-02-14T06:58:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。