論文の概要: InjectTST: A Transformer Method of Injecting Global Information into
Independent Channels for Long Time Series Forecasting
- arxiv url: http://arxiv.org/abs/2403.02814v1
- Date: Tue, 5 Mar 2024 09:33:36 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-06 15:18:36.729645
- Title: InjectTST: A Transformer Method of Injecting Global Information into
Independent Channels for Long Time Series Forecasting
- Title（参考訳）: InjectTST:長期連続予測のためのグローバル情報を独立チャネルにインジェクトするトランスフォーマ手法
- Authors: Ce Chi, Xing Wang, Kexin Yang, Zhiyan Song, Di Jin, Lin Zhu, Chao
Deng, Junlan Feng
- Abstract要約: 本稿では,チャネルに依存しないトランスフォーマーInjectTSTへのグローバル情報注入手法を提案する。
実験の結果,InjectTSTは最先端モデルと比較して安定的に改善できることがわかった。
- 参考スコア（独自算出の注目度）: 28.138548907887667
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Transformer has become one of the most popular architectures for multivariate
time series (MTS) forecasting. Recent Transformer-based MTS models generally
prefer channel-independent structures with the observation that channel
independence can alleviate noise and distribution drift issues, leading to more
robustness. Nevertheless, it is essential to note that channel dependency
remains an inherent characteristic of MTS, carrying valuable information.
Designing a model that incorporates merits of both channel-independent and
channel-mixing structures is a key to further improvement of MTS forecasting,
which poses a challenging conundrum. To address the problem, an injection
method for global information into channel-independent Transformer, InjectTST,
is proposed in this paper. Instead of designing a channel-mixing model
directly, we retain the channel-independent backbone and gradually inject
global information into individual channels in a selective way. A channel
identifier, a global mixing module and a self-contextual attention module are
devised in InjectTST. The channel identifier can help Transformer distinguish
channels for better representation. The global mixing module produces
cross-channel global information. Through the self-contextual attention module,
the independent channels can selectively concentrate on useful global
information without robustness degradation, and channel mixing is achieved
implicitly. Experiments indicate that InjectTST can achieve stable improvement
compared with state-of-the-art models.
- Abstract（参考訳）: Transformerはマルチ変数時系列(MTS)予測の最も一般的なアーキテクチャの1つである。
近年のTransformerベースのMTSモデルでは、チャネル独立性によってノイズや分布のドリフトが軽減され、より堅牢性が向上する。
それでも、チャネル依存性がMSS固有の特性であり、貴重な情報を持っていることに留意する必要がある。
チャネル非依存構造とチャネル混合構造の両方のメリットを組み込んだモデルを設計することは、mts予測をさらに改善する上で鍵となる。
そこで本論文では,チャネルに依存しない変圧器であるInjectTSTへのグローバル情報注入法を提案する。
チャネル混合モデルを直接設計する代わりに、チャネルに依存しないバックボーンを保持し、選択的な方法でグローバル情報を個々のチャネルに徐々に注入する。
インジェクトでは、チャネル識別子、グローバルミキシングモジュール、セルフコンテクストアテンションモジュールが考案される。
チャネル識別子はtransformerがチャネルを識別するのに役立つ。
グローバルミキシングモジュールは、クロスチャネルグローバル情報を生成する。
自己文脈的注意モジュールにより、独立チャネルはロバスト性劣化を伴わずに有用なグローバル情報に選択的に集中することができ、チャネル混合は暗黙的に達成される。
実験の結果,InjectTSTは最先端モデルと比較して安定的に改善できることがわかった。
関連論文リスト
- RelUNet: Relative Channel Fusion U-Net for Multichannel Speech Enhancement [25.878204820665516]
マルチチャネル音声強調モデル、特にU-Netアーキテクチャに基づくものは、有望な性能と一般化の可能性を示す。
本稿では,各チャネルが参照チャネルと協調して,スタックリングによって処理される,アウトセットからの相対情報を組み込むことにより,これらのモデルに新たな変更を加えることを提案する。
この入力戦略は、比較差を利用してチャネル間の情報を適応的に融合し、重要な空間情報を捕捉し、全体的な性能を向上させる。
論文 参考訳（メタデータ） (2024-10-07T13:19:10Z) - SOFTS: Efficient Multivariate Time Series Forecasting with Series-Core Fusion [59.96233305733875]
時系列予測は、金融、交通管理、エネルギー、医療など様々な分野で重要な役割を果たしている。
いくつかの方法は、注意やミキサーのようなメカニズムを利用して、チャネル相関をキャプチャすることでこの問題に対処する。
本稿では,効率的なモデルであるSOFTS(Series-cOre Fused Time Series forecaster)を提案する。
論文 参考訳（メタデータ） (2024-04-22T14:06:35Z) - From Similarity to Superiority: Channel Clustering for Time Series Forecasting [61.96777031937871]
CCM(Channel Clustering Module)を開発した。
CCMは、固有の類似性を特徴とするチャネルを動的にグループ化し、個々のチャネルのアイデンティティの代わりにクラスタ情報を活用する。
CCMは、CIモデルとCDモデルのパフォーマンスを、それぞれ長期および短期の予測において平均利率2.4%と7.2%で向上させることができる。
論文 参考訳（メタデータ） (2024-03-31T02:46:27Z) - MCformer: Multivariate Time Series Forecasting with Mixed-Channels Transformer [8.329947472853029]
Channel Independence(CI)戦略は、すべてのチャネルを単一のチャネルとして扱い、データセットを拡張する。
Mixed Channels戦略は、CI戦略のデータ拡張アドバンテージと、チャネル間の相関を忘れないように対処する機能を組み合わせたものだ。
モデルは特定の数のチャネルをブレンドし、チャネル間の相関情報を効果的に取得するための注意機構を活用する。
論文 参考訳（メタデータ） (2024-03-14T09:43:07Z) - CB-HVTNet: A channel-boosted hybrid vision transformer network for
lymphocyte assessment in histopathological images [0.40777876591043144]
本稿では,トランスファーラーニングを用いてチャネルを再生し,医療画像中のリンパ球を解析するためにトランスフォーマとCNNの両方を用いるCB HVT(Channel Boosted Hybrid Vision Transformer)を提案する。
CB HVTは、チャネル生成モジュール、チャネルエクスプロイトモジュール、チャネルマージモジュール、リージョン認識モジュール、検出およびセグメンテーションヘッドを含む5つのモジュールからなる。
以上の結果から,CB HVTは術式検出モデルの他の状態よりも優れており,病理医のツールとしての価値が示された。
論文 参考訳（メタデータ） (2023-05-16T06:40:04Z) - Model-Driven Deep Learning Based Channel Estimation and Feedback for
Millimeter-Wave Massive Hybrid MIMO Systems [61.78590389147475]
本稿では,ミリ波(mmWave)システムのモデル駆動深層学習(MDDL)に基づくチャネル推定とフィードバック方式を提案する。
無線周波数(RF)鎖の限られた数から高次元チャネルを推定するためのアップリンクパイロットオーバーヘッドを低減するために,位相シフトネットワークとチャネル推定器を自動エンコーダとして共同で訓練することを提案する。
MDDLに基づくチャネル推定とフィードバック方式は,最先端の手法よりも優れていることを示す。
論文 参考訳（メタデータ） (2021-04-22T13:34:53Z) - Speaker Representation Learning using Global Context Guided Channel and
Time-Frequency Transformations [67.18006078950337]
グローバルな文脈情報を用いて、重要なチャネルを強化し、有意義な時間周波数位置を再検討する。
提案されたモジュールは、人気のあるResNetベースのモデルとともに、VoxCeleb1データセットで評価される。
論文 参考訳（メタデータ） (2020-09-02T01:07:29Z) - Single Image Super-Resolution via a Holistic Attention Network [87.42409213909269]
本稿では,階層,チャネル,位置間の全体的相互依存性をモデル化するための新しい全体論的注意ネットワーク(HAN)を提案する。
提案したHANは階層的特徴を適応的に強調し,層間相関を考慮した。
実験により、提案HANは、最先端の単一画像超解像アプローチに対して好適に機能することが示された。
論文 参考訳（メタデータ） (2020-08-20T04:13:15Z) - Data-Driven Symbol Detection via Model-Based Machine Learning [117.58188185409904]
機械学習(ML)とモデルベースアルゴリズムを組み合わせた,検出設計のシンボル化を目的とした,データ駆動型フレームワークについてレビューする。
このハイブリッドアプローチでは、よく知られたチャネルモデルに基づくアルゴリズムをMLベースのアルゴリズムで拡張し、チャネルモデル依存性を除去する。
提案手法は, 正確なチャネル入出力統計関係を知らなくても, モデルベースアルゴリズムのほぼ最適性能が得られることを示す。
論文 参考訳（メタデータ） (2020-02-14T06:58:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。