論文の概要: MICA: Multivariate Infini Compressive Attention for Time Series Forecasting

• arxiv url: http://arxiv.org/abs/2604.06473v1
• Date: Tue, 07 Apr 2026 21:19:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-09 17:30:51.247725
• Title: MICA: Multivariate Infini Compressive Attention for Time Series Forecasting
• Title（参考訳）: MICA: 時系列予測のための多変量インフィニ圧縮注意
• Authors: Willa Potosnak, Nina Żukowska, Michał Wiliński, Dan Howarth, Ignacy Stępka, Mononito Goswami, Artur Dubrawski,
• Abstract要約: 本稿では,チャネルに依存しないトランスフォーマーをチャネルに依存した予測に拡張するアーキテクチャ設計を提案する。 シーケンス次元からチャネル次元への効率的な注意手法を適用することで、MICAはチャネル間の注意機構を追加する。 MICAは、チャネル非依存の予測誤差を平均5.4%、個々のデータセットで最大25.4%削減することを示した。
• 参考スコア（独自算出の注目度）: 15.375685391989885
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multivariate forecasting with Transformers faces a core scalability challenge: modeling cross-channel dependencies via attention compounds attention's quadratic sequence complexity with quadratic channel scaling, making full cross-channel attention impractical for high-dimensional time series. We propose Multivariate Infini Compressive Attention (MICA), an architectural design to extend channel-independent Transformers to channel-dependent forecasting. By adapting efficient attention techniques from the sequence dimension to the channel dimension, MICA adds a cross-channel attention mechanism to channel-independent backbones that scales linearly with channel count and context length. We evaluate channel-independent Transformer architectures with and without MICA across multiple forecasting benchmarks. MICA reduces forecast error over its channel-independent counterparts by 5.4% on average and up to 25.4% on individual datasets, highlighting the importance of explicit cross-channel modeling. Moreover, models with MICA rank first among deep multivariate Transformer and MLP baselines. MICA models also scale more efficiently with respect to both channel count and context length than Transformer baselines that compute attention across both the temporal and channel dimensions, establishing compressive attention as a practical solution for scalable multivariate forecasting.
• Abstract（参考訳）: 注意化合物によるチャネル依存性のモデリング 注意複合の二次的なシーケンス複雑性と二次的なチャネルスケーリングにより、高次元の時系列では、クロスチャネルの完全な注意が現実的ではない。 チャネルに依存しないトランスフォーマーをチャネル依存予測に拡張するアーキテクチャ設計であるMICAを提案する。 シーケンス次元からチャネル次元への効率的な注意手法を適用することで、MICAはチャネル数やコンテキスト長と線形にスケールするチャネル非依存のバックボーンにチャネル間注意機構を追加する。 複数の予測ベンチマークでチャネル非依存のトランスフォーマーアーキテクチャをMICAの有無で評価する。 MICAは、チャネル非依存の予測誤差を平均5.4%、個々のデータセットで最大25.4%削減し、明示的なクロスチャネルモデリングの重要性を強調している。 さらに、深層多変量変圧器とMLPベースラインのうち、MICAのモデルが第一位である。 MICAモデルは、時間次元とチャネル次元の両方の注意を計算し、スケーラブルな多変量予測の実用的な解決策として圧縮的注意を確立するトランスフォーマーベースラインよりも、チャネル数とコンテキスト長の両方に関してより効率的にスケールする。

関連論文リスト

• DiTS: Multimodal Diffusion Transformers Are Time Series Forecasters [50.43534351968113]
  既存の生成時系列モデルは、時系列データの多次元特性にうまく対応していない。 動画生成にテキストガイダンスを組み込んだマルチモーダル拡散変換器に着想を得て,Diffusion Transformer for Time Series (DiTS)を提案する。
  論文  参考訳（メタデータ） (2026-02-06T10:48:13Z)
• Sentinel: Multi-Patch Transformer with Temporal and Channel Attention for Time Series Forecasting [48.52101281458809]
  トランスフォーマーに基づく時系列予測は、シーケンシャルデータをモデル化するトランスフォーマーの能力により、近年、強い関心を集めている。 チャネル次元からコンテキスト情報を抽出できるエンコーダで構成されるトランスフォーマーベースのアーキテクチャであるSentinelを提案する。 マルチパッチアテンション機構を導入し、パッチ処理を利用して入力シーケンスをトランスフォーマーアーキテクチャに自然に組み込むことができるように構成する。
  論文  参考訳（メタデータ） (2025-03-22T06:01:50Z)
• DUET: Dual Clustering Enhanced Multivariate Time Series Forecasting [13.05900224897486]
  実世界の時系列は、時間とともに分布の変化によって引き起こされる異質な時間パターンを示すことが多い。 チャネル間の相関は複雑で絡み合っており、チャネル間の相互作用を正確にかつ柔軟にモデル化することは困難である。 本稿では,時空間とチャネル次元に2つのクラスタリングを導入するDUETというフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-12-14T15:15:17Z)
• CMamba: Channel Correlation Enhanced State Space Models for Multivariate Time Series Forecasting [18.50360049235537]
  ステートスペースモデルであるMambaは、堅牢なシーケンスと機能ミキシング機能を備えている。 チャネル間の依存関係のキャプチャは、時系列予測のパフォーマンス向上に不可欠である。 時系列予測に適した改良されたマンバ変種を導入する。
  論文  参考訳（メタデータ） (2024-06-08T01:32:44Z)
• SOFTS: Efficient Multivariate Time Series Forecasting with Series-Core Fusion [59.96233305733875]
  時系列予測は、金融、交通管理、エネルギー、医療など様々な分野で重要な役割を果たしている。 いくつかの方法は、注意やミキサーのようなメカニズムを利用して、チャネル相関をキャプチャすることでこの問題に対処する。 本稿では,効率的なモデルであるSOFTS(Series-cOre Fused Time Series forecaster)を提案する。
  論文  参考訳（メタデータ） (2024-04-22T14:06:35Z)
• From Similarity to Superiority: Channel Clustering for Time Series Forecasting [61.96777031937871]
  CCM(Channel Clustering Module)を開発した。 CCMは、固有の類似性を特徴とするチャネルを動的にグループ化し、個々のチャネルのアイデンティティの代わりにクラスタ情報を活用する。 CCMは、CIモデルとCDモデルのパフォーマンスを、それぞれ長期および短期の予測において平均利率2.4%と7.2%で向上させることができる。
  論文  参考訳（メタデータ） (2024-03-31T02:46:27Z)
• MCformer: Multivariate Time Series Forecasting with Mixed-Channels Transformer [8.329947472853029]
  Channel Independence(CI)戦略は、すべてのチャネルを単一のチャネルとして扱い、データセットを拡張する。 Mixed Channels戦略は、CI戦略のデータ拡張アドバンテージと、チャネル間の相関を忘れないように対処する機能を組み合わせたものだ。 モデルは特定の数のチャネルをブレンドし、チャネル間の相関情報を効果的に取得するための注意機構を活用する。
  論文  参考訳（メタデータ） (2024-03-14T09:43:07Z)
• CARD: Channel Aligned Robust Blend Transformer for Time Series Forecasting [50.23240107430597]
  本稿では,CARD(Channel Aligned Robust Blend Transformer)という特殊なトランスを設計する。 まず、CARDはチャネルに沿ったアテンション構造を導入し、信号間の時間的相関をキャプチャする。 第二に、マルチスケール知識を効率的に活用するために、異なる解像度のトークンを生成するトークンブレンドモジュールを設計する。 第3に,潜在的な過度な問題を軽減するため,時系列予測のためのロバストな損失関数を導入する。
  論文  参考訳（メタデータ） (2023-05-20T05:16:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。