論文の概要: A Lightweight Sparse Interaction Network for Time Series Forecasting
- arxiv url: http://arxiv.org/abs/2602.01585v1
- Date: Mon, 02 Feb 2026 03:24:14 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-02-03 19:28:33.870983
- Title: A Lightweight Sparse Interaction Network for Time Series Forecasting
- Title(参考訳): 時系列予測のための軽量スパースインタラクションネットワーク
- Authors: Xu Zhang, Qitong Wang, Peng Wang, Wei Wang,
- Abstract要約: TSFタスクのための軽量スパースインタラクションネットワーク(LSINet)を提案する。
自己注意の空間性から着想を得たマルチヘッドスパース相互作用機構(MSIM)を提案する。
MSIMは、時間ステップ間の重要な接続をスパーシリティによって引き起こされるBernoulli分布を通じて学習し、TSFの時間的依存関係をキャプチャする。
LSINetは、TSFタスクにおける高度な線形モデルとトランスフォーマーモデルよりも精度と効率の両立を実現している。
- 参考スコア(独自算出の注目度): 9.398256560898448
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent work shows that linear models can outperform several transformer models in long-term time-series forecasting (TSF). However, instead of explicitly performing temporal interaction through self-attention, linear models implicitly perform it based on stacked MLP structures, which may be insufficient in capturing the complex temporal dependencies and their performance still has potential for improvement. To this end, we propose a Lightweight Sparse Interaction Network (LSINet) for TSF task. Inspired by the sparsity of self-attention, we propose a Multihead Sparse Interaction Mechanism (MSIM). Different from self-attention, MSIM learns the important connections between time steps through sparsity-induced Bernoulli distribution to capture temporal dependencies for TSF. The sparsity is ensured by the proposed self-adaptive regularization loss. Moreover, we observe the shareability of temporal interactions and propose to perform Shared Interaction Learning (SIL) for MSIM to further enhance efficiency and improve convergence. LSINet is a linear model comprising only MLP structures with low overhead and equipped with explicit temporal interaction mechanisms. Extensive experiments on public datasets show that LSINet achieves both higher accuracy and better efficiency than advanced linear models and transformer models in TSF tasks. The code is available at the link https://github.com/Meteor-Stars/LSINet.
- Abstract(参考訳): 最近の研究は、線形モデルが長期時系列予測(TSF)においていくつかの変圧器モデルより優れていることを示している。
しかし、自己アテンションを通して時間的相互作用を明示的に実行する代わりに、線形モデルは、複雑な時間的依存を捉えるのに不十分であり、その性能は改善の可能性があるため、積み重ねられたMLP構造に基づいて暗黙的に実行する。
そこで本研究では,TSFタスクのための軽量スパースインタラクションネットワーク(LSINet)を提案する。
自己注意の空間性に着想を得て,Multihead Sparse Interaction Mechanism (MSIM)を提案する。
自己アテンションとは違って、MSIMは時間ステップ間の重要な接続をスペーサ性によって引き起こされるベルヌーイ分布を通じて学習し、TSFの時間的依存関係をキャプチャする。
空間性は、提案された自己適応正則化損失によって保証される。
さらに、時間的相互作用の共有性を観察し、MSIMのための共有インタラクション学習(SIL)を行い、効率をさらに高め、収束を改善することを提案する。
LSINetは、低オーバーヘッドのMLP構造のみからなる線形モデルであり、明示的な時間的相互作用機構を備えている。
公開データセットに対する大規模な実験により、LSINetはTSFタスクにおける高度な線形モデルやトランスフォーマーモデルよりも高い精度と優れた効率を達成することが示された。
コードはhttps://github.com/Meteor-Stars/LSINet.comリンクで入手できる。
関連論文リスト
- FAIM: Frequency-Aware Interactive Mamba for Time Series Classification [87.84511960413715]
時系列分類(TSC)は、環境モニタリング、診断、姿勢認識など、多くの実世界の応用において重要である。
本稿では,周波数対応対話型マンバモデルであるFAIMを提案する。
FAIMは既存の最先端(SOTA)手法を一貫して上回り、精度と効率のトレードオフが優れていることを示す。
論文 参考訳(メタデータ) (2025-11-26T08:36:33Z) - Adaptive Multi-Scale Decomposition Framework for Time Series Forecasting [26.141054975797868]
本稿では,時系列予測のための新しい適応型マルチスケール分解(AMD)フレームワークを提案する。
我々のフレームワークは時系列を複数のスケールで異なる時間パターンに分解し、MDM(Multi-Scale Decomposable Mixing)ブロックを活用する。
提案手法は,時間依存性とチャネル依存性の両方を効果的にモデル化し,マルチスケールデータ統合を改良するために自己相関を利用する。
論文 参考訳(メタデータ) (2024-06-06T05:27:33Z) - Unlocking the Power of Patch: Patch-Based MLP for Long-Term Time Series Forecasting [0.0]
近年,Transformer アーキテクチャを改良し,長期連続予測タスクの有効性を実証する研究が進められている。
これらのモデルの有効性は, 適用されたパッチ機構に大きく寄与する。
LTSFタスクのための新しいシンプルなパッチベースコンポーネント(PatchMLP)を提案する。
論文 参考訳(メタデータ) (2024-05-22T12:12:20Z) - TSLANet: Rethinking Transformers for Time Series Representation Learning [19.795353886621715]
時系列データは、その固有の長短の依存関係によって特徴づけられる。
本稿では,時系列タスクの普遍的畳み込みモデルとして,新しい時系列軽量ネットワーク(TSLANet)を導入する。
我々の実験では、TSLANetは分類、予測、異常検出にまたがる様々なタスクにおいて最先端のモデルよりも優れていることを示した。
論文 参考訳(メタデータ) (2024-04-12T13:41:29Z) - Stragglers-Aware Low-Latency Synchronous Federated Learning via Layer-Wise Model Updates [71.81037644563217]
同期フェデレーションラーニング(FL)は、協調エッジラーニングの一般的なパラダイムである。
一部のデバイスは計算資源が限られており、様々な可用性があるため、FLレイテンシはストラグラーに非常に敏感である。
本稿では,NNの最適化手法をバックプロパゲーションにより活用し,グローバルモデルを階層的に更新するストラグラー対応層対応学習(SALF)を提案する。
論文 参考訳(メタデータ) (2024-03-27T09:14:36Z) - Parsimony or Capability? Decomposition Delivers Both in Long-term Time Series Forecasting [46.63798583414426]
時系列予測(LTSF)は時系列分析において重要なフロンティアである。
本研究は, 分析的および実証的な証拠から, 分解が過剰なモデルインフレーションを包含する鍵であることを実証する。
興味深いことに、時系列データの本質的なダイナミクスに分解を合わせることで、提案モデルは既存のベンチマークより優れている。
論文 参考訳(メタデータ) (2024-01-22T13:15:40Z) - Towards Long-Term Time-Series Forecasting: Feature, Pattern, and
Distribution [57.71199089609161]
長期的時系列予測(LTTF)は、風力発電計画など、多くのアプリケーションで需要が高まっている。
トランスフォーマーモデルは、高い計算自己認識機構のため、高い予測能力を提供するために採用されている。
LTTFの既存の手法を3つの面で区別する,Conformer という,効率的なTransformer ベースモデルを提案する。
論文 参考訳(メタデータ) (2023-01-05T13:59:29Z) - Deep Explicit Duration Switching Models for Time Series [84.33678003781908]
状態依存型と時間依存型の両方のスイッチングダイナミクスを識別できるフレキシブルモデルを提案する。
状態依存スイッチングは、リカレントな状態-スイッチ接続によって実現される。
時間依存スイッチング動作を改善するために、明示的な期間カウント変数が使用される。
論文 参考訳(メタデータ) (2021-10-26T17:35:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。