論文の概要: Multi-Scale Convolution with Optimal Transport Attention Effect on Multivariate Time Series
- arxiv url: http://arxiv.org/abs/2607.10740v1
- Date: Sun, 12 Jul 2026 12:47:50 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-14 15:40:48.519974
- Title: Multi-Scale Convolution with Optimal Transport Attention Effect on Multivariate Time Series
- Title(参考訳): 多変量時系列における最適輸送注意効果を有するマルチスケールコンボリューション
- Authors: HaoChong Fu, Jian Xu,
- Abstract要約: 本稿では,MSC-OT(Multi-Scale Convolution with Optimal Transport Attention)を提案する。
MSC-OTは、逆埋め込みに基づくマルチスケール畳み込みとシンクホーン最適輸送法を組み合わせる。
ETT、Electricity、Traffic、Solar-Energy、Exchange-Rateなど、広く使われているデータセットの実験は、MSC-OTが短期および長期の予測タスクの両方で良好なパフォーマンスを達成していることを示している。
- 参考スコア(独自算出の注目度): 2.161642470654705
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The analysis of Multivariate Time Series (MTS) plays an important role in a lot of real-world practical applications, but it still remains some challenging problem about capturing multi-granularity structural patterns and suppressing noise appropriately. Multi-Scale Convolution with Optimal Transport Attention (MSC-OT) is proposed in this paper. MSC-OT is a useful architecture to optimize the attention mechanism. It combines multi-scale convolution with Sinkhorn optimal transport method based on inverted embedding. The inverted embedding approach embeds each variable as a token and allows the model to capture cross-variate relationships better. MSC-OT consists of two part: (1) Multi-Scale Convolution Enhancement, that applies multi-scale convolutions to attention score matrices based on inverted embedding, capturing local structural patterns in the variate-interaction space induced by compressed temporal representations; (2) Sinkhorn Optimal Transport Regularization, that formulates attention computation as an optimal transport problem and employs iterative matrix scaling to ensure balanced information flow across variates. Adaptive Fusion Strategy utilizes softmax-normalized learnable weights to dynamically combine base attention, convolution-enhanced, and OT-regularized scores. Experiments on widely-used datasets, including ETT, Electricity, Traffic, Solar-Energy, and Exchange-Rate, show that MSC-OT achieves well performance in both short-term and long-term forecasting tasks. Ablation experiments further validate the effectiveness of each proposed component and their synergistic contributions to improving prediction accuracy for multivariate time series forecasting.
- Abstract(参考訳): 多変量時系列解析(MTS)は,多くの実世界の実用アプリケーションにおいて重要な役割を担っているが,多粒度構造パターンを捕捉し,ノイズを適切に抑制する上ではまだ難しい課題が残っている。
本稿では,MSC-OT(Multi-Scale Convolution with Optimal Transport Attention)を提案する。
MSC-OTはアテンションメカニズムを最適化するのに有用なアーキテクチャである。
逆埋め込みに基づくマルチスケール畳み込みとシンクホーン最適輸送法を組み合わせる。
逆埋め込みアプローチでは、各変数をトークンとして埋め込み、モデルが相互関係をよりよくキャプチャできるようにする。
マルチスケール・コンボリューション・エンハンスメント(マルチスケール・コンボリューション・コンボリューション・エンハンスメント)は, インバート埋め込みに基づくマルチスケール・コンボリューション・マトリクス(マルチスケール・コンボリューション・コンボリューション・エンハンスメント)と, 圧縮時間表現によって誘導されるバラエト・インタラクション空間における局所構造パターンのキャプチャ, 2) シンクホーン最適輸送正規化(Sinkhorn Optimal Transport Regularization)の2つの部分から構成される。
Adaptive Fusion Strategyは、ソフトマックス正規化学習可能なウェイトを利用して、ベースアテンション、畳み込み強化、OT正規化スコアを動的に組み合わせている。
ETT、Electricity、Traffic、Solar-Energy、Exchange-Rateなど、広く使われているデータセットの実験は、MSC-OTが短期および長期の予測タスクの両方で良好なパフォーマンスを達成していることを示している。
多変量時系列予測における予測精度の向上に寄与する各成分の有効性と相乗的寄与について,アブレーション実験により検証した。
関連論文リスト
- Multiscale Supervised Unbalanced Optimal Transport Flow Matching [2.421459418045937]
非平衡最適輸送(UOT)は、単一セル遷移と生死ダイナミクスをモデル化するための原則的なフレームワークを提供する。
階層型データ構造を利用してUOTをスケールするシミュレーションフリーフレームワークであるMultiscale Supervised Un Balanced Optimal Transport Flow Matching (MUST-FM)を紹介した。
論文 参考訳(メタデータ) (2026-05-15T18:26:50Z) - Multimodal Forecasting for Commodity Prices Using Spectrogram-Based and Time Series Representations [6.409220743870009]
本稿では,SEMF(Spectrogram-Enhanced Multimodal Fusion)を提案する。
SEMFはスペクトルと時間表現を組み合わせて、より正確で堅牢な予測を行う。
その結果,マルチモーダル融合とスペクトログラムに基づく符号化がマルチスケールパターンのキャプチャに与える影響が示された。
論文 参考訳(メタデータ) (2026-03-28T15:57:42Z) - AlignMamba-2: Enhancing Multimodal Fusion and Sentiment Analysis with Modality-Aware Mamba [56.52470564147458]
マルチモーダル融合と感情分析のための効率的かつ効率的なフレームワークである textbfAlignMamba-2 を提案する。
提案手法では, 最適輸送距離と最大平均離散度の両方を用いてモデルを正規化する2つのアライメント戦略を導入する。
さらに重要なことは、モダリティに特有かつモダリティに偏ったエキスパートによるMixture-of-Expertsアーキテクチャを採用したModality-Aware Mamba層を設計することです。
論文 参考訳(メタデータ) (2026-03-19T03:47:21Z) - FAIM: Frequency-Aware Interactive Mamba for Time Series Classification [87.84511960413715]
時系列分類(TSC)は、環境モニタリング、診断、姿勢認識など、多くの実世界の応用において重要である。
本稿では,周波数対応対話型マンバモデルであるFAIMを提案する。
FAIMは既存の最先端(SOTA)手法を一貫して上回り、精度と効率のトレードオフが優れていることを示す。
論文 参考訳(メタデータ) (2025-11-26T08:36:33Z) - ESPFormer: Doubly-Stochastic Attention with Expected Sliced Transport Plans [13.695885742446027]
自己注意は、トレーニング中にいくつかのトークンを過度に集中させ、その結果、準最適情報フローをもたらす可能性がある。
我々は,スライスされた最適輸送に基づく,新しい並列化可能な二重確率的アテンション機構を提案する。
本手法は, 繰り返しシンクホーン正規化を伴わずに二重性を適用し, 効率を著しく向上させる。
論文 参考訳(メタデータ) (2025-02-11T21:20:48Z) - Sparser is Faster and Less is More: Efficient Sparse Attention for Long-Range Transformers [58.5711048151424]
SPARSEK Attention(SPARSEK Attention)は、計算およびメモリ障害を克服するために設計された、新しいスパースアテンション機構である。
提案手法では,各クエリに対して一定数のKVペアを選択するために,スコアリングネットワークと差別化可能なトップkマスク演算子であるSPARSEKを統合する。
実験結果から,SPARSEK注意は従来のスパースアテンション法よりも優れていた。
論文 参考訳(メタデータ) (2024-06-24T15:55:59Z) - MGCP: A Multi-Grained Correlation based Prediction Network for Multivariate Time Series [54.91026286579748]
本稿では,マルチグラインド相関に基づく予測ネットワークを提案する。
予測性能を高めるために3段階の相関を同時に検討する。
注意機構に基づく予測器と条件判別器を用いて、粗い粒度の予測結果を最適化する。
論文 参考訳(メタデータ) (2024-05-30T03:32:44Z) - Correlated Attention in Transformers for Multivariate Time Series [22.542109523780333]
本稿では,特徴量依存を効率的に捕捉し,既存のトランスフォーマーのエンコーダブロックにシームレスに統合できる新しいアテンション機構を提案する。
特に、関連性のある注意は、特徴チャネルを横断して、クエリとキー間の相互共分散行列をラグ値で計算し、サブシリーズレベルで選択的に表現を集約する。
このアーキテクチャは、瞬時だけでなく、ラタグされた相互相関の発見と表現の学習を容易にすると同時に、本質的に時系列の自動相関をキャプチャする。
論文 参考訳(メタデータ) (2023-11-20T17:35:44Z) - IPCC-TP: Utilizing Incremental Pearson Correlation Coefficient for Joint
Multi-Agent Trajectory Prediction [73.25645602768158]
IPCC-TPはインクリメンタルピアソン相関係数に基づく新しい関連認識モジュールであり,マルチエージェントインタラクションモデリングを改善する。
我々のモジュールは、既存のマルチエージェント予測手法に便利に組み込んで、元の動き分布デコーダを拡張することができる。
論文 参考訳(メタデータ) (2023-03-01T15:16:56Z) - Enhancing Transformer Efficiency for Multivariate Time Series
Classification [12.128991867050487]
本稿では,モデル効率と精度,複雑さの関係を考察する手法を提案する。
ベンチマークMSSデータセットの総合実験により,本手法の有効性が示された。
論文 参考訳(メタデータ) (2022-03-28T03:25:19Z) - Proximal Policy Optimization-based Transmit Beamforming and Phase-shift
Design in an IRS-aided ISAC System for the THz Band [90.45915557253385]
テラヘルツ(THz)帯で動作するIRS支援統合センシング・通信(ISAC)システムを提案し,システム容量を最大化する。
透過ビームフォーミングと位相シフト設計はエルゴード制約を伴う普遍最適化問題に変換される。
論文 参考訳(メタデータ) (2022-03-21T09:15:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。