論文の概要: XicorAttention: Time Series Transformer Using Attention with Nonlinear Correlation

• arxiv url: http://arxiv.org/abs/2506.02694v1
• Date: Tue, 03 Jun 2025 09:43:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-04 21:47:35.576447
• Title: XicorAttention: Time Series Transformer Using Attention with Nonlinear Correlation
• Title（参考訳）: XicorAttention:非線形相関を用いた時系列変換器
• Authors: Daichi Kimura, Tomonori Izumitani, Hisashi Kashima,
• Abstract要約: 本稿では,Chatterjeeのランク相関係数に基づく新しい注意機構を提案する。 標準注意機構の行列乗法をこのランク係数に置き換えてクエリーキーの関係を測る。 提案するメカニズムであるXicorAttention'は,いくつかの最先端トランスフォーマーモデルに統合する。
• 参考スコア（独自算出の注目度）: 20.956872958560346
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Various Transformer-based models have been proposed for time series forecasting. These models leverage the self-attention mechanism to capture long-term temporal or variate dependencies in sequences. Existing methods can be divided into two approaches: (1) reducing computational cost of attention by making the calculations sparse, and (2) reshaping the input data to aggregate temporal features. However, existing attention mechanisms may not adequately capture inherent nonlinear dependencies present in time series data, leaving room for improvement. In this study, we propose a novel attention mechanism based on Chatterjee's rank correlation coefficient, which measures nonlinear dependencies between variables. Specifically, we replace the matrix multiplication in standard attention mechanisms with this rank coefficient to measure the query-key relationship. Since computing Chatterjee's correlation coefficient involves sorting and ranking operations, we introduce a differentiable approximation employing SoftSort and SoftRank. Our proposed mechanism, ``XicorAttention,'' integrates it into several state-of-the-art Transformer models. Experimental results on real-world datasets demonstrate that incorporating nonlinear correlation into the attention improves forecasting accuracy by up to approximately 9.1\% compared to existing models.
• Abstract（参考訳）: 時系列予測のための様々なTransformerベースのモデルが提案されている。 これらのモデルは自己保持機構を利用して、シーケンス内の長期的あるいは変動的な依存関係をキャプチャする。 既存の手法は,(1)計算をスパースにすることで注意の計算コストを削減し,(2)入力データを時間的特徴を集約するために再構成する,という2つの方法に分けることができる。 しかし、既存の注意機構は、時系列データに存在する固有の非線形依存関係を適切に捉えておらず、改善の余地を残している。 本研究では,Chatterjeeのランク相関係数に基づく新しいアテンション機構を提案する。 具体的には、標準注意機構の行列乗法をこのランク係数に置き換え、クエリーキーの関係を測る。 チャタジーの相関係数の計算にはソートとランキング操作が関係するので、SoftSortとSoftRankを用いた微分可能な近似を導入する。 提案するメカニズムである `XicorAttention' は,それをいくつかの最先端トランスフォーマーモデルに統合する。 実世界のデータセット実験の結果、注意に非線形相関を組み込むことで、既存のモデルと比較して予測精度が最大9.1\%向上することが示されている。

関連論文リスト

• Relational Conformal Prediction for Correlated Time Series [56.59852921638328]
  共形予測フレームワークと量子レグレッションに基づく分布自由な新しい手法を提案する。 グラフ深層学習演算子に基づく新しい共形予測手法を導入することにより,この空白を埋める。 我々のアプローチは、関連するベンチマークにおいて、正確なカバレッジを提供し、最先端の不確実性定量化をアーカイブする。
  論文  参考訳（メタデータ） (2025-02-13T16:12:17Z)
• Multivariate Probabilistic Time Series Forecasting with Correlated Errors [17.212396544233307]
  本稿では,自動回帰モデルのための複数ステップでエラーの共分散構造を学習するプラグイン・アンド・プレイ手法を提案する。 RNNとTransformerアーキテクチャ上に構築された確率モデルについて,本手法の評価を行った。
  論文  参考訳（メタデータ） (2024-02-01T20:27:19Z)
• Deep Ensembles Meets Quantile Regression: Uncertainty-aware Imputation for Time Series [45.76310830281876]
  量子回帰に基づくタスクネットワークのアンサンブルを用いて不確実性を推定する新しい手法であるQuantile Sub-Ensemblesを提案する。 提案手法は,高い損失率に頑健な高精度な計算法を生成するだけでなく,非生成モデルの高速な学習により,計算効率も向上する。
  論文  参考訳（メタデータ） (2023-12-03T05:52:30Z)
• Correlated Attention in Transformers for Multivariate Time Series [22.542109523780333]
  本稿では,特徴量依存を効率的に捕捉し,既存のトランスフォーマーのエンコーダブロックにシームレスに統合できる新しいアテンション機構を提案する。 特に、関連性のある注意は、特徴チャネルを横断して、クエリとキー間の相互共分散行列をラグ値で計算し、サブシリーズレベルで選択的に表現を集約する。 このアーキテクチャは、瞬時だけでなく、ラタグされた相互相関の発見と表現の学習を容易にすると同時に、本質的に時系列の自動相関をキャプチャする。
  論文  参考訳（メタデータ） (2023-11-20T17:35:44Z)
• Causal Feature Selection via Transfer Entropy [59.999594949050596]
  因果発見は、観察データによる特徴間の因果関係を特定することを目的としている。 本稿では,前向きと後向きの機能選択に依存する新たな因果的特徴選択手法を提案する。 精度および有限サンプルの場合の回帰誤差と分類誤差について理論的に保証する。
  論文  参考訳（メタデータ） (2023-10-17T08:04:45Z)
• Efficient Interpretable Nonlinear Modeling for Multiple Time Series [5.448070998907116]
  本稿では,複数時系列に対する効率的な非線形モデリング手法を提案する。 異なる時系列変数間の非線形相互作用を含む。 実験結果から,提案アルゴリズムは相似的にVAR係数の支持値の同定を改善することが示された。
  論文  参考訳（メタデータ） (2023-09-29T11:42:59Z)
• TACTiS: Transformer-Attentional Copulas for Time Series [76.71406465526454]
  時間変化量の推定は、医療や金融などの分野における意思決定の基本的な構成要素である。 本稿では,アテンションベースデコーダを用いて関節分布を推定する多元的手法を提案する。 本研究では,本モデルが実世界の複数のデータセットに対して最先端の予測を生成することを示す。
  論文  参考訳（メタデータ） (2022-02-07T21:37:29Z)
• Scalable Intervention Target Estimation in Linear Models [52.60799340056917]
  因果構造学習への現在のアプローチは、既知の介入目標を扱うか、仮説テストを使用して未知の介入目標を発見する。 本稿では、全ての介入対象を一貫して識別するスケーラブルで効率的なアルゴリズムを提案する。 提案アルゴリズムは、与えられた観測マルコフ同値クラスを介入マルコフ同値クラスに更新することも可能である。
  論文  参考訳（メタデータ） (2021-11-15T03:16:56Z)
• A Non-linear Function-on-Function Model for Regression with Time Series Data [11.738565299608721]
  本稿では,関数-オン-ファンクショナル・リニア・モデルを採用した一般関数写像を提案する。 次に、完全連結ニューラルネットワークを用いた非線形関数オン・ファンクションモデルを提案し、データからマッピングを学習する。 提案手法の有効性を実世界の2つの問題に適用することで実証する。
  論文  参考訳（メタデータ） (2020-11-24T20:51:27Z)
• Adaptive Correlated Monte Carlo for Contextual Categorical Sequence Generation [77.7420231319632]
  我々は,モンテカルロ (MC) ロールアウトの集合を分散制御のために評価する政策勾配推定器に,カテゴリー列の文脈的生成を適用する。 また,二分木ソフトマックスモデルに相関したMCロールアウトを用いることで,大語彙シナリオにおける高生成コストを低減できることを示す。
  論文  参考訳（メタデータ） (2019-12-31T03:01:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。