論文の概要: Dynamic Relational Priming Improves Transformer in Multivariate Time Series
- arxiv url: http://arxiv.org/abs/2509.12196v1
- Date: Mon, 15 Sep 2025 17:56:15 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-09-16 17:26:23.443893
- Title: Dynamic Relational Priming Improves Transformer in Multivariate Time Series
- Title（参考訳）: 多変量時系列における動的リレーショナルプライミングによる変圧器の改良
- Authors: Hunjae Lee, Corey Clark,
- Abstract要約: 動的リレーショナルプライミングによる注意(プライムアテンション)を提案する。
主要な注意力は、ベンチマーク全体で標準の注意力より一貫して優れています。
また、プライマリアテンションは、標準アテンションに比べて最大40%のシーケンス長を用いて、同等または優れたパフォーマンスを達成する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Standard attention mechanisms in transformers employ static token representations that remain unchanged across all pair-wise computations in each layer. This limits their representational alignment with the potentially diverse relational dynamics of each token-pair interaction. While they excel in domains with relatively homogeneous relationships, standard attention's static relational learning struggles to capture the diverse, heterogeneous inter-channel dependencies of multivariate time series (MTS) data--where different channel-pair interactions within a single system may be governed by entirely different physical laws or temporal dynamics. To better align the attention mechanism for such domain phenomena, we propose attention with dynamic relational priming (prime attention). Unlike standard attention where each token presents an identical representation across all of its pair-wise interactions, prime attention tailors each token dynamically (or per interaction) through learnable modulations to best capture the unique relational dynamics of each token pair, optimizing each pair-wise interaction for that specific relationship. This representational plasticity of prime attention enables effective extraction of relationship-specific information in MTS while maintaining the same asymptotic computational complexity as standard attention. Our results demonstrate that prime attention consistently outperforms standard attention across benchmarks, achieving up to 6.5\% improvement in forecasting accuracy. In addition, we find that prime attention achieves comparable or superior performance using up to 40\% less sequence length compared to standard attention, further demonstrating its superior relational modeling capabilities.
- Abstract（参考訳）: トランスの標準的なアテンションメカニズムは、各層における全てのペアワイズ計算で変わらない静的トークン表現を用いる。
これにより、それぞれのトークン対相互作用の潜在的に多様なリレーショナルダイナミクスとの表現的アライメントが制限される。
それらは比較的均質な関係を持つ領域において優れているが、標準的注意の静的な関係学習は、多変量時系列(MTS)データの多様で異質なチャネル間依存関係を捉えるのに苦労している。
このような領域現象に対する注意機構をよりよく整合させるため、動的関係プライミング(プライムアテンション)による注意を提案する。
それぞれのトークンが全てのペアワイズ相互作用に同じ表現を示す標準的な注意とは異なり、素注意は各トークンを動的に(または相互作用毎に)調整し、各トークンペアのユニークなリレーショナルダイナミクスを最大限に捉え、その特定の関係に対して各ペアワイズ相互作用を最適化する。
プライマリアテンションの表現的可塑性は、標準アテンションと同じ漸近的な計算複雑性を維持しつつ、MSS内の関係固有情報を効果的に抽出することを可能にする。
以上の結果から,最大6.5倍の精度向上を達成し,ベンチマーク全体の標準的注目度を一貫して上回る結果が得られた。
さらに,プライマリ・アテンションは,標準的なアテンションに比べて最大40倍のシーケンス長で同等あるいは優れたパフォーマンスを達成し,その優れたリレーショナル・モデリング能力を示す。
関連論文リスト
- Can We Achieve Efficient Diffusion without Self-Attention? Distilling Self-Attention into Convolutions [94.21989689001848]
従来の自己アテンションモジュールをピラミッド畳み込みブロック((Delta)ConvBlocks)に置き換えるための(Delta)ConvFusionを提案する。
ローカライズされた畳み込み操作に注意パターンを蒸留し、他のコンポーネントを凍結させながら、(Delta)ConvFusionは、トランスフォーマーベースの処理に匹敵する性能を達成し、計算コストを6929$times$、LinFusionを5.42$times$の効率で上回る。
論文 参考訳（メタデータ） (2025-04-30T03:57:28Z) - Scaled and Inter-token Relation Enhanced Transformer for Sample-restricted Residential NILM [0.0]
本稿では,2つの革新点を持つトランスフォーマーアーキテクチャを提案する。
提案手法をREDDデータセット上で検証し, 各種アプライアンスに対してF1スコアを10～15%向上させる結果を得た。
論文 参考訳（メタデータ） (2024-10-12T18:58:45Z) - TimeGraphs: Graph-based Temporal Reasoning [64.18083371645956]
TimeGraphsは階層的時間グラフとして動的相互作用を特徴付ける新しいアプローチである。
提案手法は,コンパクトなグラフベース表現を用いて相互作用をモデル化し,多種多様な時間スケールでの適応推論を可能にする。
我々は,サッカーシミュレータ,抵抗ゲーム,MOMA人間活動データセットなど,複雑でダイナミックなエージェントインタラクションを持つ複数のデータセット上でTimeGraphsを評価する。
論文 参考訳（メタデータ） (2024-01-06T06:26:49Z) - CSformer: Combining Channel Independence and Mixing for Robust Multivariate Time Series Forecasting [3.6814181034608664]
本稿では,チャネル独立戦略と時系列解析の混合手法を提案する。
CSformerは,2段階のマルチヘッド自己保持機構を備えた新しいフレームワークである。
本フレームワークは,シーケンスアダプタとチャネルアダプタを効果的に組み込んで,重要な情報を識別するモデルの能力を大幅に向上させる。
論文 参考訳（メタデータ） (2023-12-11T09:10:38Z) - Correlated Attention in Transformers for Multivariate Time Series [22.542109523780333]
本稿では,特徴量依存を効率的に捕捉し,既存のトランスフォーマーのエンコーダブロックにシームレスに統合できる新しいアテンション機構を提案する。
特に、関連性のある注意は、特徴チャネルを横断して、クエリとキー間の相互共分散行列をラグ値で計算し、サブシリーズレベルで選択的に表現を集約する。
このアーキテクチャは、瞬時だけでなく、ラタグされた相互相関の発見と表現の学習を容易にすると同時に、本質的に時系列の自動相関をキャプチャする。
論文 参考訳（メタデータ） (2023-11-20T17:35:44Z) - Spatial-Temporal Knowledge-Embedded Transformer for Video Scene Graph
Generation [64.85974098314344]
映像シーングラフ生成(VidSGG)は、映像シーン内の物体を特定し、その映像との関係を推測することを目的としている。
因みに、オブジェクトペアとその関係は、各画像内の空間的共起相関と、異なる画像間の時間的一貫性/遷移相関を享受する。
本稿では,従来の空間的時間的知識をマルチヘッド・クロスアテンション機構に組み込んだ時空間的知識埋め込み型トランス (STKET) を提案する。
論文 参考訳（メタデータ） (2023-09-23T02:40:28Z) - Learning Interaction Variables and Kernels from Observations of
Agent-Based Systems [14.240266845551488]
本稿では,エージェントの軌道に沿った状態や速度の観測を前提として,相互作用カーネルが依存する変数と相互作用カーネル自体を両立させる学習手法を提案する。
これにより、高次元観測データから次元性の呪いを避ける効果的な次元削減が得られる。
我々は,本手法の学習能力を,様々な一階対話システムに示す。
論文 参考訳（メタデータ） (2022-08-04T16:31:01Z) - Dynamic Relation Discovery and Utilization in Multi-Entity Time Series
Forecasting [92.32415130188046]
多くの現実世界のシナリオでは、実体の間に決定的かつ暗黙的な関係が存在する可能性がある。
本稿では,自動グラフ学習(A2GNN)を用いたマルチグラフニューラルネットワークを提案する。
論文 参考訳（メタデータ） (2022-02-18T11:37:04Z) - Inference of time-ordered multibody interactions [0.8057006406834466]
時間的および時間的依存関係を示す複雑なシステムと多体依存関係を記述するために、時間順の多体インタラクションを導入する。
本稿では,ノード状態のシステムレベルダイナミクスを捉えるデータから,これらの相互作用を抽出するアルゴリズムを提案する。
我々は,統計的誤差に対するアルゴリズムの頑健さと,擬似相互作用アンサンブルの推論におけるその効率を実験的に検証した。
論文 参考訳（メタデータ） (2021-11-29T15:41:06Z) - Relational Self-Attention: What's Missing in Attention for Video
Understanding [52.38780998425556]
リレーショナル・セルフアテンション(RSA)と呼ばれるリレーショナル・フィーチャー・トランスフォーメーションを導入する。
我々の実験およびアブレーション研究により、RSAネットワークは、畳み込みや自己意図的ネットワークよりも大幅に優れていることが示された。
論文 参考訳（メタデータ） (2021-11-02T15:36:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。