論文の概要: Efficient Linear Attention for Multivariate Time Series Modeling via Entropy Equality

• arxiv url: http://arxiv.org/abs/2511.03190v1
• Date: Wed, 05 Nov 2025 05:07:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-06 18:19:32.334042
• Title: Efficient Linear Attention for Multivariate Time Series Modeling via Entropy Equality
• Title（参考訳）: エントロピー等式を用いた多変量時系列モデリングのための効率的な線形注意法
• Authors: Mingtao Zhang, Guoli Yang, Zhanxing Zhu, Mengzhu Wang, Xiaoying Bai,
• Abstract要約: 本稿では,制約を克服するための新しい線形アテンション機構を提案する。 我々は, 線形複雑度のみを用いて, ドット積分布のエントロピーを計算するアルゴリズムを開発した。
• 参考スコア（独自算出の注目度）: 30.606567864965243
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Attention mechanisms have been extensively employed in various applications, including time series modeling, owing to their capacity to capture intricate dependencies; however, their utility is often constrained by quadratic computational complexity, which impedes scalability for long sequences. In this work, we propose a novel linear attention mechanism designed to overcome these limitations. Our approach is grounded in a theoretical demonstration that entropy, as a strictly concave function on the probability simplex, implies that distributions with aligned probability rankings and similar entropy values exhibit structural resemblance. Building on this insight, we develop an efficient approximation algorithm that computes the entropy of dot-product-derived distributions with only linear complexity, enabling the implementation of a linear attention mechanism based on entropy equality. Through rigorous analysis, we reveal that the effectiveness of attention in spatio-temporal time series modeling may not primarily stem from the non-linearity of softmax but rather from the attainment of a moderate and well-balanced weight distribution. Extensive experiments on four spatio-temporal datasets validate our method, demonstrating competitive or superior forecasting performance while achieving substantial reductions in both memory usage and computational time.
• Abstract（参考訳）: 注意機構は、複雑な依存関係をキャプチャする能力のため、時系列モデリングを含む様々なアプリケーションで広く採用されているが、その効用は2次計算の複雑さに制約され、長いシーケンスのスケーラビリティを阻害することが多い。 本研究では,これらの制約を克服するための新しい線形アテンション機構を提案する。 我々のアプローチは、エントロピーが確率単純性上の厳密な凹函数として、整列した確率ランクと類似のエントロピー値を持つ分布が構造的類似性を示すことを示唆する理論実証に基礎を置いている。 この知見に基づいて,線形複雑度のみを用いてドット積分布のエントロピーを計算し,エントロピー等式に基づく線形アテンション機構の実装を可能にする,効率的な近似アルゴリズムを開発した。 厳密な分析により、時空間時系列モデリングにおける注意の有効性は、主にソフトマックスの非線形性ではなく、適度でバランスの取れた重量分布の達成に起因していると考えられる。 4つの時空間データセットの広範囲な実験により、メモリ使用量と計算時間の両方で大幅な削減を達成しつつ、競合性または優れた予測性能を実証し、本手法の有効性を検証した。

関連論文リスト

• Finite-Time Convergence Analysis of ODE-based Generative Models for Stochastic Interpolants [32.27430900126022]
  インターポーラントは、任意のデータ分散間でサンプルを変換するための堅牢なフレームワークを提供する。 その可能性にもかかわらず、実用的な数値スキームに対する厳密な有限時間収束保証は、ほとんど未解明のままである。
  論文  参考訳（メタデータ） (2025-08-10T13:23:57Z)
• Finite-Time Analysis of Discrete-Time Stochastic Interpolants [32.27430900126022]
  補間フレームワークの最初の離散時間解析を行い、分布推定誤差の有限時間上限を導出する。 この結果は収束加速のための効率的なスケジュールを設計するための新しい方法を提供する。
  論文  参考訳（メタデータ） (2025-02-13T10:07:35Z)
• ProGen: Revisiting Probabilistic Spatial-Temporal Time Series Forecasting from a Continuous Generative Perspective Using Stochastic Differential Equations [18.64802090861607]
  ProGen Proは、不確実性を管理しながら依存関係を効果的にキャプチャする堅牢なソリューションを提供する。 4つのベンチマークトラフィックデータセットの実験により、ProGen Proは最先端の決定論的確率モデルより優れていることが示された。
  論文  参考訳（メタデータ） (2024-11-02T14:37:30Z)
• Non-Parametric Learning of Stochastic Differential Equations with Non-asymptotic Fast Rates of Convergence [65.63201894457404]
  非線形微分方程式のドリフトと拡散係数の同定のための新しい非パラメトリック学習パラダイムを提案する。 鍵となる考え方は、基本的には、対応するフォッカー・プランク方程式のRKHSに基づく近似をそのような観測に適合させることである。
  論文  参考訳（メタデータ） (2023-05-24T20:43:47Z)
• The Connection between Discrete- and Continuous-Time Descriptions of Gaussian Continuous Processes [60.35125735474386]
  我々は、一貫した推定子をもたらす離散化が粗粒化下での不変性を持つことを示す。 この結果は、導関数再構成のための微分スキームと局所時間推論アプローチの組み合わせが、2次または高次微分方程式の時系列解析に役立たない理由を説明する。
  論文  参考訳（メタデータ） (2021-01-16T17:11:02Z)
• Nonlinear Two-Time-Scale Stochastic Approximation: Convergence and Finite-Time Performance [1.52292571922932]
  非線形2時間スケール近似の収束と有限時間解析について検討する。 特に,本手法は期待値の収束を$mathcalO (1/k2/3)$で達成し,$k$は反復数であることを示す。
  論文  参考訳（メタデータ） (2020-11-03T17:43:39Z)
• Stochastically forced ensemble dynamic mode decomposition for forecasting and analysis of near-periodic systems [65.44033635330604]
  本稿では,観測力学を強制線形系としてモデル化した新しい負荷予測手法を提案する。 固有線型力学の利用は、解釈可能性やパーシモニーの観点から、多くの望ましい性質を提供することを示す。 電力グリッドからの負荷データを用いたテストケースの結果が提示される。
  論文  参考訳（メタデータ） (2020-10-08T20:25:52Z)
• Multiplicative noise and heavy tails in stochastic optimization [62.993432503309485]
  経験的最適化は現代の機械学習の中心であるが、その成功における役割はまだ不明である。 分散による離散乗法雑音のパラメータによく現れることを示す。 最新のステップサイズやデータを含む重要な要素について、詳細な分析を行い、いずれも最先端のニューラルネットワークモデルで同様の結果を示す。
  論文  参考訳（メタデータ） (2020-06-11T09:58:01Z)
• On dissipative symplectic integration with applications to gradient-based optimization [77.34726150561087]
  本稿では,離散化を体系的に実現する幾何学的枠組みを提案する。 我々は、シンプレクティックな非保守的、特に散逸的なハミルトン系への一般化が、制御された誤差まで収束率を維持することができることを示す。
  論文  参考訳（メタデータ） (2020-04-15T00:36:49Z)
• Optimization with Momentum: Dynamical, Control-Theoretic, and Symplectic Perspectives [97.16266088683061]
  この論文は、運動量に基づく最適化アルゴリズムにおいてシンプレクティックな離散化スキームが重要であることを厳格に証明している。 これは加速収束を示すアルゴリズムの特性を提供する。
  論文  参考訳（メタデータ） (2020-02-28T00:32:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。