論文の概要: Transformer Modeling for Both Scalability and Performance in Multivariate Time Series
- arxiv url: http://arxiv.org/abs/2509.19471v1
- Date: Tue, 23 Sep 2025 18:28:24 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-09-25 20:53:19.567036
- Title: Transformer Modeling for Both Scalability and Performance in Multivariate Time Series
- Title（参考訳）: 多変量時系列におけるスケーラビリティと性能の両立のためのトランスフォーマーモデリング
- Authors: Hunjae Lee, Corey Clark,
- Abstract要約: 本稿では,DELTAformer (Delegate Token Attention) を用いた変圧器を提案する。
DELTAformerは可変数で線形にスケールするが,実際は標準変圧器よりも優れていた。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Variable count is among the main scalability bottlenecks for transformer modeling in multivariate time series (MTS) data. On top of this, a growing consensus in the field points to indiscriminate inter-variable mixing as a potential source of noise-accumulation and performance degradation. This is likely exacerbated by sparsity of informative signals characteristic of many MTS systems coupled with representational misalignment stemming from indiscriminate information mixing between (heterogeneous) variables. While scalability and performance are often seen as competing interests in transformer design, we show that both can be improved simultaneously in MTS by strategically constraining the representational capacity of inter-variable mixing. Our proposed method, transformer with Delegate Token Attention (DELTAformer), constrains inter-variable modeling through what we call delegate tokens which are then used to perform full, unconstrained, inter-temporal modeling. Delegate tokens act as an implicit regularizer that forces the model to be highly selective about what inter-variable information is allowed to propagate through the network. Our results show that DELTAformer scales linearly with variable-count while actually outperforming standard transformers, achieving state-of-the-art performance across benchmarks and baselines. In addition, DELTAformer can focus on relevant signals better than standard transformers in noisy MTS environments and overall exhibit superior noise-resilience. Overall, results across various experiments confirm that by aligning our model design to leverage domain-specific challenges in MTS to our advantage, DELTAformer can simultaneously achieve linear scaling while actually improving its performance against standard, quadratic transformers.
- Abstract（参考訳）: 可変カウントは、多変量時系列(MTS)データにおけるトランスフォーマーモデリングの主要なスケーラビリティボトルネックの一つである。
これに加えて、フィールドにおけるコンセンサスの増加は、ノイズ蓄積と性能劣化の潜在的な原因として、変数間の混合を区別しないことを指摘する。
これは、多くのMSSシステムに特徴的な情報信号の空間性と、(不均一な)変数間の不特定情報混在に起因する表現的ミスアライメントによって悪化する可能性がある。
スケーラビリティと性能はトランスフォーマー設計における競合する関心事と見なされることが多いが, MTSでは, 異種混合の表現能力を戦略的に制限することにより, 両者を同時に改善できることが示されている。
提案手法は,delegate Token Attention (DELTAformer) を用いたトランスフォーマーであり,デリゲートトークンと呼ばれる方法で変数間モデリングを制約し,フルで制約のない時間間モデリングを行う。
デリゲートトークンは暗黙の正則化器として機能し、ネットワークを介して伝播することが許される変数間の情報に対して、モデルを高い選択性を持つように強制する。
この結果から, DELTAformerは, 標準変圧器よりも高い性能を保ちながら, 可変数で線形にスケールし, ベンチマークやベースラインにまたがる最先端性能を実現していることがわかった。
さらに、DELTAformerは、ノイズの多いMSS環境における標準変圧器よりも関連する信号に焦点を合わせ、総合的に優れた耐雑音性を示すことができる。
DELTAformerは, MTSにおけるドメイン固有の課題を活用できるようにモデル設計を整合させることで, 線形スケーリングを同時に実現し, その性能を標準の二次変換器に対して実際に向上させることができることを確認した。
関連論文リスト
- MTNet: Learning modality-aware representation with transformer for RGBT tracking [35.96855931247585]
MTNetと呼ばれるトランスフォーマーに基づくモダリティ対応トラッカーを提案する。
その後、グローバルな依存関係をキャプチャしてインスタンス表現を強化するために、Transformer fusion Networkが適用される。
提案手法は,3つのRGBTベンチマークにおいて,最先端の競合相手と比較して良好な結果が得られる。
論文 参考訳（メタデータ） (2025-08-24T10:01:11Z) - A temporal scale transformer framework for precise remaining useful life prediction in fuel cells [10.899223392837936]
TS Transformer (Temporal Scale Transformer) は、逆変換器(i Transformer)の拡張版である。
各タイムステップを入力トークンとして扱う従来のトランスフォーマーとは異なり、TSTransformerは異なる長さのシーケンスを異なる段階のトークンにマッピングし、シーケンス間モデリングを行う。
局所的な特徴抽出を改善し、時間スケールの特徴を捉え、トークン数と計算コストを削減する。
論文 参考訳（メタデータ） (2025-04-08T23:42:54Z) - Learnable Multi-Scale Wavelet Transformer: A Novel Alternative to Self-Attention [0.0]
Learnable Multi-Scale Wavelet Transformer (LMWT) は、標準的なドット生成の自己アテンションを置き換える新しいアーキテクチャである。
本稿では,学習可能なHaarウェーブレットモジュールの詳細な数学的定式化とトランスフォーマーフレームワークへの統合について述べる。
この結果から,LMWTは計算上の優位性を保ちながら,競争性能を向上することが示された。
論文 参考訳（メタデータ） (2025-04-08T22:16:54Z) - SEA: State-Exchange Attention for High-Fidelity Physics Based Transformers [1.1650821883155187]
シーケンシャルネットワークを用いた最近のアプローチは、動的システムのフィールド変数の推定において有望であることを示している。
ロールアウトエラーの蓄積に関する未解決の問題は、ネットワークが将来予測するときに、信頼できない見積もりをもたらす。
本稿では、符号化されたフィールド間の情報交換を可能にする新しいトランスフォーマーベースのモジュールである、ステート・エクスチェンジ・アテンション(SEA)モジュールを紹介する。
論文 参考訳（メタデータ） (2024-10-20T20:25:01Z) - Efficient Diffusion Transformer with Step-wise Dynamic Attention Mediators [83.48423407316713]
本稿では,クエリとキーを別々に扱うために,追加の仲介者トークンを組み込んだ新しい拡散トランスフォーマーフレームワークを提案する。
本モデルでは, 正確な非曖昧な段階を呈し, 詳細に富んだ段階へと徐々に遷移する。
本手法は,最近のSiTと統合した場合に,最先端のFIDスコア2.01を達成する。
論文 参考訳（メタデータ） (2024-08-11T07:01:39Z) - UniTST: Effectively Modeling Inter-Series and Intra-Series Dependencies for Multivariate Time Series Forecasting [98.12558945781693]
フラット化されたパッチトークンに統一された注意機構を含む変圧器ベースモデルUniTSTを提案する。
提案モデルでは単純なアーキテクチャを採用しているが,時系列予測のためのいくつかのデータセットの実験で示されたような,魅力的な性能を提供する。
論文 参考訳（メタデータ） (2024-06-07T14:39:28Z) - Considering Nonstationary within Multivariate Time Series with
Variational Hierarchical Transformer for Forecasting [12.793705636683402]
MTS内の非定常性と固有特性を考慮した強力な階層的確率的生成モジュールを開発した。
次に、階層時間系列変分変換器(HTV-Trans)という、明確に定義された変動生成動的モデルに対する変換器と組み合わせる。
HTV-Transは強力な確率モデルであり、MTSの表現表現を学習し、予測タスクに適用する。
論文 参考訳（メタデータ） (2024-03-08T16:04:36Z) - Isomer: Isomerous Transformer for Zero-shot Video Object Segmentation [59.91357714415056]
コンテクスト共有変換器(CST)とセマンティックガザリング散乱変換器(SGST)の2つの変種を提案する。
CSTは、軽量な計算により、画像フレーム内のグローバル共有コンテキスト情報を学習し、SGSTは、前景と背景のセマンティック相関を別々にモデル化する。
多段核融合にバニラ変換器を使用するベースラインと比較して,我々は13倍の速度向上を実現し,新しい最先端ZVOS性能を実現する。
論文 参考訳（メタデータ） (2023-08-13T06:12:00Z) - Towards Long-Term Time-Series Forecasting: Feature, Pattern, and
Distribution [57.71199089609161]
長期的時系列予測(LTTF)は、風力発電計画など、多くのアプリケーションで需要が高まっている。
トランスフォーマーモデルは、高い計算自己認識機構のため、高い予測能力を提供するために採用されている。
LTTFの既存の手法を3つの面で区別する,Conformer という,効率的なTransformer ベースモデルを提案する。
論文 参考訳（メタデータ） (2023-01-05T13:59:29Z) - ViTAE: Vision Transformer Advanced by Exploring Intrinsic Inductive Bias [76.16156833138038]
コンボリューション, ie, ViTAEから内在性IBを探索するビジョントランスフォーマーを提案する。
ViTAEはいくつかの空間ピラミッド縮小モジュールを備えており、入力イメージをリッチなマルチスケールコンテキストでトークンに埋め込む。
各トランス層では、ViTAEはマルチヘッド自己保持モジュールと平行な畳み込みブロックを持ち、その特徴は融合されフィードフォワードネットワークに供給される。
論文 参考訳（メタデータ） (2021-06-07T05:31:06Z) - Bayesian Transformer Language Models for Speech Recognition [59.235405107295655]
トランスフォーマーで表現される最先端のニューラルネットワークモデル(LM)は非常に複雑である。
本稿では,トランスフォーマーLM推定のためのベイズ学習フレームワークを提案する。
論文 参考訳（メタデータ） (2021-02-09T10:55:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。