論文の概要: UnitNorm: Rethinking Normalization for Transformers in Time Series

• arxiv url: http://arxiv.org/abs/2405.15903v1
• Date: Fri, 24 May 2024 19:58:25 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-29 02:10:19.870673
• Title: UnitNorm: Rethinking Normalization for Transformers in Time Series
• Title（参考訳）: UnitNorm: トランスフォーマーの正規化を時系列で再考する
• Authors: Nan Huang, Christian Kümmerle, Xiang Zhang,
• Abstract要約: 正規化技術は,時系列解析タスクにおけるトランスフォーマーモデルの性能向上と安定性向上に不可欠である。 入力ベクトルをノルムで拡張し、注意パターンを変調する新しい手法であるUnitNormを提案する。 UnitNormの有効性は、予測、分類、異常検出など、さまざまな時系列分析タスクで実証されている。
• 参考スコア（独自算出の注目度）: 9.178527914585446
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Normalization techniques are crucial for enhancing Transformer models' performance and stability in time series analysis tasks, yet traditional methods like batch and layer normalization often lead to issues such as token shift, attention shift, and sparse attention. We propose UnitNorm, a novel approach that scales input vectors by their norms and modulates attention patterns, effectively circumventing these challenges. Grounded in existing normalization frameworks, UnitNorm's effectiveness is demonstrated across diverse time series analysis tasks, including forecasting, classification, and anomaly detection, via a rigorous evaluation on 6 state-of-the-art models and 10 datasets. Notably, UnitNorm shows superior performance, especially in scenarios requiring robust attention mechanisms and contextual comprehension, evidenced by significant improvements by up to a 1.46 decrease in MSE for forecasting, and a 4.89% increase in accuracy for classification. This work not only calls for a reevaluation of normalization strategies in time series Transformers but also sets a new direction for enhancing model performance and stability. The source code is available at https://anonymous.4open.science/r/UnitNorm-5B84.
• Abstract（参考訳）: 正規化技術はトランスフォーマーモデルの性能向上と時系列解析タスクの安定性向上に不可欠であるが、バッチやレイヤの正規化といった従来の手法はトークンシフトやアテンションシフト、スパースアテンションといった問題を引き起こすことが多い。 入力ベクトルをノルムで拡張し、注意パターンを変調し、これらの課題を効果的に回避する新しい手法であるUnitNormを提案する。 既存の正規化フレームワークに基づいて、UnitNormの有効性は6つの最先端モデルと10のデータセットに関する厳密な評価を通じて、予測、分類、異常検出を含むさまざまな時系列分析タスクで実証されている。 特にUnitNormは、堅牢な注意機構とコンテキスト理解を必要とするシナリオにおいて、予測のためのMSEが最大1.46減少し、分類のための精度が4.89%向上していることが証明されている。 この研究は、時系列トランスフォーマーにおける正規化戦略の再評価だけでなく、モデル性能と安定性を向上させるための新たな方向性を定めている。 ソースコードはhttps://anonymous.4open.science/r/UnitNorm-5B84で公開されている。

関連論文リスト

• Autoregressive Moving-average Attention Mechanism for Time Series Forecasting [9.114664059026767]
  本稿では,各種の線形アテンション機構に適応可能な自己回帰(AR)移動平均アテンション構造を提案する。 本稿では、まず、時系列予測(TSF)タスクに対して、これまで見過ごされていたデコーダのみの自己回帰変換モデルが、最良のベースラインに匹敵する結果が得られることを実証する。
  論文  参考訳（メタデータ） (2024-10-04T05:45:50Z)
• Frequency Adaptive Normalization For Non-stationary Time Series Forecasting [7.881136718623066]
  時系列予測は、トレンドと季節パターンを進化させる非定常データに対処する必要がある。 非定常性に対処するために、ある統計測度でこの傾向からの影響を軽減するために、最近インスタンス正規化が提案されている。 本稿では、周波数適応正規化(FAN)と呼ばれる新しいインスタンス正規化ソリューションを提案する。
  論文  参考訳（メタデータ） (2024-09-30T15:07:16Z)
• Localized Gaussians as Self-Attention Weights for Point Clouds Correspondence [92.07601770031236]
  本稿では,エンコーダのみのトランスフォーマーアーキテクチャのアテンションヘッドにおける意味的意味パターンについて検討する。 注意重みの修正はトレーニングプロセスの促進だけでなく,最適化の安定性の向上にも寄与する。
  論文  参考訳（メタデータ） (2024-09-20T07:41:47Z)
• Attention as an RNN [66.5420926480473]
  我々は,そのテキストマンディ・ツー・ワンのRNN出力を効率的に計算できる特別なリカレントニューラルネットワーク(RNN)として注目されることを示す。 本稿では,並列プレフィックススキャンアルゴリズムを用いて,注目のテキストマンディ・ツー・マニーRNN出力を効率よく計算する手法を提案する。 Aarensは、一般的な4つのシーケンシャルな問題設定に散らばる38ドルのデータセットで、Transformersに匹敵するパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2024-05-22T19:45:01Z)
• Boosting X-formers with Structured Matrix for Long Sequence Time Series Forecasting [7.3758245014991255]
  本稿では,Surrogate Attention Blocks (SAB)とSurrogate Feed-Forward Neural Network Blocks (SFB)を統合してトランスフォーマーモデルを強化する新しいアーキテクチャフレームワークを提案する。 5つの異なる時系列タスクにわたる9つのトランスフォーマー変種の実験では、平均性能は9.45%向上し、モデルサイズは46%減少した。
  論文  参考訳（メタデータ） (2024-05-21T02:37:47Z)
• Attention as Robust Representation for Time Series Forecasting [23.292260325891032]
  多くの実用化には時系列予測が不可欠である。 トランスフォーマーの重要な特徴、注意機構、データ表現を強化するために動的に埋め込みを融合させ、しばしば注意重みを副産物の役割に還元する。 提案手法は,時系列の主表現として注目重みを高くし,データポイント間の時間的関係を利用して予測精度を向上させる。
  論文  参考訳（メタデータ） (2024-02-08T03:00:50Z)
• Consensus-Adaptive RANSAC [104.87576373187426]
  本稿では,パラメータ空間の探索を学習する新しいRANSACフレームワークを提案する。 注意機構は、ポイント・ツー・モデル残差のバッチで動作し、軽量のワンステップ・トランスフォーマーで見いだされたコンセンサスを考慮するために、ポイント・ツー・モデル推定状態を更新する。
  論文  参考訳（メタデータ） (2023-07-26T08:25:46Z)
• Persistence Initialization: A novel adaptation of the Transformer architecture for Time Series Forecasting [0.7734726150561088]
  時系列予測は多くの実世界の応用において重要な問題である。 本稿では,時系列予測のタスクに着目したトランスフォーマーアーキテクチャの新たな適応を提案する。 ReZero正規化とロータリー位置符号化を備えたデコーダトランスを用いるが、この適応は任意の自己回帰型ニューラルネットワークモデルに適用できる。
  論文  参考訳（メタデータ） (2022-08-30T13:04:48Z)
• Non-stationary Transformers: Exploring the Stationarity in Time Series Forecasting [86.33543833145457]
  本稿では,2つの相互依存モジュールを持つ汎用フレームワークとして,非定常変圧器を提案する。 我々のフレームワークは、メインストリームのトランスフォーマーを、大きなマージンで継続的に増加させ、トランスフォーマーで49.43%、インフォーマーで47.34%、改革派で46.89%削減します。
  論文  参考訳（メタデータ） (2022-05-28T12:27:27Z)
• Pruning Redundant Mappings in Transformer Models via Spectral-Normalized Identity Prior [54.629850694790036]
  スペクトル正規化アイデンティティ事前 (SNIP) は、トランスフォーマーモデルにおける残余モジュール全体をアイデンティティマッピングに向けてペナライズする構造化プルーニング手法である。 5つのGLUEベンチマークタスクでBERTを用いて実験を行い、SNIPが同等の性能を維持しながら効率的な刈り取り結果が得られることを示した。
  論文  参考訳（メタデータ） (2020-10-05T05:40:56Z)
• Evaluating Prediction-Time Batch Normalization for Robustness under Covariate Shift [81.74795324629712]
  我々は予測時間バッチ正規化と呼び、共変量シフト時のモデル精度とキャリブレーションを大幅に改善する。 予測時間バッチ正規化は、既存の最先端アプローチに相補的な利点をもたらし、ロバスト性を向上させることを示します。 この手法は、事前トレーニングと併用して使用すると、さまざまな結果が得られるが、より自然なタイプのデータセットシフトでは、パフォーマンスが良くないようだ。
  論文  参考訳（メタデータ） (2020-06-19T05:08:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。