論文の概要: Be Wary of Your Time Series Preprocessing

• arxiv url: http://arxiv.org/abs/2602.17568v1
• Date: Thu, 19 Feb 2026 17:23:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-20 15:21:29.237174
• Title: Be Wary of Your Time Series Preprocessing
• Title（参考訳）: 時系列前処理に気をつけて
• Authors: Sofiane Ennadir, Tianze Wang, Oleg Smirnov, Sahar Asadi, Lele Cao,
• Abstract要約: 本稿では,正規化戦略,特にインスタンスベースおよびグローバルスケーリングがTransformerベースのアーキテクチャの表現性に与える影響について,最初の公式解析を行う。 標準法とMin-Max法という2つの広く用いられている正規化法の理論的境界を導出する。 以上の結果から, 正規化法が他の手法より常に優れていることはなく, 正規化を省略することで性能が向上することが示唆された。
• 参考スコア（独自算出の注目度）: 8.040528928994556
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Normalization and scaling are fundamental preprocessing steps in time series modeling, yet their role in Transformer-based models remains underexplored from a theoretical perspective. In this work, we present the first formal analysis of how different normalization strategies, specifically instance-based and global scaling, impact the expressivity of Transformer-based architectures for time series representation learning. We propose a novel expressivity framework tailored to time series, which quantifies a model's ability to distinguish between similar and dissimilar inputs in the representation space. Using this framework, we derive theoretical bounds for two widely used normalization methods: Standard and Min-Max scaling. Our analysis reveals that the choice of normalization strategy can significantly influence the model's representational capacity, depending on the task and data characteristics. We complement our theory with empirical validation on classification and forecasting benchmarks using multiple Transformer-based models. Our results show that no single normalization method consistently outperforms others, and in some cases, omitting normalization entirely leads to superior performance. These findings highlight the critical role of preprocessing in time series learning and motivate the need for more principled normalization strategies tailored to specific tasks and datasets.
• Abstract（参考訳）: 正規化とスケーリングは時系列モデリングにおける基本的な前処理ステップであるが、Transformerベースのモデルにおけるそれらの役割は理論的な観点から過小評価されている。 本研究では、時系列表現学習のためのトランスフォーマーアーキテクチャの表現性に、特にインスタンスベースとグローバルスケールの異なる正規化戦略がどう影響するかを、初めて公式分析する。 本稿では,表現空間における類似した入力と異種入力を識別するモデルの能力を定量化する,時系列に合わせた新しい表現性フレームワークを提案する。 この枠組みを用いて、2つの広く使われている正規化法(Standard)とMin-Maxスケーリング(Min-Max scaling)の理論的境界を導出する。 分析の結果,正規化戦略の選択は,タスクやデータ特性に応じて,モデルの表現能力に大きな影響を与えることがわかった。 複数のTransformerモデルを用いた分類と予測ベンチマークの実証検証により,本理論を補完する。 以上の結果から, 正規化法が他の手法より常に優れていることはなく, また, 正規化を省略することで性能が向上することが示唆された。 これらの知見は、時系列学習における前処理の重要な役割を強調し、特定のタスクやデータセットに合わせたより原則化された正規化戦略の必要性を動機付けている。

関連論文リスト

• VARMA-Enhanced Transformer for Time Series Forecasting [4.982130518684668]
  VARMAformerは、古典的な時系列分析の原理で、クロスアテンションのみのフレームワークの効率を相乗化する新しいアーキテクチャである。 これらの古典的な洞察を現代のバックボーンに融合させることで、VARMAformerはグローバル、長距離の依存関係と局所的な統計構造の両方をキャプチャする。
  論文  参考訳（メタデータ） (2025-09-05T03:32:51Z)
• Bridging Distribution Gaps in Time Series Foundation Model Pretraining with Prototype-Guided Normalization [29.082583523943157]
  本稿では,Transformerアーキテクチャ内でのドメイン対応適応正規化戦略を提案する。 従来のLayerNormをプロトタイプ誘導動的正規化機構(ProtoNorm)に置き換える。 本手法は,従来の事前学習手法よりも,分類タスクと予測タスクの両方において優れていた。
  論文  参考訳（メタデータ） (2025-04-15T06:23:00Z)
• Large EEG-U-Transformer for Time-Step Level Detection Without Pre-Training [1.3254304182988286]
  局所的特徴と大域的特徴の両方を捉えることで表現を効率的に学習する単純なU字モデルを提案する。 他のウィンドウレベルの分類モデルと比較して,本手法は時間段階の予測を直接出力する。 我々のモデルは、てんかんおよび他の神経疾患における人工知能に関する国際会議において、2025年の第1回「青信号検出チャレンジ」で優勝した。
  論文  参考訳（メタデータ） (2025-04-01T01:33:42Z)
• In-Context Linear Regression Demystified: Training Dynamics and Mechanistic Interpretability of Multi-Head Softmax Attention [52.159541540613915]
  本研究では,マルチヘッド型ソフトマックスアテンションモデルを用いて,線形データを用いたコンテキスト内学習を行う方法について検討する。 この結果から,学習内容の学習能力は,そのアーキテクチャと基礎となるデータ分布の集約的効果として,訓練されたトランスフォーマーから出現することが明らかとなった。
  論文  参考訳（メタデータ） (2025-03-17T02:00:49Z)
• Scaling and renormalization in high-dimensional regression [72.59731158970894]
  リッジ回帰に関する最近の結果について統一的な視点を提示する。 我々は、物理とディープラーニングの背景を持つ読者を対象に、ランダム行列理論と自由確率の基本的なツールを使用する。 我々の結果は拡張され、初期のスケーリング法則のモデルについて統一的な視点を提供する。
  論文  参考訳（メタデータ） (2024-05-01T15:59:00Z)
• Continuously Generalized Ordinal Regression for Linear and Deep Models [41.03778663275373]
  正規回帰は、クラスが順序を持ち、予測エラーが予測されたクラスが真のクラスからさらに大きくなるような分類タスクである。 本稿では,クラス固有の超平面斜面をモデル化するための新しい手法を提案する。 本手法は,順序回帰ベンチマークデータセットの完全セットに対して,標準順序ロジスティックモデルよりも大幅に優れる。
  論文  参考訳（メタデータ） (2022-02-14T19:49:05Z)
• Generalization Metrics for Practical Quantum Advantage in Generative Models [68.8204255655161]
  生成モデリングは量子コンピュータにとって広く受け入れられている自然のユースケースである。 我々は,アルゴリズムの一般化性能を計測して,生成モデリングのための実用的な量子優位性を探索する,単純で曖昧な手法を構築した。 シミュレーションの結果、我々の量子にインスパイアされたモデルは、目に見えない、有効なサンプルを生成するのに、最大で68倍の費用がかかります。
  論文  参考訳（メタデータ） (2022-01-21T16:35:35Z)
• Squared $\ell_2$ Norm as Consistency Loss for Leveraging Augmented Data to Learn Robust and Invariant Representations [76.85274970052762]
  元のサンプルと拡張されたサンプルの埋め込み/表現の距離を規則化することは、ニューラルネットワークの堅牢性を改善するための一般的なテクニックである。 本稿では、これらの様々な正規化選択について検討し、埋め込みの正規化方法の理解を深める。 私たちが特定したジェネリックアプローチ(squared $ell$ regularized augmentation)は、それぞれ1つのタスクのために特別に設計されたいくつかの手法より優れていることを示す。
  論文  参考訳（メタデータ） (2020-11-25T22:40:09Z)
• The Effectiveness of Discretization in Forecasting: An Empirical Study on Neural Time Series Models [15.281725756608981]
  ニューラル予測アーキテクチャの予測性能に及ぼすデータ入力および出力変換の影響について検討する。 バイナリ化は実値入力の正規化に比べてほぼ常に性能が向上することがわかった。
  論文  参考訳（メタデータ） (2020-05-20T15:09:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。