論文の概要: Scale-Invariant Training for Time Series Foundation Models
- arxiv url: http://arxiv.org/abs/2610.07324v1
- Date: Mon, 05 Oct 2026 19:56:49 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-08 02:58:29.627332
- Title: Scale-Invariant Training for Time Series Foundation Models
- Title（参考訳）: 時系列基礎モデルのスケール不変トレーニング
- Abstract要約: 時系列基礎モデル(TSFM)は、時系列データセットの大規模なコレクションに基づいて訓練される。
本稿では、ReVIN(Reversible Instance Normalization)スケールモデル入力のようなアフィンスケーリング手法が、損失を計算する前に変換を反転させることを示す。
この反転は、スケールされた対象の損失に対して各系列の勾配を$bp$で乗算し、$b$はスケーリング分母(例えば標準偏差)、$p$は損失次数であることを示す。
- 参考スコア（独自算出の注目度）: 15.812414437576683
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Time series foundation models (TSFMs) are trained on large collections of time series datasets that span various morphologies and domains. This setting exposes models to series whose scales -- typical magnitudes of their values -- can differ substantially. Affine scaling methods such as Reversible Instance Normalization (ReVIN) scale model inputs and reverse the transform before computing the loss. We show that this inversion multiplies each series' gradient by $b^p$ relative to loss on scaled targets, where $b$ is the scaling denominator (e.g., standard deviation) and $p$ is the loss degree. We call this scale-contaminated training (ScaleCon), because the scale of each series consequently becomes an importance weight, causing high-scale series to dominate training. For any scale-equivariant scaler and residual loss that is homogeneous of degree $p$, including MSE, MAE, and Quantile Loss, we prove that computing loss on scaled targets makes every mini-batch gradient and, consequently, the full optimization trajectory invariant to arbitrary independent rescaling of the training series, yielding scale-invariant training (ScaleIn). Notably, existing TSFMs use both objectives, with neither consistent reporting nor a common convention on how to compute training loss. We isolate the convergence disparity induced by ScaleCon and its correction under ScaleIn in controlled studies on synthetic and real data. In pretraining across four TSFM architectures, ScaleIn lowers MASE in all 24 architecture-benchmark comparisons, with average reductions across TSFMs of 18.8% on GIFT-Eval and 21.9% on the M-competitions. The gains extend to supervised neural forecasting, where it lowers MASE in 16 of 20 matched settings. Most existing time series forecasting pipelines can adopt ScaleIn with a one-line code change.
- Abstract（参考訳）: 時系列基礎モデル(TSFM)は、様々な形態や領域にまたがる時系列データセットの大規模なコレクションに基づいて訓練される。
この設定は、その値の典型的な大きさであるスケールが著しく異なるシリーズにモデルを公開します。
ReVIN(Reversible Instance Normalization)スケールモデル入力のようなアフィンスケーリング手法は、損失を計算する前に変換を反転させる。
この逆変換は、スケールされた対象の損失に対して各系列の勾配を$b^p$で乗算し、$b$はスケーリング分母(例えば標準偏差)、$p$は損失次数であることを示す。
その結果,各シリーズの規模が重くなり,上位のシリーズが支配的になるため,スケールコントレーニング(ScaleCon)と呼ぶ。
MSE, MAE, およびQuantile Lossを含む, 次数$p$の等質な任意のスケール同変スケーラと残留損失に対して, スケールされた対象に対する計算損失がすべてのミニバッチ勾配を生じさせ, 結果として, トレーニング系列の任意の独立再スケーリングに対して完全な最適化軌道が不変であり, スケール不変トレーニング(Scale In)が得られることを証明する。
特に、既存のTSFMは両方の目的を使い、一貫性のあるレポートもトレーニング損失の計算方法に関する共通の規約もない。
合成データと実データに対する制御研究において,ScaleCon による収束格差と ScaleIn による補正を分離した。
4つのTSFMアーキテクチャの事前トレーニングにおいて、ScaleInは24のアーキテクチャとベンチマークの比較でMASEを低くし、GIFT-Evalでは18.8%、M競合では21.9%となっている。
ゲインは教師付きニューラルネットワーク予測に拡張され、20のマッチした設定のうち16のMASEが低下する。
ほとんどの既存の時系列予測パイプラインは、1行のコード変更でScaleInを採用することができる。
関連論文リスト
- How to scale your HEP ML models: A recipe for robust architecture comparisons at scale [32.678488127356594]
我々は、ロバストなスケーリング法則を導出し、高エネルギー物理タスクのための予算軸の設計選択を比較する。
我々はまず,玩具問題に対する完全なスケーリング軌跡を検証し,その手順を100億ジェットのATLAS JetSet2データセット上のマルチタスクトランスフォーマーに適用する。
後者では、まず第一に、最適なモデルサイズ、トレーニングの地平線、学習率、早期停止時のバッチサイズなど、私たちの知識の最高の部分について予測する。
論文 参考訳（メタデータ） (2026-10-05T17:44:43Z) - Hidden Decoding at Scale: Latent Computation Scaling for Large Language Models [75.80275843320511]
トランスフォーマーのバックボーンを固定したまま、各トークンにより多くの計算を割り当てることで、既存のバックボーンが改善を続けることができるかどうかを検討する。
継続事前学習中に適用されたシーケンス長スケーリング手法であるHidden Decodingを提案する。
論文 参考訳（メタデータ） (2026-07-09T07:37:59Z) - Self-Adaptive Scale Handling for Forecasting Time Series with Scale Heterogeneity [9.93833018390445]
自己適応型スケールハンドリング(AS)モジュールは、各入力に合わせて調整された適応型スケールファクタを学習する。
Asは人気のあるTSFモデルにシームレスに統合され、継続的にパフォーマンスを改善します。
論文 参考訳（メタデータ） (2026-06-18T09:44:25Z) - Scaling Laws for Behavioral Foundation Models over User Event Sequences [2.924581427482972]
本稿では、共通の2部分の振る舞いモデルアーキテクチャ、特徴ベースのイベント埋め込み、デコーダのみの変換器について検討する。
約600回にわたって、実際のインタラクションデータで動作し、トレーニング用FLOPは1015ドルから1019ドルの範囲で、デプロイ関連軸が4つあります。
計算最適トレーニングは低計算時のテキストと比較してデータ量が多いが、計算量が増加するにつれて、そのD/N$比はチンチラに向かう。
論文 参考訳（メタデータ） (2026-06-03T15:59:25Z) - Optimal Sparsity of Mixture-of-Experts Language Models for Reasoning Tasks [17.067788440109137]
現在、Mixture-of-Experts (MoE)モデルは最先端システムでは標準となっている。
記憶能力と推論能力の2つの異なる能力体制にMoEがどのような影響を及ぼすかを検討する。
論文 参考訳（メタデータ） (2025-08-26T04:31:28Z) - AutoScale: Scale-Aware Data Mixing for Pre-Training LLMs [59.12061830645018]
より小さなスケールで良好に機能するデータ混合物は、大規模なスケールではその利点を保たない可能性があることを示す。
2段階のスケール対応データ合成フレームワークであるAutoScaleを提案する。
論文 参考訳（メタデータ） (2024-07-29T17:06:30Z) - Winner-Take-All Column Row Sampling for Memory Efficient Adaptation of Language Model [89.8764435351222]
分散を低減した行列生成のために, WTA-CRS と呼ばれる新しい非バイアス推定系を提案する。
我々の研究は、チューニング変換器の文脈において、提案した推定器が既存のものよりも低い分散を示すという理論的および実験的証拠を提供する。
論文 参考訳（メタデータ） (2023-05-24T15:52:08Z) - Data Scaling Laws in NMT: The Effect of Noise and Architecture [59.767899982937756]
ニューラルネットワーク翻訳(NMT)のデータスケーリング特性に及ぼすアーキテクチャとトレーニングデータ品質の影響について検討する。
データスケーリング指数は最小限の影響を受けており、より多くのデータを追加することで、極端に悪いアーキテクチャやトレーニングデータの補償が可能になることを示唆しています。
論文 参考訳（メタデータ） (2022-02-04T06:53:49Z) - Robust Training of Neural Networks using Scale Invariant Architectures [70.67803417918854]
SGDとは対照的に、Adamのような適応勾配法は、現代のディープネットワークの堅牢なトレーニングを可能にする。
この一般的なアプローチは、パラメータと損失の再スケーリングに頑健であることを示す。
我々は、単にバニラSGDで訓練された場合、Adamのような適応的な手法で訓練されたBERTに匹敵する性能を達成する、SIBERTと呼ばれるスケール不変バージョンのBERTを設計する。
論文 参考訳（メタデータ） (2022-02-02T11:58:56Z) - AdaScale SGD: A User-Friendly Algorithm for Distributed Training [29.430153773234363]
本研究では,大規模バッチ学習に学習率を確実に適応させるアルゴリズムであるAdaScale SGDを提案する。
勾配の分散に継続的に適応することにより、AdaScaleは幅広いバッチサイズでスピードアップを達成する。
これには、機械翻訳、画像分類、オブジェクト検出、音声認識タスクのためのモデル劣化のない大規模なバッチトレーニングが含まれる。
論文 参考訳（メタデータ） (2020-07-09T23:26:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。