論文の概要: A Unified Scaling Law for Time Series Foundation Models

• arxiv url: http://arxiv.org/abs/2610.05269v1
• Date: Sun, 04 Oct 2026 14:45:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 22:12:31.50714
• Title: A Unified Scaling Law for Time Series Foundation Models
• Title（参考訳）: 時系列基礎モデルの統一スケーリング法則
• Abstract要約: 我々は,モデルキャパシティと履歴情報の予測方法を理解するために,統一スケーリング法と時系列学習の統一理論を開発する。 異なる見返りの長さと予測地平線で、23のデータセット周波数タスクにおいて、21のチェックポイントから18,768の実験細胞を解析した。
• 参考スコア（独自算出の注目度）: 8.77604984082697
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We develop a Unified Scaling Law and a Unified Theory of Time Series Learning to understand how model capacity and historical information support forecasting. Across different lookback lengths and forecast horizons, we analyze 18,768 experimental cells from 21 checkpoints on 23 dataset-frequency tasks spanning six domains. Our empirical methodology integrates local resource relations into a parsimonious, fitted five-parameter law: capacity gains increase with history, context gains diminish toward saturation, and horizon effects enter as a common shift. Fitted without Toto 2.0, the law predicts its horizon-averaged capacity-scaling curves with mean absolute percentage errors of 1.09% and 1.50% at input lengths 2048 and 4096. To understand how history supports prediction, our learning theory uses Gaussian regression to analyze rule identification and predictive capability. We hypothesize that full-shot models learn by accumulating information in weights, while frozen time series foundation models (TSFMs) use history by extracting information through activations. Matched-history comparisons establish the predictive value of additional history. Controlled parameter exchanges and activation interventions provide evidence that history-derived rule information can be retained, reused across queries, and used to recover a contribution to long-context prediction. Together, these findings inform capacity scaling, context allocation, and the development of models that retain and apply historical rules. Code and main results are available at https://github.com/Fifthky/UniScale.
• Abstract（参考訳）: 我々は,モデルキャパシティと履歴情報の予測方法を理解するために,統一スケーリング法と時系列学習の統一理論を開発する。 6つの領域にまたがる23個のデータセット周波数タスクにおいて,21個のチェックポイントから18,768個の実験細胞を解析した。 我々の経験的方法論は, 資源関係を類似した5パラメータの法則に統合する: キャパシティゲインは歴史とともに増加し, 文脈ゲインは飽和に向かって減少し, 地平線効果は共通のシフトとなる。 Toto 2.0を使わずに設定されたこの法則は、2048年と4096年の入力長で平均的な絶対パーセンテージ誤差1.09%と1.50%の水平平均キャパシティスケーリング曲線を予測している。 歴史が予測をどのようにサポートするかを理解するために,我々の学習理論はガウス回帰を用いてルール識別と予測能力を分析する。 フルショットモデルは重みの情報を蓄積することで学習するが、凍結時系列基礎モデル(TSFM)はアクティベーションを通じて情報を抽出することで歴史を利用する。 マッチした歴史比較は、追加の歴史の予測価値を確立する。 制御されたパラメータ交換とアクティベーションの介入は、履歴由来のルール情報がクエリ間で保持され、再利用され、長いコンテキスト予測へのコントリビューションを回復する証拠を提供する。 これらの知見と共に、キャパシティスケーリング、コンテキストアロケーション、そして歴史的ルールを保持、適用するモデルの開発を知らせる。 コードと主な結果はhttps://github.com/Fifthky/UniScale.comで公開されている。

関連論文リスト

• Pythia: Toward Foundation World Models for Multimodal Time Series [12.3575752227525]
  Pythiaは、データセット間でコンテキスト条件付き潜在ダイナミクスを学習する基礎的世界モデルである。 停止段階の数値参照は、将来の予測状態に対する文脈補正を導く。 別個の確率的デコーダは、凍結した予測表現に適応し、観測された歴史に適応する。
  論文  参考訳（メタデータ） (2026-10-04T14:12:17Z)
• Deriving Scaling Laws for OpenEuroLLM Models: Learning Rate, Batch Size and Loss [7.969401498219657]
  本研究では,英語対応コーパス上での高密度大言語モデルの学習速度とバッチサイズのスケーリング挙動について検討した。 我々はこれらの関係を捉えたモデルを開発する。 本研究は,OpenEuroLLMモデル開発のための第1のベースラインとスケーリング手順を確立する。
  論文  参考訳（メタデータ） (2026-08-28T13:16:56Z)
• To Memorize or to Retrieve: Scaling Laws for RAG-Considerate Pretraining [24.61808957290675]
  本研究では,事前学習コーパスサイズと検索ストアサイズとのトレードオフを,広範囲のモデルとデータスケールで検討する。 モデルスケール全体にわたるパラメトリックのみのベースラインよりも,検索が一貫してパフォーマンスを向上させることが判明した。
  論文  参考訳（メタデータ） (2026-04-01T10:26:03Z)
• Prescriptive Scaling Reveals the Evolution of Language Model Capabilities [22.14002750185524]
  我々は、ログ事前学習FLOPの関数として、機能境界、ベンチマークスコアの高条件量子化を推定する。 我々は、初期のモデル世代に適合し、後のリリースを評価することで、時間的信頼性を検証する。 本稿では,評価予算の約20%を用いて,全データフロンティア付近を復元する効率的なアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2026-02-17T03:13:51Z)
• Scaling Laws for Robust Comparison of Open Foundation Language-Vision Models and Datasets [5.8465717270452195]
  モデルとデータセットの比較において,スケール法則の導出がいかに有効かを示す。 初めて、CLIPとMaMMUTという2つの重要な言語ビジョン学習手順のために、完全なスケーリング法則が導出された。 一定の学習率のスケジュールでスケーリング法則を導出する場合も比較が可能であることを示す。
  論文  参考訳（メタデータ） (2025-06-05T03:35:59Z)
• Contrastive Difference Predictive Coding [70.03979542891177]
  本研究では、時系列データの断片を縫合して、将来の事象の予測を学習するために必要なデータの量を減少させるコントラッシブ予測符号化の時間差版を導入する。 目的条件付きRLの非政治アルゴリズムを導出するために,この表現学習手法を適用した。
  論文  参考訳（メタデータ） (2023-10-31T03:16:32Z)
• Lag-Llama: Towards Foundation Models for Probabilistic Time Series Forecasting [54.04430089029033]
  本稿では,デコーダのみの変換器アーキテクチャに基づく時系列予測のための汎用基礎モデルであるLag-Llamaを提案する。 Lag-Llamaは、複数のドメインからの多様な時系列データの大規模なコーパスで事前訓練され、強力なゼロショット一般化能力を示す。 このような未確認データセットの比較的小さな部分で微調整を行うと、Lag-Llamaは最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2023-10-12T12:29:32Z)
• TACTiS: Transformer-Attentional Copulas for Time Series [76.71406465526454]
  時間変化量の推定は、医療や金融などの分野における意思決定の基本的な構成要素である。 本稿では,アテンションベースデコーダを用いて関節分布を推定する多元的手法を提案する。 本研究では,本モデルが実世界の複数のデータセットに対して最先端の予測を生成することを示す。
  論文  参考訳（メタデータ） (2022-02-07T21:37:29Z)
• Value-driven Hindsight Modelling [68.658900923595]
  値推定は強化学習(RL)パラダイムの重要な構成要素である。 モデル学習は、観測系列に存在する豊富な遷移構造を利用することができるが、このアプローチは通常、報酬関数に敏感ではない。 この2つの極点の間に位置するRLにおける表現学習のアプローチを開発する。 これにより、タスクに直接関連し、値関数の学習を加速できる、抽出可能な予測ターゲットが提供される。
  論文  参考訳（メタデータ） (2020-02-19T18:10:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。