論文の概要: Universal Redundancies in Time Series Foundation Models

• arxiv url: http://arxiv.org/abs/2602.01605v1
• Date: Mon, 02 Feb 2026 03:53:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-03 19:28:33.886975
• Title: Universal Redundancies in Time Series Foundation Models
• Title（参考訳）: 時系列基礎モデルにおける普遍的冗長性
• Authors: Anthony Bao, Venkata Hasith Vattikuti, Jeffrey Lai, William Gilpin,
• Abstract要約: Time Series Foundation Models (TSFM) は、推論中に未確認の時系列を正確に予測するために、広範囲の事前トレーニングを活用する。 本稿では,TSFMの機械的解釈性向上のためのツールセットについて紹介する。
• 参考スコア（独自算出の注目度）: 3.8551402560229806
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Time Series Foundation Models (TSFMs) leverage extensive pretraining to accurately predict unseen time series during inference, without the need for task-specific fine-tuning. Through large-scale evaluations on standard benchmarks, we find that leading transformer-based TSFMs exhibit redundant components in their intermediate layers. We introduce a set of tools for mechanistic interpretability of TSFMs, including ablations of specific components and direct logit attribution on the residual stream. Our findings are consistent across several leading TSFMs with diverse architectures, and across a diverse set of real-world and synthetic time-series datasets. We discover that all models in our study are robust to ablations of entire layers. Furthermore, we develop a theoretical framework framing transformers as kernel regressors, motivating a purely intrinsic strategy for ablating heads based on the stable rank of the per-head projection matrices. Using this approach, we uncover the specific heads responsible for degenerate phenomena widely observed in TSFMs, such as parroting of motifs from the context and seasonality bias. Our study sheds light on the universal properties of this emerging class of architectures for continuous-time sequence modeling.
• Abstract（参考訳）: 時系列ファウンデーションモデル(TSFM)は、タスク固有の微調整を必要とせず、広範囲の事前訓練を利用して推論中に見えない時系列を正確に予測する。 標準ベンチマークによる大規模評価により,トランスフォーマーをベースとしたTSFMは中間層に冗長な成分を呈することがわかった。 本稿では,TSFMの機械的解釈性向上のためのツールセットについて紹介する。 我々の発見は、様々なアーキテクチャを持ついくつかの主要なTSFMと、現実世界と合成時系列データセットの多様なセットで一致している。 私たちの研究では、すべてのモデルが階層全体のアブレーションに対して堅牢であることに気付きました。 さらに, カーネル回帰器としてのフラーミング変換器の理論的枠組みを開発し, 頭部プロジェクション行列の安定なランクに基づいて, 頭部をアブレーションするための本質的な戦略を動機付けている。 このアプローチを用いて,TSFMで広く見られる現象の退化の原因となる特定の頭部を明らかにする。 我々の研究は、連続時間シーケンスモデリングのためのこの新しいクラスのアーキテクチャの普遍性に光を当てている。

関連論文リスト

• Diversified Scaling Inference in Time Series Foundation Models [17.268760626931517]
  この研究は、標準サンプリングベース推論スケーリングの下でTSFMはどのように振る舞うか、そしてサンプリングの多様性を制御できるかという2つの質問を体系的に調査する。 まず、標準サンプリング下でのTSFMの特性について検討するが、解空間の探索が不十分なため、しばしばスケーリング法則に従わない。 次に, 時系列摂動による多様な推論スケーリングを探索し, 生成的分布の支援を拡大する。
  論文  参考訳（メタデータ） (2026-01-24T08:53:42Z)
• Time Series Foundation Models for Process Model Forecasting [8.339024524110828]
  プロセスモデル予測は、プロセスの制御フロー構造が時間とともにどのように進化するかを予測することを目的としています。 機械学習とディープラーニングモデルは、統計的ベースラインよりも控えめな利得しか提供しない。 PMF の代替として Time Series Foundation Models (TSFMs) について検討する。
  論文  参考訳（メタデータ） (2025-12-08T15:08:50Z)
• Synapse: Adaptive Arbitration of Complementary Expertise in Time Series Foundational Models [50.877082340479085]
  時系列基礎モデル (TSFM) の違いが, 様々な予測設定にまたがって, 特定の性能プロファイルを示すかを検討する。 TSFMの新しい調停フレームワークであるSynapseを提案する。 その結果、Synapseは個々のTSFMだけでなく、他の一般的なアンサンブル技術よりも一貫して優れていることが示された。
  論文  参考訳（メタデータ） (2025-11-07T18:01:51Z)
• Estimating Time Series Foundation Model Transferability via In-Context Learning [74.65355820906355]
  時系列基礎モデル(TSFM)は、大規模な事前訓練を通じて強力なゼロショット予測を提供する。 微調整は、公開データに制限のあるドメインのパフォーマンス向上に依然として不可欠である。 モデル選択をコンテキスト内学習問題として再キャストする転送可能性推定フレームワークであるTimeTicを紹介する。
  論文  参考訳（メタデータ） (2025-09-28T07:07:13Z)
• Multivariate Long-term Time Series Forecasting with Fourier Neural Filter [42.60778405812048]
  我々はFNFをバックボーンとして、DBDをアーキテクチャとして導入し、空間時間モデルのための優れた学習能力と最適な学習経路を提供する。 FNFは、局所時間領域とグローバル周波数領域の情報処理を単一のバックボーン内で統合し、空間的モデリングに自然に拡張することを示す。
  論文  参考訳（メタデータ） (2025-06-10T18:40:20Z)
• TS-RAG: Retrieval-Augmented Generation based Time Series Foundation Models are Stronger Zero-Shot Forecaster [14.512119661418522]
  時系列予測のための検索拡張生成フレームワークTS-RAGを提案する。 具体的には、TS-RAGはトレーニング済みの時系列エンコーダを利用して、専用の知識ベースから意味的に関連するセグメントを検索する。 TS-RAG は最先端のゼロショット予測性能を達成し,既存の TSFM を6.84% まで上回った。
  論文  参考訳（メタデータ） (2025-03-06T16:48:48Z)
• General Time-series Model for Universal Knowledge Representation of Multivariate Time-Series data [61.163542597764796]
  周波数領域で異なる時間粒度(または対応する周波数分解能)の時系列が異なる結合分布を示すことを示す。 時間領域と周波数領域の両方からタイムアウェア表現を学習するために,新しいFourierナレッジアテンション機構を提案する。 自己回帰的空白埋め込み事前学習フレームワークを時系列解析に初めて組み込み、生成タスクに依存しない事前学習戦略を実現する。
  論文  参考訳（メタデータ） (2025-02-05T15:20:04Z)
• Foundation Models for Time Series Analysis: A Tutorial and Survey [70.43311272903334]
  ファンデーションモデル(FM)は、時系列分析のためのモデル設計のパラダイムを根本的に変えてきた。 本調査は,時系列解析のためのFMの概要を包括的かつ最新のものにすることを目的としている。
  論文  参考訳（メタデータ） (2024-03-21T10:08:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。