論文の概要: The language of time: a language model perspective on time-series foundation models

• arxiv url: http://arxiv.org/abs/2507.00078v1
• Date: Sun, 29 Jun 2025 14:03:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-03 14:22:58.329321
• Title: The language of time: a language model perspective on time-series foundation models
• Title（参考訳）: 時間言語:時系列基礎モデルにおける言語モデル視点
• Authors: Yi Xie, Yun Xiong, Zejian Shi, Hao Niu, Zhengfu Liu,
• Abstract要約: パッチベース時系列基礎モデルの表現学習機構と一般化能力について検討する。 我々の研究は、大規模時系列基礎モデルの安全性と信頼性を理解し、評価し、改善するための厳密な理論基盤を提供する。
• 参考スコア（独自算出の注目度）: 7.113398204739559
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: With the rise of large language models, the paradigm of training foundation models with massive parameter counts on vast datasets has been adopted in multiple domains to achieve remarkable success. Time series foundation models represent a significant extension of this paradigm, demonstrating exceptional expressive power, generalization, and cross-domain transferability. However, this gives rise to a fundamental paradox: time series data reflect distinct dynamical systems, making cross-domain transfer intuitively implausible, yet this is contradicted by the models' empirical success. To resolve this paradox, this paper investigates, from both theoretical and experimental perspectives, the representation learning mechanisms and generalization capabilities of patch-based time series foundation models. We argue that such models are not merely applying a new architecture but are fundamentally generalizing the representation paradigm of language models by extending deterministic vector-based representations to latent probabilistic distributional forms. Our theoretical analysis supports this framework by demonstrating that continuous time-series patches can be faithfully quantized into a discrete vocabulary whose key statistical properties are highly consistent with those of natural language. This generalization allows time series models to inherit the robust representation and transfer abilities of large language models, thereby explaining their superior performance in temporal tasks. Ultimately, our work provides a rigorous theoretical cornerstone for understanding, evaluating, and improving the safety and reliability of large-scale time series foundation models.
• Abstract（参考訳）: 大規模言語モデルの台頭に伴い、膨大なデータセット上の膨大なパラメータ数を持つ基礎モデルのトレーニングパラダイムが、目覚ましい成功を収めるために、複数のドメインで採用されている。 時系列基礎モデルは、このパラダイムの重要な拡張であり、例外的な表現力、一般化、ドメイン間の転送可能性を示す。 しかし、これは基本的なパラドックスをもたらす: 時系列データは異なる力学系を反映し、ドメイン間の転送を直観的に不可能にするが、モデルの実証的な成功によって矛盾する。 本稿では,このパラドックスを理論的・実験的両面から考察し,パッチベースの時系列基礎モデルの表現学習機構と一般化能力について考察する。 このようなモデルは単に新しいアーキテクチャを適用するだけでなく、決定論的ベクトルベース表現を潜在確率分布形式に拡張することで、言語モデルの表現パラダイムを根本的に一般化していると論じる。 我々の理論的分析は、連続した時系列パッチが、重要な統計的性質が自然言語のものと非常に一致している離散語彙に忠実に量子化できることを実証することによって、この枠組みを支持する。 この一般化により、時系列モデルは大きな言語モデルの堅牢な表現と伝達能力を継承することができ、時間的タスクにおけるそれらの優れた性能を説明できる。 最終的に、我々の研究は、大規模時系列基礎モデルの安全性と信頼性を理解し、評価し、改善するための厳密な理論的基盤を提供する。

関連論文リスト

• TimesBERT: A BERT-Style Foundation Model for Time Series Understanding [72.64824086839631]
  GPTスタイルのモデルは時系列予測の基礎モデルとして位置づけられている。 BERTスタイルのアーキテクチャは時系列理解のために完全にアンロックされていない。 時系列の汎用表現を学ぶために TimesBERT を設計する。 私たちのモデルは、さまざまなドメインにまたがる2600億のタイムポイントで事前トレーニングされています。
  論文  参考訳（メタデータ） (2025-02-28T17:14:44Z)
• Exploring Representations and Interventions in Time Series Foundation Models [17.224575072056627]
  時系列基礎モデル(TSFM)は、幅広いアプリケーションのための強力なツールであることを約束する。 彼らの内部表現や学習された概念はまだよく理解されていない。 本研究では,様々なTSFMにおける表現の構造と冗長性について検討する。
  論文  参考訳（メタデータ） (2024-09-19T17:11:27Z)
• Implicit Reasoning in Deep Time Series Forecasting [16.750280337155647]
  この研究は、ディープ時系列予測モデルの推論能力を評価するための最初の一歩を踏み出した。 系統的に編成されたアウト・オブ・ディストリビューションシナリオにおいて,ある線形なパッチベーストランスフォーマーモデルが効果的に一般化できることが判明した。
  論文  参考訳（メタデータ） (2024-09-17T02:11:19Z)
• The Foundations of Tokenization: Statistical and Computational Concerns [51.370165245628975]
  トークン化は、NLPパイプラインにおける重要なステップである。 NLPにおける標準表現法としての重要性は認識されているが、トークン化の理論的基盤はまだ完全には理解されていない。 本稿では,トークン化モデルの表現と解析のための統一的な形式的枠組みを提案することによって,この理論的ギャップに対処することに貢献している。
  論文  参考訳（メタデータ） (2024-07-16T11:12:28Z)
• ConvTimeNet: A Deep Hierarchical Fully Convolutional Model for Multivariate Time Series Analysis [7.979501926410114]
  ConvTimeNetは時系列解析のために設計された階層的な純粋な畳み込みモデルである。 データ駆動方式で時間依存の基本単位の局所パターンを適応的に知覚する。 大規模なカーネル機構を使用して、畳み込みブロックが深く積み重ねられるようにする。
  論文  参考訳（メタデータ） (2024-03-03T12:05:49Z)
• Lag-Llama: Towards Foundation Models for Probabilistic Time Series Forecasting [54.04430089029033]
  本稿では,デコーダのみの変換器アーキテクチャに基づく時系列予測のための汎用基礎モデルであるLag-Llamaを提案する。 Lag-Llamaは、複数のドメインからの多様な時系列データの大規模なコーパスで事前訓練され、強力なゼロショット一般化能力を示す。 このような未確認データセットの比較的小さな部分で微調整を行うと、Lag-Llamaは最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2023-10-12T12:29:32Z)
• Large Language Models Are Latent Variable Models: Explaining and Finding Good Demonstrations for In-Context Learning [104.58874584354787]
  近年,事前学習型大規模言語モデル (LLM) は,インコンテキスト学習(in-context learning)として知られる推論時少数ショット学習能力を実現する上で,顕著な効率性を示している。 本研究では,現実のLLMを潜在変数モデルとみなし,ベイズレンズによる文脈内学習現象を考察することを目的とする。
  論文  参考訳（メタデータ） (2023-01-27T18:59:01Z)
• Causal Reasoning Meets Visual Representation Learning: A Prospective Study [117.08431221482638]
  解釈可能性の欠如、堅牢性、分布外一般化が、既存の視覚モデルの課題となっている。 人間レベルのエージェントの強い推論能力にインスパイアされた近年では、因果推論パラダイムの開発に多大な努力が注がれている。 本稿では,この新興分野を包括的に概観し,注目し,議論を奨励し,新たな因果推論手法の開発の急激さを先導することを目的とする。
  論文  参考訳（メタデータ） (2022-04-26T02:22:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。