論文の概要: Towards Interpretable Time Series Foundation Models

• arxiv url: http://arxiv.org/abs/2507.07439v1
• Date: Thu, 10 Jul 2025 05:29:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-11 16:40:15.282668
• Title: Towards Interpretable Time Series Foundation Models
• Title（参考訳）: 時系列基礎モデルの解釈に向けて
• Authors: Matthieu Boileau, Philippe Helluy, Jeremy Pawlus, Svitlana Vyetrenko,
• Abstract要約: 我々は,大規模なマルチモーダルモデルを用いて自然言語アノテーションを生成し,これらを用いてコンパクトQwenモデルの微調整を監督する。 本結果は,デバイス上やプライバシに敏感なデプロイメントに適した,軽量で言語対応のモデルへの時系列理解の圧縮の可能性を強調した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we investigate the distillation of time series reasoning capabilities into small, instruction-tuned language models as a step toward building interpretable time series foundation models. Leveraging a synthetic dataset of mean-reverting time series with systematically varied trends and noise levels, we generate natural language annotations using a large multimodal model and use these to supervise the fine-tuning of compact Qwen models. We introduce evaluation metrics that assess the quality of the distilled reasoning - focusing on trend direction, noise intensity, and extremum localization - and show that the post-trained models acquire meaningful interpretive capabilities. Our results highlight the feasibility of compressing time series understanding into lightweight, language-capable models suitable for on-device or privacy-sensitive deployment. This work contributes a concrete foundation toward developing small, interpretable models that explain temporal patterns in natural language.
• Abstract（参考訳）: 本稿では,解釈可能な時系列基礎モデル構築に向けたステップとして,時系列推論能力の小型言語モデルへの蒸留について検討する。 系統的に異なる傾向と雑音レベルを持つ平均回帰時系列の合成データセットを利用して、大きなマルチモーダルモデルを用いて自然言語アノテーションを生成し、これらを用いてコンパクトなQwenモデルの微調整を監督する。 本研究では, 蒸留法の品質評価指標(傾向方向, 騒音強度, 極端位置化)を導入し, 学習後のモデルが有意義な解釈能力を得ることを示す。 本結果は,デバイス上やプライバシに敏感なデプロイメントに適した,軽量で言語対応のモデルへの時系列理解の圧縮の可能性を強調した。 この研究は、自然言語の時間的パターンを説明する小さな解釈可能なモデルを開発するための具体的な基盤に寄与する。

関連論文リスト

• The language of time: a language model perspective on time-series foundation models [7.113398204739559]
  パッチベース時系列基礎モデルの表現学習機構と一般化能力について検討する。 我々の研究は、大規模時系列基礎モデルの安全性と信頼性を理解し、評価し、改善するための厳密な理論基盤を提供する。
  論文  参考訳（メタデータ） (2025-06-29T14:03:34Z)
• Context parroting: A simple but tough-to-beat baseline for foundation models in scientific machine learning [6.445605125467573]
  物理系に適用された基礎モデルは正確な予測を与えることができるが、基礎となる物理の有意義な表現を開発できないことを示す。 代わりに、基礎モデルは、単純なゼロショット予測戦略である文脈パロットによって予測されることが多い。 テキストで訓練された大規模言語モデルを時系列予測のために再利用できる理由を説明する。
  論文  参考訳（メタデータ） (2025-05-16T15:14:47Z)
• Enhancing Foundation Models for Time Series Forecasting via Wavelet-based Tokenization [74.3339999119713]
  我々はウェーブレットベースのトークンーザを開発し、時間局所化周波数の空間でモデルが複雑な表現を直接学習できるようにする。 提案手法は,まず入力時系列をスケール・分解し,次に閾値を設定し,ウェーブレット係数を定量化し,最後に予測水平方向の係数を予測する自己回帰モデルを事前学習する。
  論文  参考訳（メタデータ） (2024-12-06T18:22:59Z)
• Context is Key: A Benchmark for Forecasting with Essential Textual Information [87.3175915185287]
  コンテキスト is Key" (CiK) は、数値データを多種多様なテキストコンテキストと組み合わせた予測ベンチマークである。 我々は,統計モデル,時系列基礎モデル,LLMに基づく予測モデルなど,さまざまなアプローチを評価する。 提案手法は,提案するベンチマークにおいて,他の試験手法よりも優れる簡易かつ効果的なLCMプロンプト法である。
  論文  参考訳（メタデータ） (2024-10-24T17:56:08Z)
• Exploring Representations and Interventions in Time Series Foundation Models [17.224575072056627]
  時系列基礎モデル(TSFM)は、幅広いアプリケーションのための強力なツールであることを約束する。 彼らの内部表現や学習された概念はまだよく理解されていない。 本研究では,様々なTSFMにおける表現の構造と冗長性について検討する。
  論文  参考訳（メタデータ） (2024-09-19T17:11:27Z)
• A decoder-only foundation model for time-series forecasting [23.824504640087753]
  我々のモデルは,大規模時系列コーパス上でパッチ付きデコーダスタイルのアテンションモデルを事前学習することに基づいている。 予測履歴の長さ、予測長、時間的粒度の異なる範囲でうまく機能する。
  論文  参考訳（メタデータ） (2023-10-14T17:01:37Z)
• Expedited Training of Visual Conditioned Language Generation via Redundancy Reduction [61.16125290912494]
  $textEVL_textGen$は、視覚条件付き言語生成モデルの事前トレーニング用に設計されたフレームワークである。 提案手法は,視覚言語モデルの学習を5倍に加速させるが,全体的な性能に顕著な影響を与えないことを示す。
  論文  参考訳（メタデータ） (2023-10-05T03:40:06Z)
• Time-LLM: Time Series Forecasting by Reprogramming Large Language Models [110.20279343734548]
  時系列予測は多くの実世界の力学系において重要な意味を持つ。 時系列予測のための大規模言語モデルを再利用するための再プログラミングフレームワークであるTime-LLMを提案する。 Time-LLMは、最先端の特殊な予測モデルよりも優れた、強力な時系列学習者である。
  論文  参考訳（メタデータ） (2023-10-03T01:31:25Z)
• Model Criticism for Long-Form Text Generation [113.13900836015122]
  我々は,テキストの高レベル構造を評価するために,潜在空間におけるモデル批判という統計ツールを適用した。 我々は,コヒーレンス,コア,トピックスという,ハイレベルな談話の3つの代表的な側面について実験を行った。 トランスフォーマーベースの言語モデルでは、トピック構造をキャプチャできるが、構造コヒーレンスやモデリングコアスを維持するのが難しくなる。
  論文  参考訳（メタデータ） (2022-10-16T04:35:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。