論文の概要: STEP: Scientific Time-Series Encoder Pretraining via Cross-Domain Distillation

• arxiv url: http://arxiv.org/abs/2603.18688v1
• Date: Thu, 19 Mar 2026 09:47:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-20 17:19:06.072026
• Title: STEP: Scientific Time-Series Encoder Pretraining via Cross-Domain Distillation
• Title（参考訳）: STEP: クロスドメイン蒸留を利用した科学的時系列エンコーダ
• Authors: Chen Zhang, Liwei Liu, Jun Tao, Xiaoyu Yang, Xuenan Xu, Kai Chen, Bowen Zhou, Wen Wu, Chao Zhang,
• Abstract要約: 科学的な時系列は科学的なAIの中心であるが、通常スパースであり、非常に異質であり、規模は限られている。 クロスドメイン蒸留によるScientific Time Series PretrainingフレームワークSTEPを提案する。 異なる領域にまたがる相補的な表現を組み合わせることで、STEPは科学的な信号に適した汎用的および伝達可能な特徴を学習する。
• 参考スコア（独自算出の注目度）: 33.980112187180985
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Scientific time series are central to scientific AI but are typically sparse, highly heterogeneous, and limited in scale, making unified representation learning particularly challenging. Meanwhile, foundation models pretrained on relevant time series domains such as audio, general time series, and brain signals contain rich knowledge, but their applicability to scientific signals remains underexplored. In this paper, we investigate the transferability and complementarity of foundation models from relevant time series domains, and study how to effectively leverage them to build a unified encoder for scientific time series. We first systematically evaluate relevant foundation models, showing the effectiveness of knowledge transfer to scientific tasks and their complementary strengths. Based on this observation, we propose STEP, a Scientific Time Series Encoder Pretraining framework via cross domain distillation. STEP introduces adaptive patching to handle extreme-length sequences and a statistics compensation scheme to accommodate diverse numerical scales. It further leverages cross-domain distillation to integrate knowledge from multiple foundation models into a unified encoder. By combining complementary representations across different domains, STEP learns general-purpose and transferable features tailored for scientific signals. Experiments on seven scientific time series tasks demonstrate that STEP provides both an effective structure and an effective pretraining paradigm, taking a STEP toward scientific time series representation learning.
• Abstract（参考訳）: 科学的な時系列は科学的なAIの中心であるが、通常スパースであり、非常に異質であり、規模が限られているため、統一表現学習は特に困難である。 一方、音声、一般時系列、脳信号などの関連する時系列領域で事前訓練された基礎モデルは、豊富な知識を含んでいるが、科学的信号への適用性は未解明のままである。 本稿では、関連する時系列領域からの基礎モデルの転送可能性と相補性について検討し、それらを効果的に活用して、科学的時系列の統一エンコーダを構築する方法について検討する。 まず,研究課題への知識伝達の有効性とその相補的強みを,関連する基礎モデルとして体系的に評価した。 そこで本研究では,Scientific Time Series Encoder Pretraining frameworkであるSTEPを提案する。 STEPは、極長シーケンスを扱う適応パッチと、多様な数値スケールに対応する統計補償スキームを導入している。 さらにクロスドメイン蒸留を利用して、複数の基礎モデルからの知識を統一エンコーダに統合する。 異なる領域にまたがる相補的な表現を組み合わせることで、STEPは科学的な信号に適した汎用的および伝達可能な特徴を学習する。 7つの科学的時系列タスクの実験では、STEPが効果的な構造と効果的な事前学習パラダイムの両方を提供し、STEPを科学的時系列表現学習に向けることが示されている。

関連論文リスト

• Multivariate Long-term Time Series Forecasting with Fourier Neural Filter [42.60778405812048]
  我々はFNFをバックボーンとして、DBDをアーキテクチャとして導入し、空間時間モデルのための優れた学習能力と最適な学習経路を提供する。 FNFは、局所時間領域とグローバル周波数領域の情報処理を単一のバックボーン内で統合し、空間的モデリングに自然に拡張することを示す。
  論文  参考訳（メタデータ） (2025-06-10T18:40:20Z)
• UniSTD: Towards Unified Spatio-Temporal Learning across Diverse Disciplines [64.84631333071728]
  本稿では,時間的モデリングのためのトランスフォーマーベースの統合フレームワークであるbfUnistageを紹介する。 我々の研究は、タスク固有の視覚テキストが時間学習のための一般化可能なモデルを構築することができることを示した。 また、時間的ダイナミクスを明示的に組み込むための時間的モジュールも導入する。
  論文  参考訳（メタデータ） (2025-03-26T17:33:23Z)
• General Time-series Model for Universal Knowledge Representation of Multivariate Time-Series data [61.163542597764796]
  周波数領域で異なる時間粒度(または対応する周波数分解能)の時系列が異なる結合分布を示すことを示す。 時間領域と周波数領域の両方からタイムアウェア表現を学習するために,新しいFourierナレッジアテンション機構を提案する。 自己回帰的空白埋め込み事前学習フレームワークを時系列解析に初めて組み込み、生成タスクに依存しない事前学習戦略を実現する。
  論文  参考訳（メタデータ） (2025-02-05T15:20:04Z)
• Unleashing The Power of Pre-Trained Language Models for Irregularly Sampled Time Series [22.87452807636833]
  多様な ISTS 解析タスクに対処するために,ISTS-PLM という統合された PLM ベースのフレームワークを提案する。 ISTSにおける難解なイントラ・イン・タイム・シリーズ・モデリングに取り組むために、新しいタイム・アウェアと可変・アウェアのPLMを統合している。
  論文  参考訳（メタデータ） (2024-08-12T14:22:14Z)
• UniTime: A Language-Empowered Unified Model for Cross-Domain Time Series Forecasting [59.11817101030137]
  この研究はドメイン境界を超越する統一モデルパラダイムを提唱する。 効果的なクロスドメインモデルを学ぶことは、以下の課題を提示します。 効果的なドメイン間時系列学習のためのUniTimeを提案する。
  論文  参考訳（メタデータ） (2023-10-15T06:30:22Z)
• TEMPO: Prompt-based Generative Pre-trained Transformer for Time Series Forecasting [24.834846119163885]
  本稿では,時系列表現を効果的に学習できる新しいフレームワークTEMPOを提案する。 TEMPOは、様々な領域のデータから現実世界の時間現象を動的にモデル化する機能を拡張する。
  論文  参考訳（メタデータ） (2023-10-08T00:02:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。