論文の概要: DeCoP: Enhancing Self-Supervised Time Series Representation with Dependency Controlled Pre-training

• arxiv url: http://arxiv.org/abs/2509.14642v1
• Date: Thu, 18 Sep 2025 05:44:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-19 17:26:53.08312
• Title: DeCoP: Enhancing Self-Supervised Time Series Representation with Dependency Controlled Pre-training
• Title（参考訳）: DeCoP: 依存性制御による事前トレーニングによる自己監督型時系列表現の強化
• Authors: Yuemin Wu, Zhongze Wu, Xiu Su, Feng Yang, Hongyan Xu, Xi Lin, Wenti Huang, Shan You, Chang Xu,
• Abstract要約: 本稿では、動的でマルチスケールな依存関係を、進化するパッチ間の依存関係をシミュレートすることで、明示的にモデル化する依存性制御事前学習フレームワークを提案する。 DeCoPは、低いコンピューティングリソースを持つ10のデータセットに対して最先端の結果を達成し、わずか37%のFLOPを使用して、PatchTST上のETTh1上でMSEを3%改善する。
• 参考スコア（独自算出の注目度）: 39.30046923897652
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Modeling dynamic temporal dependencies is a critical challenge in time series pre-training, which evolve due to distribution shifts and multi-scale patterns. This temporal variability severely impairs the generalization of pre-trained models to downstream tasks. Existing frameworks fail to capture the complex interactions of short- and long-term dependencies, making them susceptible to spurious correlations that degrade generalization. To address these limitations, we propose DeCoP, a Dependency Controlled Pre-training framework that explicitly models dynamic, multi-scale dependencies by simulating evolving inter-patch dependencies. At the input level, DeCoP introduces Instance-wise Patch Normalization (IPN) to mitigate distributional shifts while preserving the unique characteristics of each patch, creating a robust foundation for representation learning. At the latent level, a hierarchical Dependency Controlled Learning (DCL) strategy explicitly models inter-patch dependencies across multiple temporal scales, with an Instance-level Contrastive Module (ICM) enhances global generalization by learning instance-discriminative representations from time-invariant positive pairs. DeCoP achieves state-of-the-art results on ten datasets with lower computing resources, improving MSE by 3% on ETTh1 over PatchTST using only 37% of the FLOPs.
• Abstract（参考訳）: 動的時間的依存関係のモデリングは、分散シフトとマルチスケールパターンのために進化する時系列事前学習において重要な課題である。 この時間的変動は、事前訓練されたモデルの下流タスクへの一般化を著しく損なう。 既存のフレームワークは、短期と長期の依存関係の複雑な相互作用を捉えることができず、一般化を低下させる刺激的な相関の影響を受けやすい。 これらの制限に対処するため、我々は、動的でマルチスケールな依存関係を、進化するパッチ間の依存関係をシミュレートすることによって、明示的にモデル化する依存性制御事前学習フレームワークであるDeCoPを提案する。 入力レベルでは、DeCoPは分散シフトを軽減するためにインスタンスワイドパッチ正規化(IPN)を導入し、各パッチの特徴を保ちながら、表現学習のための堅牢な基盤を構築している。 潜在レベルでは、階層的依存制御学習(DCL)戦略は、複数の時間スケールにわたるパッチ間の依存関係を明示的にモデル化し、インスタンスレベルのContrastive Module(ICM)は、時間不変の正のペアからインスタンス識別表現を学習することで、グローバルな一般化を促進する。 DeCoPは、低いコンピューティングリソースを持つ10のデータセットに対して最先端の結果を達成し、わずか37%のFLOPを使用して、PatchTST上のETTh1上でMSEを3%改善する。

関連論文リスト

• DMSC: Dynamic Multi-Scale Coordination Framework for Time Series Forecasting [14.176801586961286]
  時系列予測(TSF)は、さまざまなスケールにわたる複雑な時間的依存関係をモデル化する上で、永続的な課題に直面します。 マルチスケールパッチ分解ブロック(EMPD)、トライアドインタラクションブロック(TIB)、適応スケールルーティングMoEブロック(ASR-MoE)を備えた新しい動的マルチスケールコーディネーションフレームワーク(DMSC)を提案する。 EMPDは、指数関数的にスケールした粒度を持つ階層的なパッチにシーケンスを動的に分割する組み込みコンポーネントとして設計されている。 TIBは、各レイヤの分解された表現の中で、パッチ内、パッチ間、およびクロス変数の依存関係を共同でモデル化する。
  論文  参考訳（メタデータ） (2025-08-03T13:11:52Z)
• WSM: Decay-Free Learning Rate Schedule via Checkpoint Merging for LLM Pre-training [64.0932926819307]
  本稿では,学習速度減衰とモデルマージの正式な関係を確立するフレームワークであるWarmup-Stable and Merge(WSM)を紹介する。 WSMは様々な崩壊戦略をエミュレートするための統一された理論基盤を提供する。 私たちのフレームワークは、複数のベンチマークで広く採用されているWarmup-Stable-Decay(WSD)アプローチよりも一貫して優れています。
  論文  参考訳（メタデータ） (2025-07-23T16:02:06Z)
• Learning Time-Aware Causal Representation for Model Generalization in Evolving Domains [50.66049136093248]
  動的因果要因と因果機構のドリフトを組み込んだ時間認識型構造因果モデル(SCM)を開発した。 本研究では,時間領域毎に最適な因果予測値が得られることを示す。 合成と実世界の両方のデータセットの結果から,SynCは時間的一般化性能に優れることが示された。
  論文  参考訳（メタデータ） (2025-06-21T14:05:37Z)
• Enhancing Channel-Independent Time Series Forecasting via Cross-Variate Patch Embedding [1.1607669836339873]
  チャネル非依存(CI)モデルにクロスバリアントコンテキストを注入する軽量CDモジュールとして,CVPE(Cross-Variate Patch Embeddings)を提案する。 CVPEをマルチモーダルCI予測モデルであるTime-LLMに統合し,その有効性を示す。
  論文  参考訳（メタデータ） (2025-05-19T06:41:14Z)
• TiVaT: A Transformer with a Single Unified Mechanism for Capturing Asynchronous Dependencies in Multivariate Time Series Forecasting [4.733959271565453]
  TiVaTは、単一の統一モジュール、JA(Joint-Axis)アテンションモジュールを組み込んだ新しいアーキテクチャである。 JA attentionモジュールは、特に非同期インタラクションをキャプチャする関連機能を動的に選択する。 大規模な実験では、さまざまなデータセットにわたるTiVaTの全体的なパフォーマンスが示されている。
  論文  参考訳（メタデータ） (2024-10-02T13:24:24Z)
• Adaptive Multi-Scale Decomposition Framework for Time Series Forecasting [26.141054975797868]
  本稿では,時系列予測のための新しい適応型マルチスケール分解(AMD)フレームワークを提案する。 我々のフレームワークは時系列を複数のスケールで異なる時間パターンに分解し、MDM(Multi-Scale Decomposable Mixing)ブロックを活用する。 提案手法は,時間依存性とチャネル依存性の両方を効果的にモデル化し,マルチスケールデータ統合を改良するために自己相関を利用する。
  論文  参考訳（メタデータ） (2024-06-06T05:27:33Z)
• Towards Robust and Adaptive Motion Forecasting: A Causal Representation Perspective [72.55093886515824]
  本稿では,3つの潜伏変数群からなる動的過程として,運動予測の因果的形式化を導入する。 我々は、因果グラフを近似するために、不変なメカニズムやスタイルの共創者の表現を分解するモジュラーアーキテクチャを考案する。 合成および実データを用いた実験結果から,提案した3つの成分は,学習した動き表現の頑健性と再利用性を大幅に向上することが示された。
  論文  参考訳（メタデータ） (2021-11-29T18:59:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。