論文の概要: Learning from Points and Patches: A Pre-trained Hybrid Attention Transformer for Time Series Analysis

• arxiv url: http://arxiv.org/abs/2610.36572v1
• Date: Tue, 27 Oct 2026 03:24:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-29 04:15:49.226178
• Title: Learning from Points and Patches: A Pre-trained Hybrid Attention Transformer for Time Series Analysis
• Title（参考訳）: ポイントとパッチから学ぶ:時系列解析のための学習済みハイブリッド注意変換器
• Abstract要約: Webサービスやコネクテッドシステムによって生成された時系列データは、ユーザアクティビティ分析、サービス監視、リソース管理などのアプリケーションをサポートする。 異種時系列からの変換可能な表現の学習は、多様な時間パターン、可変シーケンス長、限定された高品質アノテーションにより、依然として困難である。 時系列分析のための汎用事前学習フレームワークであるTimeHATを提案する。
• 参考スコア（独自算出の注目度）: 44.463743317920574
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Time-series data generated by Web services and connected systems support applications such as user activity analysis, service monitoring, and resource management. However, learning transferable representations from heterogeneous time series remains challenging due to diverse temporal patterns, variable sequence lengths, and limited high-quality annotations. Despite the success of pre-training in natural language processing and computer vision, effective time-series pre-training requires strategies tailored to temporal data. We propose TimeHAT (Hybrid Attention Transformer), a general-purpose pre-training framework for time-series analysis that addresses two complementary questions: what to learn and how to learn. For what to learn, we introduce a Unified Point-Patch Masking Strategy (UPPMS) that integrates point-level and patch-level supervision within a unified framework for contextual reconstruction and causal extrapolation, enabling the model to capture both fine-grained temporal variations and broader temporal patterns. For how to learn, we develop a Hybrid Attention Encoder (HAE) that combines prefix-constrained bidirectional attention in initial layers with directional hybrid attention in deeper layers, aiming to preserve effective contextual interactions while mitigating rank degeneration. We evaluate TimeHAT across real-world datasets and four downstream tasks: classification, long-term forecasting, imputation, and anomaly detection. Experiments cover fine-tuning, few-shot, and zero-shot transfer settings, demonstrating competitive performance across diverse time-series analysis tasks. Code is available at https://github.com/TangPeiwang/TimeHAT.
• Abstract（参考訳）: Webサービスやコネクテッドシステムによって生成された時系列データは、ユーザアクティビティ分析、サービス監視、リソース管理などのアプリケーションをサポートする。 しかし、異種時系列からの変換可能な表現の学習は、多様な時間パターン、可変シーケンス長、限定された高品質アノテーションのため、依然として困難である。 自然言語処理やコンピュータビジョンにおける事前学習の成功にもかかわらず、効果的な時系列事前学習には時間的データに適した戦略が必要である。 時系列分析のための汎用事前学習フレームワークであるTimeHAT(Hybrid Attention Transformer)を提案する。 そこで本研究では,コンテキスト再構築と因果補間のための統合フレームワークに,点レベルとパッチレベルの監視を統合したUPPMS(Unified Point-Patch Masking Strategy)を導入する。 学習方法として,初期層におけるプレフィックス制約付き双方向の注意と,より深い層における双方向の注意とを組み合わせたハイブリット・アテンション・エンコーダ(HAE)を開発した。 実世界のデータセットと4つの下流タスク(分類、長期予測、計算、異常検出)でTimeHATを評価する。 実験では、微調整、少数ショット、ゼロショット転送の設定をカバーし、さまざまな時系列分析タスク間の競合性能を実証している。 コードはhttps://github.com/TangPeiwang/TimeHAT.comで入手できる。

関連論文リスト

• Learning by Shifting: Temporal View Construction for Time Series Contrastive Learning [4.7318594191739765]
  監視された学習は大量のラベル付きデータを必要とします。 自己教師付き学習、特に対照的な学習は、ラベルのないデータから直接リッチな表現学習を可能にする、魅力的な代替手段として現れてきた。 時系列の既存のアプローチは、強いドメイン仮定を埋め込んだ手作りの拡張とマスキングに依存している。 本稿では,時系列設定における比較学習力学の系統的解析を行い,バッチサイズと負数の影響について検討する。
  論文  参考訳（メタデータ） (2026-06-20T09:07:30Z)
• FreRA: A Frequency-Refined Augmentation for Contrastive Learning on Time Series Classification [56.925103708982164]
  周波数領域からの新たな視点を示し、ダウンストリーム分類の利点として、グローバル、独立、コンパクトの3つを識別する。 本稿では,分類タスクにおける時系列のコントラスト学習に適した,軽量で効果的な周波数補充拡張(FreRA)を提案する。 FreRAは、時系列分類、異常検出、転送学習タスクにおいて、常に10つの主要なベースラインを上回ります。
  論文  参考訳（メタデータ） (2025-05-29T07:18:28Z)
• Towards Generalisable Time Series Understanding Across Domains [10.350643783811174]
  時系列の不均一性を扱うために特別に設計された新しい事前学習パラダイムを導入する。 本稿では、学習可能なドメインシグネチャ、二重マスキング戦略、正規化相互相関損失を持つトークンサを提案する。 私たちのコードと事前訓練されたウェイトはhttps://www.oetu.com/oetu/otis.comで公開されています。
  論文  参考訳（メタデータ） (2024-10-09T17:09:30Z)
• Leveraging 2D Information for Long-term Time Series Forecasting with Vanilla Transformers [55.475142494272724]
  時系列予測は、様々な領域における複雑な力学の理解と予測に不可欠である。 GridTSTは、革新的な多方向性の注意を用いた2つのアプローチの利点を組み合わせたモデルである。 このモデルは、さまざまな現実世界のデータセットに対して、常に最先端のパフォーマンスを提供する。
  論文  参考訳（メタデータ） (2024-05-22T16:41:21Z)
• Multi-Patch Prediction: Adapting LLMs for Time Series Representation Learning [22.28251586213348]
  aLLM4TSは、時系列表現学習にLarge Language Models(LLM)を適用する革新的なフレームワークである。 われわれのフレームワークの特筆すべき要素はパッチワイドデコーディング層である。
  論文  参考訳（メタデータ） (2024-02-07T13:51:26Z)
• TimeSiam: A Pre-Training Framework for Siamese Time-Series Modeling [67.02157180089573]
  時系列事前トレーニングは、最近、ラベルのコストを削減し、下流の様々なタスクに利益をもたらす可能性があるとして、広く注目を集めている。 本稿では,シームズネットワークに基づく時系列の簡易かつ効果的な自己教師型事前学習フレームワークとしてTimeSiamを提案する。
  論文  参考訳（メタデータ） (2024-02-04T13:10:51Z)
• Predicting Temporal Sets with Deep Neural Networks [50.53727580527024]
  本稿では,時間集合予測のためのディープニューラルネットワークに基づく統合解を提案する。 ユニークな視点は、セットレベルの共起グラフを構築することで要素関係を学ぶことである。 我々は,要素や集合の時間依存性を適応的に学習するアテンションベースのモジュールを設計する。
  論文  参考訳（メタデータ） (2020-06-20T03:29:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。