論文の概要: TimesBERT: A BERT-Style Foundation Model for Time Series Understanding

• arxiv url: http://arxiv.org/abs/2502.21245v1
• Date: Fri, 28 Feb 2025 17:14:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-03 13:41:10.314527
• Title: TimesBERT: A BERT-Style Foundation Model for Time Series Understanding
• Title（参考訳）: TimesBERT:時系列理解のためのBERTスタイルの基礎モデル
• Authors: Haoran Zhang, Yong Liu, Yunzhong Qiu, Haixuan Liu, Zhongyi Pei, Jianmin Wang, Mingsheng Long,
• Abstract要約: GPTスタイルのモデルは時系列予測の基礎モデルとして位置づけられている。 BERTスタイルのアーキテクチャは時系列理解のために完全にアンロックされていない。 時系列の汎用表現を学ぶために TimesBERT を設計する。 私たちのモデルは、さまざまなドメインにまたがる2600億のタイムポイントで事前トレーニングされています。
• 参考スコア（独自算出の注目度）: 72.64824086839631
• License:
• Abstract: Time series analysis is crucial in diverse scenarios. Beyond forecasting, considerable real-world tasks are categorized into classification, imputation, and anomaly detection, underscoring different capabilities termed time series understanding in this paper. While GPT-style models have been positioned as foundation models for time series forecasting, the BERT-style architecture, which has made significant advances in natural language understanding, has not been fully unlocked for time series understanding, possibly attributed to the undesirable dropout of essential elements of BERT. In this paper, inspired by the shared multi-granularity structure between multivariate time series and multisentence documents, we design TimesBERT to learn generic representations of time series including temporal patterns and variate-centric characteristics. In addition to a natural adaptation of masked modeling, we propose a parallel task of functional token prediction to embody vital multi-granularity structures. Our model is pre-trained on 260 billion time points across diverse domains. Leveraging multi-granularity representations, TimesBERT achieves state-of-the-art performance across four typical downstream understanding tasks, outperforming task-specific models and language pre-trained backbones, positioning it as a versatile foundation model for time series understanding.
• Abstract（参考訳）: 時系列分析は多様なシナリオにおいて重要である。 予測以外にも、現実世界のタスクは分類、計算、異常検出に分類され、この論文では時系列理解と呼ばれる様々な能力が強調されている。 GPTスタイルのモデルは時系列予測の基礎モデルとして位置づけられているが、自然言語理解に大きな進歩を遂げたBERTスタイルのアーキテクチャは時系列理解のために完全には解けていない。 本稿では,多変量時系列と多文文書間の共有多粒度構造に着想を得て,時相パターンや変量中心の特徴を含む時系列の汎用表現を学習するためにTimesBERTを設計する。 マスク付きモデリングの自然な適応に加えて,重要な多粒性構造を具現化する機能トークン予測の並列タスクを提案する。 私たちのモデルは、さまざまなドメインにまたがる2600億のタイムポイントで事前トレーニングされています。 マルチグラニュラリティ表現を活用して、TimesBERTは4つの典型的な下流理解タスク、タスク特化モデルと言語事前訓練バックボーンのパフォーマンス、そして時系列理解のための汎用基盤モデルとして位置づける、最先端のパフォーマンスを達成する。

関連論文リスト

• Language in the Flow of Time: Time-Series-Paired Texts Weaved into a Unified Temporal Narrative [65.84249211767921]
  テキスト・アズ・タイム・シリーズ(英語版) (TaTS) は時系列の補助変数であると考えている。 TaTSは、既存の数値のみの時系列モデルにプラグインすることができ、ペア化されたテキストで時系列データを効率的に処理することができる。
  論文  参考訳（メタデータ） (2025-02-13T03:43:27Z)
• General Time-series Model for Universal Knowledge Representation of Multivariate Time-Series data [61.163542597764796]
  周波数領域で異なる時間粒度(または対応する周波数分解能)の時系列が異なる結合分布を示すことを示す。 時間領域と周波数領域の両方からタイムアウェア表現を学習するために,新しいFourierナレッジアテンション機構を提案する。 自己回帰的空白埋め込み事前学習フレームワークを時系列解析に初めて組み込み、生成タスクに依存しない事前学習戦略を実現する。
  論文  参考訳（メタデータ） (2025-02-05T15:20:04Z)
• TempoGPT: Enhancing Temporal Reasoning via Quantizing Embedding [13.996105878417204]
  本稿では,マルチモーダル時系列データ構築手法とマルチモーダル時系列言語モデル(TLM, TempoGPT)を提案する。 ホワイトボックスシステム内の変数-システム関係を解析することにより,複雑な推論タスクのためのマルチモーダルデータを構築する。 広範な実験により、TempoGPTは時間的情報を正確に知覚し、結論を論理的に推論し、構築された複雑な時系列推論タスクにおける最先端の処理を達成することが示されている。
  論文  参考訳（メタデータ） (2025-01-13T13:47:05Z)
• Generalized Prompt Tuning: Adapting Frozen Univariate Time Series Foundation Models for Multivariate Healthcare Time Series [3.9599054392856483]
  時系列基礎モデルは、大規模なデータセットで事前訓練され、様々なタスクで最先端のパフォーマンスを達成することができる。 我々は、既存の単変量時系列基礎モデルに適応できる、素早いチューニングインスパイアされた微調整技術Gen-P-Tuningを提案する。 2つのMIMIC分類課題とインフルエンザ様疾患予測における各種ベースラインに対する微調整アプローチの有効性を実証した。
  論文  参考訳（メタデータ） (2024-11-19T19:20:58Z)
• Moirai-MoE: Empowering Time Series Foundation Models with Sparse Mixture of Experts [103.725112190618]
  本稿では,単一入出力プロジェクション層を用いたMoirai-MoEを紹介するとともに,多種多様な時系列パターンのモデリングを専門家の疎結合に委ねる。 39のデータセットに対する大規模な実験は、既存の基盤モデルよりも、分配シナリオとゼロショットシナリオの両方において、Moirai-MoEの優位性を実証している。
  論文  参考訳（メタデータ） (2024-10-14T13:01:11Z)
• Towards Generalisable Time Series Understanding Across Domains [10.350643783811174]
  時系列の不均一性を扱うために特別に設計された新しい事前学習パラダイムを導入する。 本稿では、学習可能なドメインシグネチャ、二重マスキング戦略、正規化相互相関損失を持つトークンサを提案する。 私たちのコードと事前訓練されたウェイトはhttps://www.oetu.com/oetu/otis.comで公開されています。
  論文  参考訳（メタデータ） (2024-10-09T17:09:30Z)
• Deep Time Series Models: A Comprehensive Survey and Benchmark [74.28364194333447]
  時系列データは、現実世界のシナリオにおいて非常に重要である。 近年、時系列コミュニティで顕著なブレークスルーが見られた。 多様な分析タスクのためのディープ時系列モデルの公正なベンチマークとして、時系列ライブラリ(TSLib)をリリースします。
  論文  参考訳（メタデータ） (2024-07-18T08:31:55Z)
• Advancing Time Series Classification with Multimodal Language Modeling [6.624754582682479]
  InstructTimeは、時系列分類を学習から生成までのパラダイムとして再形成するための新しい試みである。 中心となる考え方は、タスク固有の命令と生の時系列の両方をマルチモーダル入力として扱うマルチモーダル理解タスクとして時系列の分類を定式化することである。 ベンチマークデータセット上で大規模な実験が行われ、その結果、InstructTimeの優れたパフォーマンスが明らかになった。
  論文  参考訳（メタデータ） (2024-03-19T02:32:24Z)
• TEMPO: Prompt-based Generative Pre-trained Transformer for Time Series Forecasting [24.834846119163885]
  本稿では,時系列表現を効果的に学習できる新しいフレームワークTEMPOを提案する。 TEMPOは、様々な領域のデータから現実世界の時間現象を動的にモデル化する機能を拡張する。
  論文  参考訳（メタデータ） (2023-10-08T00:02:25Z)
• Time-LLM: Time Series Forecasting by Reprogramming Large Language Models [110.20279343734548]
  時系列予測は多くの実世界の力学系において重要な意味を持つ。 時系列予測のための大規模言語モデルを再利用するための再プログラミングフレームワークであるTime-LLMを提案する。 Time-LLMは、最先端の特殊な予測モデルよりも優れた、強力な時系列学習者である。
  論文  参考訳（メタデータ） (2023-10-03T01:31:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。