論文の概要: Bidirectional Generative Pre-training for Improving Time Series
Representation Learning
- arxiv url: http://arxiv.org/abs/2402.09558v1
- Date: Wed, 14 Feb 2024 20:19:24 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-16 18:08:33.107374
- Title: Bidirectional Generative Pre-training for Improving Time Series
Representation Learning
- Title(参考訳): 時系列表現学習改善のための双方向生成前学習
- Authors: Ziyang Song, Qincheng Lu, He Zhu, Yue Li
- Abstract要約: 双方向時間生成事前学習型トランス(BiTimelyGPT)と呼ばれる新しいアーキテクチャを提案する。
BiTimelyGPTは、変圧器層における次トーケンおよび前トーケン予測による時系列データの事前トレーニングを行う。
生体信号データを用いて、BiTimelyGPTは神経機能、疾患診断、生理的兆候を予測するのに優れた性能を示す。
- 参考スコア(独自算出の注目度): 11.276797050164607
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Learning time-series representations for discriminative tasks has been a
long-standing challenge. Current pre-training methods are limited in either
unidirectional next-token prediction or randomly masked token prediction. We
propose a novel architecture called Bidirectional Timely Generative Pre-trained
Transformer (BiTimelyGPT), which pre-trains on time-series data by both
next-token and previous-token predictions in alternating transformer layers.
This pre-training task preserves original distribution and data shapes of the
time-series. Additionally, the full-rank forward and backward attention
matrices exhibit more expressive representation capabilities. Using biosignal
data, BiTimelyGPT demonstrates superior performance in predicting neurological
functionality, disease diagnosis, and physiological signs. By visualizing the
attention heatmap, we observe that the pre-trained BiTimelyGPT can identify
discriminative segments from time-series sequences, even more so after
fine-tuning on the task.
- Abstract(参考訳): 差別的タスクのための時系列表現の学習は長年の課題だった。
現在の事前学習方法は、一方向の次トーケン予測またはランダムなマスク付きトークン予測で制限される。
交互変圧器層における直交予測と先行予測の両方による時系列データの事前学習を行う双方向時間生成予行変圧器(bitimelygpt)という新しいアーキテクチャを提案する。
この事前学習タスクは、時系列のオリジナル分布とデータ形状を保存する。
さらに、フルランクの前方および後方の注意行列はより表現力のある表現能力を示す。
生体信号データを用いて、BiTimelyGPTは神経機能、疾患診断、生理的兆候を予測する上で優れた性能を示す。
注意ヒートマップを可視化することにより,事前学習したbitimelygptは,タスクを微調整した後でさえ,時系列から識別セグメントを識別できることを観察する。
関連論文リスト
- Multi-Patch Prediction: Adapting LLMs for Time Series Representation
Learning [22.28251586213348]
aLLM4TSは、時系列表現学習にLarge Language Models(LLM)を適用する革新的なフレームワークである。
われわれのフレームワークの特筆すべき要素はパッチワイドデコーディング層である。
論文 参考訳(メタデータ) (2024-02-07T13:51:26Z) - TimeSiam: A Pre-Training Framework for Siamese Time-Series Modeling [70.38241681764738]
時系列事前トレーニングは、最近、ラベルのコストを削減し、下流の様々なタスクに利益をもたらす可能性があるとして、広く注目を集めている。
本稿では,シームズネットワークに基づく時系列の簡易かつ効果的な自己教師型事前学習フレームワークとしてTimeSiamを提案する。
論文 参考訳(メタデータ) (2024-02-04T13:10:51Z) - Timer: Transformers for Time Series Analysis at Scale [87.9808714449511]
本稿では,大規模時系列モデル(LTSM)の早期開発を目的とした。
事前トレーニング中に、最大10億のタイムポイントを持つ大規模なデータセットをキュレートします。
多様なアプリケーションのニーズを満たすため,予測,計算,時系列の異常検出を統一的な生成タスクに変換する。
論文 参考訳(メタデータ) (2024-02-04T06:55:55Z) - TransformerG2G: Adaptive time-stepping for learning temporal graph
embeddings using transformers [2.2120851074630177]
本研究では,不確実な定量化を伴うグラフ埋め込みモデルであるTransformerG2Gを開発し,時間的グラフの時間的ダイナミクスを学習する。
提案したTransformerG2Gモデルが従来のマルチステップ法より優れていることを示す。
注意重みを調べることで、時間的依存関係を解明し、影響力のある要素を特定し、グラフ構造内の複雑な相互作用についての洞察を得ることができる。
論文 参考訳(メタデータ) (2023-07-05T18:34:22Z) - Time Series Contrastive Learning with Information-Aware Augmentations [57.45139904366001]
コントラスト学習の鍵となる要素は、いくつかの先行を示唆する適切な拡張を選択して、実現可能な正のサンプルを構築することである。
対照的な学習タスクやデータセットに意味のある時系列データの増大をどうやって見つけるかは、未解決の問題である。
本稿では,時系列表現学習のための最適な拡張を適応的に選択する情報認識拡張を用いた新しいコントラスト学習手法であるInfoTSを提案する。
論文 参考訳(メタデータ) (2023-03-21T15:02:50Z) - Rethinking Visual Prompt Learning as Masked Visual Token Modeling [106.71983630652323]
マスク付き視覚トークンモデリング(VPTM)として視覚プロンプト学習を提案し、下流の視覚分類を事前訓練されたマスク付き視覚トークン予測に変換する。
VPTMは、生成前訓練された視覚モデルにおける最初の視覚的プロンプト法であり、タスク修正による事前学習と下流視覚分類の整合性を実現する。
論文 参考訳(メタデータ) (2023-03-09T02:43:10Z) - T-Phenotype: Discovering Phenotypes of Predictive Temporal Patterns in
Disease Progression [82.85825388788567]
我々は、ラベル付き時系列データから予測時相パターンの表現型を発見するために、新しい時間的クラスタリング手法T-Phenotypeを開発した。
T-フェノタイプは, 評価ベースラインのすべてに対して, 最良の表現型発見性能を示す。
論文 参考訳(メタデータ) (2023-02-24T13:30:35Z) - Attention Augmented Convolutional Transformer for Tabular Time-series [0.9137554315375922]
時系列分類は、産業データ科学において最も頻繁に実行されるタスクの1つである。
時系列データから表現を学習するための新しいスケーラブルアーキテクチャを提案する。
提案するモデルはエンドツーエンドで,カテゴリ型と連続型の両方の値入力を処理できる。
論文 参考訳(メタデータ) (2021-10-05T05:20:46Z) - Time-series Imputation and Prediction with Bi-Directional Generative
Adversarial Networks [0.3162999570707049]
本稿では,不規則に観測された時系列データと不規則なエントリを含む長さの時系列データの計算と予測を併用したタスクのモデルを提案する。
我々のモデルは、入力時間ステップ(予測)の内側または外側の欠落した要素をインプットする方法を学び、したがって、時系列データに有効な任意の時間予測ツールとして機能する。
論文 参考訳(メタデータ) (2020-09-18T15:47:51Z) - Predicting Temporal Sets with Deep Neural Networks [50.53727580527024]
本稿では,時間集合予測のためのディープニューラルネットワークに基づく統合解を提案する。
ユニークな視点は、セットレベルの共起グラフを構築することで要素関係を学ぶことである。
我々は,要素や集合の時間依存性を適応的に学習するアテンションベースのモジュールを設計する。
論文 参考訳(メタデータ) (2020-06-20T03:29:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。