論文の概要: Bidirectional Generative Pre-training for Improving Time Series Representation Learning
- arxiv url: http://arxiv.org/abs/2402.09558v2
- Date: Sun, 11 Aug 2024 21:45:58 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-13 23:57:57.464345
- Title: Bidirectional Generative Pre-training for Improving Time Series Representation Learning
- Title(参考訳): 時系列表現学習改善のための双方向生成事前学習
- Authors: Ziyang Song, Qincheng Lu, He Zhu, David Buckeridge, Yue Li,
- Abstract要約: 我々は、BiTimely Generative Pre-trained Transformer (BiTimelyGPT) と呼ばれる新しいアーキテクチャを提案する。
BiTimelyGPTによる生体信号と経時的臨床記録の経時的変化予測
BiTimelyGPTは、生体信号と経時的臨床記録を用いて、神経機能、疾患診断、生理的兆候を予測する上で優れた性能を示す。
- 参考スコア(独自算出の注目度): 9.621781933666844
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Learning time-series representations for discriminative tasks, such as classification and regression, has been a long-standing challenge in the healthcare domain. Current pre-training methods are limited in either unidirectional next-token prediction or randomly masked token prediction. We propose a novel architecture called Bidirectional Timely Generative Pre-trained Transformer (BiTimelyGPT), which pre-trains on biosignals and longitudinal clinical records by both next-token and previous-token prediction in alternating transformer layers. This pre-training task preserves original distribution and data shapes of the time-series. Additionally, the full-rank forward and backward attention matrices exhibit more expressive representation capabilities. Using biosignals and longitudinal clinical records, BiTimelyGPT demonstrates superior performance in predicting neurological functionality, disease diagnosis, and physiological signs. By visualizing the attention heatmap, we observe that the pre-trained BiTimelyGPT can identify discriminative segments from biosignal time-series sequences, even more so after fine-tuning on the task.
- Abstract(参考訳): 分類や回帰といった差別的なタスクに対する時系列表現の学習は、医療分野における長年にわたる課題である。
現在の事前学習方法は、一方向の次トーケン予測またはランダムにマスキングされたトークン予測で制限される。
本稿では, 生体信号と経時的臨床記録を交互変換器層で予測することにより, 生体信号と経時的臨床記録を事前学習する双方向時間生成事前学習型トランス (Bidirectional Timely Generative Pre-trained Transformer, BiTimelyGPT) を提案する。
この事前学習タスクは、時系列のオリジナルの分布とデータ形状を保存する。
さらに、フルランクの前方および後方の注意行列はより表現力のある表現能力を示す。
BiTimelyGPTは、生体信号と経時的臨床記録を用いて、神経機能、疾患診断、生理的兆候を予測する上で優れた性能を示す。
注意熱マップを可視化することにより、事前学習したBiTimelyGPTが、タスクを微調整した後でも、生体信号の時系列配列から識別セグメントを識別できることを観察する。
関連論文リスト
- TokenUnify: Scalable Autoregressive Visual Pre-training with Mixture Token Prediction [61.295716741720284]
TokenUnifyは、ランダムトークン予測、次のトークン予測、次のトークン予測を統合する新しい事前学習手法である。
TokenUnifyと共同で,超高解像度の大規模電子顕微鏡画像データセットを構築した。
このデータセットには1億2000万以上の注釈付きボクセルが含まれており、これまでで最大のニューロンセグメンテーションデータセットとなっている。
論文 参考訳(メタデータ) (2024-05-27T05:45:51Z) - A Poisson-Gamma Dynamic Factor Model with Time-Varying Transition Dynamics [51.147876395589925]
非定常PGDSは、基礎となる遷移行列が時間とともに進化できるように提案されている。
後続シミュレーションを行うために, 完全共役かつ効率的なギブスサンプリング装置を開発した。
実験により,提案した非定常PGDSは,関連するモデルと比較して予測性能が向上することを示した。
論文 参考訳(メタデータ) (2024-02-26T04:39:01Z) - Multi-Patch Prediction: Adapting LLMs for Time Series Representation
Learning [22.28251586213348]
aLLM4TSは、時系列表現学習にLarge Language Models(LLM)を適用する革新的なフレームワークである。
われわれのフレームワークの特筆すべき要素はパッチワイドデコーディング層である。
論文 参考訳(メタデータ) (2024-02-07T13:51:26Z) - TimeSiam: A Pre-Training Framework for Siamese Time-Series Modeling [67.02157180089573]
時系列事前トレーニングは、最近、ラベルのコストを削減し、下流の様々なタスクに利益をもたらす可能性があるとして、広く注目を集めている。
本稿では,シームズネットワークに基づく時系列の簡易かつ効果的な自己教師型事前学習フレームワークとしてTimeSiamを提案する。
論文 参考訳(メタデータ) (2024-02-04T13:10:51Z) - TransformerG2G: Adaptive time-stepping for learning temporal graph
embeddings using transformers [2.2120851074630177]
本研究では,不確実な定量化を伴うグラフ埋め込みモデルであるTransformerG2Gを開発し,時間的グラフの時間的ダイナミクスを学習する。
提案したTransformerG2Gモデルが従来のマルチステップ法より優れていることを示す。
注意重みを調べることで、時間的依存関係を解明し、影響力のある要素を特定し、グラフ構造内の複雑な相互作用についての洞察を得ることができる。
論文 参考訳(メタデータ) (2023-07-05T18:34:22Z) - Time Series Contrastive Learning with Information-Aware Augmentations [57.45139904366001]
コントラスト学習の鍵となる要素は、いくつかの先行を示唆する適切な拡張を選択して、実現可能な正のサンプルを構築することである。
対照的な学習タスクやデータセットに意味のある時系列データの増大をどうやって見つけるかは、未解決の問題である。
本稿では,時系列表現学習のための最適な拡張を適応的に選択する情報認識拡張を用いた新しいコントラスト学習手法であるInfoTSを提案する。
論文 参考訳(メタデータ) (2023-03-21T15:02:50Z) - T-Phenotype: Discovering Phenotypes of Predictive Temporal Patterns in
Disease Progression [82.85825388788567]
我々は、ラベル付き時系列データから予測時相パターンの表現型を発見するために、新しい時間的クラスタリング手法T-Phenotypeを開発した。
T-フェノタイプは, 評価ベースラインのすべてに対して, 最良の表現型発見性能を示す。
論文 参考訳(メタデータ) (2023-02-24T13:30:35Z) - Attention Augmented Convolutional Transformer for Tabular Time-series [0.9137554315375922]
時系列分類は、産業データ科学において最も頻繁に実行されるタスクの1つである。
時系列データから表現を学習するための新しいスケーラブルアーキテクチャを提案する。
提案するモデルはエンドツーエンドで,カテゴリ型と連続型の両方の値入力を処理できる。
論文 参考訳(メタデータ) (2021-10-05T05:20:46Z) - Time-series Imputation and Prediction with Bi-Directional Generative
Adversarial Networks [0.3162999570707049]
本稿では,不規則に観測された時系列データと不規則なエントリを含む長さの時系列データの計算と予測を併用したタスクのモデルを提案する。
我々のモデルは、入力時間ステップ(予測)の内側または外側の欠落した要素をインプットする方法を学び、したがって、時系列データに有効な任意の時間予測ツールとして機能する。
論文 参考訳(メタデータ) (2020-09-18T15:47:51Z) - Predicting Temporal Sets with Deep Neural Networks [50.53727580527024]
本稿では,時間集合予測のためのディープニューラルネットワークに基づく統合解を提案する。
ユニークな視点は、セットレベルの共起グラフを構築することで要素関係を学ぶことである。
我々は,要素や集合の時間依存性を適応的に学習するアテンションベースのモジュールを設計する。
論文 参考訳(メタデータ) (2020-06-20T03:29:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。