論文の概要: Bidirectional Generative Pre-training for Improving Healthcare Time-series Representation Learning

• arxiv url: http://arxiv.org/abs/2402.09558v3
• Date: Fri, 23 Aug 2024 18:25:37 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-28 00:16:18.606518
• Title: Bidirectional Generative Pre-training for Improving Healthcare Time-series Representation Learning
• Title（参考訳）: 医療時系列表現学習改善のための双方向生成事前学習
• Authors: Ziyang Song, Qincheng Lu, He Zhu, David Buckeridge, Yue Li,
• Abstract要約: 我々は、BiTimely Generative Pre-trained Transformer (BiTimelyGPT) と呼ばれる新しいアーキテクチャを提案する。 BiTimelyGPTによる生体信号と経時的臨床記録の経時的変化予測 BiTimelyGPTは、生体信号と経時的臨床記録を用いて、神経機能、疾患診断、生理的兆候を予測する上で優れた性能を示す。
• 参考スコア（独自算出の注目度）: 9.621781933666844
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Learning time-series representations for discriminative tasks, such as classification and regression, has been a long-standing challenge in the healthcare domain. Current pre-training methods are limited in either unidirectional next-token prediction or randomly masked token prediction. We propose a novel architecture called Bidirectional Timely Generative Pre-trained Transformer (BiTimelyGPT), which pre-trains on biosignals and longitudinal clinical records by both next-token and previous-token prediction in alternating transformer layers. This pre-training task preserves original distribution and data shapes of the time-series. Additionally, the full-rank forward and backward attention matrices exhibit more expressive representation capabilities. Using biosignals and longitudinal clinical records, BiTimelyGPT demonstrates superior performance in predicting neurological functionality, disease diagnosis, and physiological signs. By visualizing the attention heatmap, we observe that the pre-trained BiTimelyGPT can identify discriminative segments from biosignal time-series sequences, even more so after fine-tuning on the task.
• Abstract（参考訳）: 分類や回帰といった差別的なタスクに対する時系列表現の学習は、医療分野における長年にわたる課題である。 現在の事前学習方法は、一方向の次トーケン予測またはランダムにマスキングされたトークン予測で制限される。 本稿では, 生体信号と経時的臨床記録を交互変換器層で予測することにより, 生体信号と経時的臨床記録を事前学習する双方向時間生成事前学習型トランス (Bidirectional Timely Generative Pre-trained Transformer, BiTimelyGPT) を提案する。 この事前学習タスクは、時系列のオリジナルの分布とデータ形状を保存する。 さらに、フルランクの前方および後方の注意行列はより表現力のある表現能力を示す。 BiTimelyGPTは、生体信号と経時的臨床記録を用いて、神経機能、疾患診断、生理的兆候を予測する上で優れた性能を示す。 注意熱マップを可視化することにより、事前学習したBiTimelyGPTが、タスクを微調整した後でも、生体信号の時系列配列から識別セグメントを識別できることを観察する。

関連論文リスト

• L-MAE: Longitudinal masked auto-encoder with time and severity-aware encoding for diabetic retinopathy progression prediction [2.663690023739801]
  自己教師付き学習(SSL)に基づく事前学習戦略は、コンピュータビジョンにおける多くの下流タスクに有効なプレテキストタスクであることが証明されている。 我々は、よく知られたTransformer-based MAEに基づく長手マスク付きオートエンコーダ(MAE)を開発した。 OPHDIATは糖尿病網膜症(DR)を対象とする大規模フォローアップスクリーニングデータセットであり,縦断的タスクで事前訓練した体重を測定した。
  論文  参考訳（メタデータ） (2024-03-24T19:34:33Z)
• Temporal Cross-Attention for Dynamic Embedding and Tokenization of Multimodal Electronic Health Records [1.6609516435725236]
  マルチモーダルな臨床時系列を正確に表現するための動的埋め込み・トークン化フレームワークを提案する。 術後合併症9例の発症予測に基礎的アプローチを応用した。
  論文  参考訳（メタデータ） (2024-03-06T19:46:44Z)
• TimeSiam: A Pre-Training Framework for Siamese Time-Series Modeling [67.02157180089573]
  時系列事前トレーニングは、最近、ラベルのコストを削減し、下流の様々なタスクに利益をもたらす可能性があるとして、広く注目を集めている。 本稿では,シームズネットワークに基づく時系列の簡易かつ効果的な自己教師型事前学習フレームワークとしてTimeSiamを提案する。
  論文  参考訳（メタデータ） (2024-02-04T13:10:51Z)
• TimelyGPT: Extrapolatable Transformer Pre-training for Long-term Time-Series Forecasting in Healthcare [14.14872125241069]
  我々は、時間生成事前学習変換器(TimelyGPT)を提示する。 TimelyGPTは、トレンドと周期パターンを時系列表現にエンコードするために、extrapolatable position (xPos) を組み込んでいる。 また、再帰的な注意と時間的畳み込みモジュールを統合して、グローバルな時間的依存関係を効果的にキャプチャする。
  論文  参考訳（メタデータ） (2023-11-29T19:09:28Z)
• Time Associated Meta Learning for Clinical Prediction [78.99422473394029]
  本稿では,時間関連メタラーニング(TAML)手法を提案する。 タスク分割後のスパーシリティ問題に対処するため、TAMLは時間情報共有戦略を採用し、正のサンプル数を増やす。 複数の臨床データセットに対するTAMLの有効性を示す。
  論文  参考訳（メタデータ） (2023-03-05T03:54:54Z)
• T-Phenotype: Discovering Phenotypes of Predictive Temporal Patterns in Disease Progression [82.85825388788567]
  我々は、ラベル付き時系列データから予測時相パターンの表現型を発見するために、新しい時間的クラスタリング手法T-Phenotypeを開発した。 T-フェノタイプは, 評価ベースラインのすべてに対して, 最良の表現型発見性能を示す。
  論文  参考訳（メタデータ） (2023-02-24T13:30:35Z)
• Prior Knowledge-Guided Attention in Self-Supervised Vision Transformers [79.60022233109397]
  本研究では、未ラベル画像データセットにおける一貫した空間的・意味的構造を利用するフレームワークである空間的事前注意(SPAN)を提案する。 SPANは、アテンションマスクを別個のトランスフォーマーヘッドから正規化し、セマンティック領域の様々な先導に従う。 その結果,アテンションマスクは,ドメインに依存しない事前学習から得られるマスクよりも解釈可能であることが判明した。
  論文  参考訳（メタデータ） (2022-09-07T02:30:36Z)
• CEHR-BERT: Incorporating temporal information from structured EHR data to improve prediction tasks [0.0]
  我々は、ハイブリッドアプローチを用いて時間情報を組み込む新しいBERT適応CEHR-BERTを開発した。 CEHR-BERTはコロンビア大学アーヴィング医療センター-ヨーク長老派病院の臨床データのサブセットで訓練された。
  論文  参考訳（メタデータ） (2021-11-10T16:53:32Z)
• STELAR: Spatio-temporal Tensor Factorization with Latent Epidemiological Regularization [76.57716281104938]
  我々は,多くの地域の流行傾向を同時に予測するテンソル法を開発した。 stelarは離散時間差分方程式のシステムを通じて潜在時間正規化を組み込むことで長期予測を可能にする。 我々は、カウンティレベルと州レベルのCOVID-19データの両方を用いて実験を行い、このモデルが流行の興味深い潜伏パターンを識別できることを示します。
  論文  参考訳（メタデータ） (2020-12-08T21:21:47Z)
• BiteNet: Bidirectional Temporal Encoder Network to Predict Medical Outcomes [53.163089893876645]
  本稿では,患者の医療旅行におけるコンテキスト依存と時間的関係を捉える,新たな自己注意機構を提案する。 エンド・ツー・エンドの双方向時間エンコーダネットワーク(BiteNet)が患者の旅路の表現を学習する。 実世界のEHRデータセットを用いた2つの教師付き予測と2つの教師なしクラスタリングタスクにおける手法の有効性を評価した。
  論文  参考訳（メタデータ） (2020-09-24T00:42:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。