論文の概要: Meta Transfer of Self-Supervised Knowledge: Foundation Model in Action
for Post-Traumatic Epilepsy Prediction
- arxiv url: http://arxiv.org/abs/2312.14204v1
- Date: Thu, 21 Dec 2023 07:42:49 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-25 17:24:53.989880
- Title: Meta Transfer of Self-Supervised Knowledge: Foundation Model in Action
for Post-Traumatic Epilepsy Prediction
- Title(参考訳): 自己監督知識のメタトランスファー:外傷後てんかん予測のための基礎モデル
- Authors: Wenhui Cui, Haleh Akrami, Ganning Zhao, Anand A. Joshi, Richard M.
Leahy
- Abstract要約: 基礎モデルに新たなトレーニング戦略を導入する。
提案手法は,小規模臨床データセットのタスク性能を著しく向上することを示す。
さらに, 基礎モデルの一般化性の向上を実証した。
- 参考スコア(独自算出の注目度): 0.6291443816903801
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Despite the impressive advancements achieved using deep-learning for
functional brain activity analysis, the heterogeneity of functional patterns
and scarcity of imaging data still pose challenges in tasks such as prediction
of future onset of Post-Traumatic Epilepsy (PTE) from data acquired shortly
after traumatic brain injury (TBI). Foundation models pre-trained on separate
large-scale datasets can improve the performance from scarce and heterogeneous
datasets. For functional Magnetic Resonance Imaging (fMRI), while data may be
abundantly available from healthy controls, clinical data is often scarce,
limiting the ability of foundation models to identify clinically-relevant
features. We overcome this limitation by introducing a novel training strategy
for our foundation model by integrating meta-learning with self-supervised
learning to improve the generalization from normal to clinical features. In
this way we enable generalization to other downstream clinical tasks, in our
case prediction of PTE. To achieve this, we perform self-supervised training on
the control dataset to focus on inherent features that are not limited to a
particular supervised task while applying meta-learning, which strongly
improves the model's generalizability using bi-level optimization. Through
experiments on neurological disorder classification tasks, we demonstrate that
the proposed strategy significantly improves task performance on small-scale
clinical datasets. To explore the generalizability of the foundation model in
downstream applications, we then apply the model to an unseen TBI dataset for
prediction of PTE using zero-shot learning. Results further demonstrated the
enhanced generalizability of our foundation model.
- Abstract(参考訳): 機能的脳活動分析にディープラーニングを用いた驚くべき進歩にもかかわらず、外傷性脳損傷(tbi)の直後に取得したデータから、外傷後てんかん(pte)の発症を予測するといったタスクにおいて、機能パターンの不均一性と画像データの不足が依然として課題となっている。
大規模なデータセットを個別に事前トレーニングしたファンデーションモデルは、不足したデータセットと異種データセットのパフォーマンスを改善することができる。
機能的磁気共鳴イメージング(fMRI)では、データは健康的なコントロールから十分に利用できるが、臨床データは少なく、基礎モデルが臨床的に関連のある特徴を識別する能力を制限する。
我々は,メタラーニングと自己指導型学習を統合し,通常の特徴から臨床的特徴への一般化を改善することによって,基礎モデルの新たなトレーニング戦略を導入することで,この制限を克服する。
このようにして、他の下流臨床タスクへの一般化を可能にし、PTEの予測を行う。
これを実現するために,我々は,制御データセット上で自己教師付きトレーニングを行い,メタラーニングを適用しながら,特定の教師付きタスクに限定されない固有の特徴に注目し,バイレベル最適化によるモデルの一般化性を強く改善する。
神経障害分類課題の実験を通じて,提案手法が小規模臨床データセットのタスク性能を大幅に向上させることを示した。
下流アプリケーションにおける基礎モデルの一般化可能性を探るため,ゼロショット学習を用いたPTE予測のための未知のTBIデータセットに適用する。
その結果,基礎モデルの一般化性がさらに向上した。
関連論文リスト
- EEGFormer: Towards Transferable and Interpretable Large-Scale EEG
Foundation Model [39.363511340878624]
大規模複合脳波データに基づいて事前学習した脳波基礎モデル,すなわちEEGFormerを提案する。
本モデルの有効性を検証するため,様々な下流タスクにおいて広範囲に評価し,異なる転送条件下での性能を評価する。
論文 参考訳(メタデータ) (2024-01-11T17:36:24Z) - Learning Objective-Specific Active Learning Strategies with Attentive
Neural Processes [72.75421975804132]
学び アクティブラーニング(LAL)は、アクティブラーニング戦略自体を学ぶことを提案し、与えられた設定に適応できるようにする。
能動学習問題の対称性と独立性を利用した新しい分類法を提案する。
私たちのアプローチは、筋電図から学ぶことに基づいており、モデルに標準ではない目的に適応する能力を与えます。
論文 参考訳(メタデータ) (2023-09-11T14:16:37Z) - Drug Discovery under Covariate Shift with Domain-Informed Prior
Distributions over Functions [30.305418761024143]
実世界の薬物発見タスクは、しばしばラベル付きデータの不足とかなりの範囲のデータによって特徴づけられる。
我々は、データ生成プロセスの明示的な事前知識を事前分布にエンコードする原理的な方法を提案する。
我々は,Q-SAVIを組み込んで,事前知識のような化学空間をモデリングプロセスに組み込むことで,相当な精度と校正が可能であることを実証した。
論文 参考訳(メタデータ) (2023-07-14T05:01:10Z) - Learnable Weight Initialization for Volumetric Medical Image
Segmentation [54.1807206010136]
本稿では,学習可能な重みに基づくハイブリッド医療画像セグメンテーション手法を提案する。
我々のアプローチはどんなハイブリッドモデルにも簡単に統合でき、外部のトレーニングデータを必要としない。
多臓器・肺がんセグメンテーションタスクの実験は、我々のアプローチの有効性を実証している。
論文 参考訳(メタデータ) (2023-06-15T17:55:05Z) - Universal Domain Adaptation from Foundation Models: A Baseline Study [58.51162198585434]
基礎モデルを用いた最先端UniDA手法の実証的研究を行った。
CLIPモデルからターゲット知識を抽出するためのパラメータフリーな手法であるtextitCLIP 蒸留を導入する。
単純な手法ではあるが、ほとんどのベンチマークタスクでは従来の手法よりも優れている。
論文 参考訳(メタデータ) (2023-05-18T16:28:29Z) - DeepAD: A Robust Deep Learning Model of Alzheimer's Disease Progression
for Real-World Clinical Applications [0.9999629695552196]
本稿では,アルツハイマー病の進行を予測するための新しいマルチタスク深層学習モデルを提案する。
本モデルでは,3次元畳み込みニューラルネットワークの高次元MRI特徴を他のデータモダリティと統合する。
論文 参考訳(メタデータ) (2022-03-17T05:42:00Z) - Evaluating deep transfer learning for whole-brain cognitive decoding [11.898286908882561]
転送学習(TL)は、少数のサンプルを持つデータセットにおける深層学習(DL)モデルの性能向上に適している。
本稿では,全脳機能型磁気共鳴画像(fMRI)データから認識状態の復号化にDLモデルを適用するためのTLを評価した。
論文 参考訳(メタデータ) (2021-11-01T15:44:49Z) - Towards Open-World Feature Extrapolation: An Inductive Graph Learning
Approach [80.8446673089281]
グラフ表現と学習を伴う新しい学習パラダイムを提案する。
本フレームワークは,1) 下位モデルとしてのバックボーンネットワーク(フィードフォワードニューラルネットなど)が,予測ラベルの入力および出力として機能を取り,2) 上位モデルとしてのグラフニューラルネットワークが,観測データから構築された特徴データグラフをメッセージパッシングすることで,新機能の埋め込みを外挿することを学ぶ。
論文 参考訳(メタデータ) (2021-10-09T09:02:45Z) - A multi-stage machine learning model on diagnosis of esophageal
manometry [50.591267188664666]
このフレームワークには、飲み込みレベルにおけるディープラーニングモデルと、学習レベルにおける機能ベースの機械学習モデルが含まれている。
これは、生のマルチスワローデータからHRM研究のCC診断を自動的に予測する最初の人工知能モデルである。
論文 参考訳(メタデータ) (2021-06-25T20:09:23Z) - The unreasonable effectiveness of Batch-Norm statistics in addressing
catastrophic forgetting across medical institutions [8.244654685687054]
モデル改良と事前学習した知識の保持のトレードオフについて検討する。
本稿では,従来のデータセットのグローバルバッチ正規化統計値を用いて,弾性重み付け(EWC)を適応する,単純で効果的な手法を提案する。
論文 参考訳(メタデータ) (2020-11-16T16:57:05Z) - Select-ProtoNet: Learning to Select for Few-Shot Disease Subtype
Prediction [55.94378672172967]
本研究は, 類似患者のサブグループを同定し, 数発の疾患のサブタイプ予測問題に焦点を当てた。
新しいモデルを開発するためにメタラーニング技術を導入し、関連する臨床課題から共通の経験や知識を抽出する。
我々の新しいモデルは、単純だが効果的なメタ学習マシンであるPrototypeal Networkと呼ばれる、慎重に設計されたメタラーナーに基づいて構築されている。
論文 参考訳(メタデータ) (2020-09-02T02:50:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。