論文の概要: Meta Transfer of Self-Supervised Knowledge: Foundation Model in Action
for Post-Traumatic Epilepsy Prediction
- arxiv url: http://arxiv.org/abs/2312.14204v1
- Date: Thu, 21 Dec 2023 07:42:49 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-25 17:24:53.989880
- Title: Meta Transfer of Self-Supervised Knowledge: Foundation Model in Action
for Post-Traumatic Epilepsy Prediction
- Title（参考訳）: 自己監督知識のメタトランスファー:外傷後てんかん予測のための基礎モデル
- Authors: Wenhui Cui, Haleh Akrami, Ganning Zhao, Anand A. Joshi, Richard M.
Leahy
- Abstract要約: 基礎モデルに新たなトレーニング戦略を導入する。
提案手法は,小規模臨床データセットのタスク性能を著しく向上することを示す。
さらに, 基礎モデルの一般化性の向上を実証した。
- 参考スコア（独自算出の注目度）: 0.6291443816903801
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Despite the impressive advancements achieved using deep-learning for
functional brain activity analysis, the heterogeneity of functional patterns
and scarcity of imaging data still pose challenges in tasks such as prediction
of future onset of Post-Traumatic Epilepsy (PTE) from data acquired shortly
after traumatic brain injury (TBI). Foundation models pre-trained on separate
large-scale datasets can improve the performance from scarce and heterogeneous
datasets. For functional Magnetic Resonance Imaging (fMRI), while data may be
abundantly available from healthy controls, clinical data is often scarce,
limiting the ability of foundation models to identify clinically-relevant
features. We overcome this limitation by introducing a novel training strategy
for our foundation model by integrating meta-learning with self-supervised
learning to improve the generalization from normal to clinical features. In
this way we enable generalization to other downstream clinical tasks, in our
case prediction of PTE. To achieve this, we perform self-supervised training on
the control dataset to focus on inherent features that are not limited to a
particular supervised task while applying meta-learning, which strongly
improves the model's generalizability using bi-level optimization. Through
experiments on neurological disorder classification tasks, we demonstrate that
the proposed strategy significantly improves task performance on small-scale
clinical datasets. To explore the generalizability of the foundation model in
downstream applications, we then apply the model to an unseen TBI dataset for
prediction of PTE using zero-shot learning. Results further demonstrated the
enhanced generalizability of our foundation model.
- Abstract（参考訳）: 機能的脳活動分析にディープラーニングを用いた驚くべき進歩にもかかわらず、外傷性脳損傷(tbi)の直後に取得したデータから、外傷後てんかん(pte)の発症を予測するといったタスクにおいて、機能パターンの不均一性と画像データの不足が依然として課題となっている。
大規模なデータセットを個別に事前トレーニングしたファンデーションモデルは、不足したデータセットと異種データセットのパフォーマンスを改善することができる。
機能的磁気共鳴イメージング(fMRI)では、データは健康的なコントロールから十分に利用できるが、臨床データは少なく、基礎モデルが臨床的に関連のある特徴を識別する能力を制限する。
我々は,メタラーニングと自己指導型学習を統合し,通常の特徴から臨床的特徴への一般化を改善することによって,基礎モデルの新たなトレーニング戦略を導入することで,この制限を克服する。
このようにして、他の下流臨床タスクへの一般化を可能にし、PTEの予測を行う。
これを実現するために,我々は,制御データセット上で自己教師付きトレーニングを行い,メタラーニングを適用しながら,特定の教師付きタスクに限定されない固有の特徴に注目し,バイレベル最適化によるモデルの一般化性を強く改善する。
神経障害分類課題の実験を通じて,提案手法が小規模臨床データセットのタスク性能を大幅に向上させることを示した。
下流アプリケーションにおける基礎モデルの一般化可能性を探るため,ゼロショット学習を用いたPTE予測のための未知のTBIデータセットに適用する。
その結果,基礎モデルの一般化性がさらに向上した。
関連論文リスト
- LoRKD: Low-Rank Knowledge Decomposition for Medical Foundation Models [59.961172635689664]
知識分解」は、特定の医療課題のパフォーマンス向上を目的としている。
我々はLow-Rank Knowledge Decomposition(LoRKD)という新しいフレームワークを提案する。
LoRKDは、低ランクのエキスパートモジュールと効率的な知識分離畳み込みを組み込むことで、グラデーションを異なるタスクから明確に分離する。
論文 参考訳（メタデータ） (2024-09-29T03:56:21Z) - Enhancing Robustness of Vision-Language Models through Orthogonality Learning and Self-Regularization [77.62516752323207]
そこで本研究では,事前訓練した重みを効率よく微調整する直交微調整法を導入し,頑健さと一般化の強化を実現した。
自己正規化戦略は、OrthSRと呼ばれるVLMのゼロショット一般化の観点から安定性を維持するためにさらに活用される。
筆者らはCLIPとCoOpを再検討し,少数の画像のクラスフィシエーションシナリオにおけるモデルの改善を効果的に行う。
論文 参考訳（メタデータ） (2024-07-11T10:35:53Z) - Rethinking Model Prototyping through the MedMNIST+ Dataset Collection [0.11999555634662634]
本研究は,MedMNIST+データベースに対する評価環境の多様化のためのベンチマークを示す。
我々は、医用画像分類のための共通畳み込みニューラルネットワーク(CNN)とトランスフォーマーベースのアーキテクチャを徹底的に分析する。
この結果から,計算効率のよいトレーニングスキームと最新の基礎モデルは,高額なエンドツーエンドトレーニングとリソース強化アプローチのギャップを埋める上で有望であることが示唆された。
論文 参考訳（メタデータ） (2024-04-24T10:19:25Z) - Learning Objective-Specific Active Learning Strategies with Attentive
Neural Processes [72.75421975804132]
学び アクティブラーニング(LAL)は、アクティブラーニング戦略自体を学ぶことを提案し、与えられた設定に適応できるようにする。
能動学習問題の対称性と独立性を利用した新しい分類法を提案する。
私たちのアプローチは、筋電図から学ぶことに基づいており、モデルに標準ではない目的に適応する能力を与えます。
論文 参考訳（メタデータ） (2023-09-11T14:16:37Z) - Learnable Weight Initialization for Volumetric Medical Image Segmentation [66.3030435676252]
本稿では,学習可能な重みに基づくハイブリッド医療画像セグメンテーション手法を提案する。
我々のアプローチはどんなハイブリッドモデルにも簡単に統合でき、外部のトレーニングデータを必要としない。
多臓器・肺がんセグメンテーションタスクの実験は、我々のアプローチの有効性を実証している。
論文 参考訳（メタデータ） (2023-06-15T17:55:05Z) - Universal Domain Adaptation from Foundation Models: A Baseline Study [58.51162198585434]
基礎モデルを用いた最先端UniDA手法の実証的研究を行った。
CLIPモデルからターゲット知識を抽出するためのパラメータフリーな手法であるtextitCLIP 蒸留を導入する。
単純な手法ではあるが、ほとんどのベンチマークタスクでは従来の手法よりも優れている。
論文 参考訳（メタデータ） (2023-05-18T16:28:29Z) - Towards Foundation Models and Few-Shot Parameter-Efficient Fine-Tuning for Volumetric Organ Segmentation [20.94974284175104]
FSEFT(Few-Shot Efficient Fine-Tuning)は、医用画像セグメンテーション基礎モデルに適用するための、新規かつ現実的なシナリオである。
総合的な転写学習実験により, 医用画像分割における基礎モデルの適合性を確認し, 数ショットのシナリオにおいて, 一般的な微調整戦略の限界を明らかにする。
論文 参考訳（メタデータ） (2023-03-29T22:50:05Z) - DeepAD: A Robust Deep Learning Model of Alzheimer's Disease Progression
for Real-World Clinical Applications [0.9999629695552196]
本稿では,アルツハイマー病の進行を予測するための新しいマルチタスク深層学習モデルを提案する。
本モデルでは,3次元畳み込みニューラルネットワークの高次元MRI特徴を他のデータモダリティと統合する。
論文 参考訳（メタデータ） (2022-03-17T05:42:00Z) - Evaluating deep transfer learning for whole-brain cognitive decoding [11.898286908882561]
転送学習(TL)は、少数のサンプルを持つデータセットにおける深層学習(DL)モデルの性能向上に適している。
本稿では,全脳機能型磁気共鳴画像(fMRI)データから認識状態の復号化にDLモデルを適用するためのTLを評価した。
論文 参考訳（メタデータ） (2021-11-01T15:44:49Z) - A multi-stage machine learning model on diagnosis of esophageal
manometry [50.591267188664666]
このフレームワークには、飲み込みレベルにおけるディープラーニングモデルと、学習レベルにおける機能ベースの機械学習モデルが含まれている。
これは、生のマルチスワローデータからHRM研究のCC診断を自動的に予測する最初の人工知能モデルである。
論文 参考訳（メタデータ） (2021-06-25T20:09:23Z) - The unreasonable effectiveness of Batch-Norm statistics in addressing
catastrophic forgetting across medical institutions [8.244654685687054]
モデル改良と事前学習した知識の保持のトレードオフについて検討する。
本稿では,従来のデータセットのグローバルバッチ正規化統計値を用いて,弾性重み付け(EWC)を適応する,単純で効果的な手法を提案する。
論文 参考訳（メタデータ） (2020-11-16T16:57:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。