論文の概要: Self-supervised learning of imaging and clinical signatures using a multimodal joint-embedding predictive architecture

• arxiv url: http://arxiv.org/abs/2509.15470v1
• Date: Thu, 18 Sep 2025 22:35:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-22 18:18:10.924631
• Title: Self-supervised learning of imaging and clinical signatures using a multimodal joint-embedding predictive architecture
• Title（参考訳）: マルチモーダル結合型予測アーキテクチャを用いた画像と臨床署名の自己教師付き学習
• Authors: Thomas Z. Li, Aravind R. Krishnan, Lianrui Zuo, John M. Still, Kim L. Sandler, Fabien Maldonado, Thomas A. Lasko, Bennett A. Landman,
• Abstract要約: 肺結節診断のためのマルチモーダルモデルは、ラベル付きデータの不足と、これらのモデルがトレーニング分布に過度に適合する傾向によって制限される。 これらの課題に対処するために、縦・マルチモーダルアーカイブからの自己教師型学習を活用する。
• 参考スコア（独自算出の注目度）: 2.2996127475972696
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: The development of multimodal models for pulmonary nodule diagnosis is limited by the scarcity of labeled data and the tendency for these models to overfit on the training distribution. In this work, we leverage self-supervised learning from longitudinal and multimodal archives to address these challenges. We curate an unlabeled set of patients with CT scans and linked electronic health records from our home institution to power joint embedding predictive architecture (JEPA) pretraining. After supervised finetuning, we show that our approach outperforms an unregularized multimodal model and imaging-only model in an internal cohort (ours: 0.91, multimodal: 0.88, imaging-only: 0.73 AUC), but underperforms in an external cohort (ours: 0.72, imaging-only: 0.75 AUC). We develop a synthetic environment that characterizes the context in which JEPA may underperform. This work innovates an approach that leverages unlabeled multimodal medical archives to improve predictive models and demonstrates its advantages and limitations in pulmonary nodule diagnosis.
• Abstract（参考訳）: 肺結節診断のためのマルチモーダルモデルの開発は,ラベル付きデータの不足と,これらのモデルがトレーニング分布に過度に適合する傾向によって制限される。 本研究では,これらの課題に対処するために,縦・マルチモーダルアーカイブからの自己教師型学習を活用する。 我々は, 自施設のCTスキャンと電子健康記録を, パワージョイント埋め込み予測アーキテクチャ (JEPA) の事前トレーニングに関連づけた, ラベルのない患者のセットをキュレートした。 教師付き微調整後,本手法は内部コホートにおいて非正規化マルチモーダルモデルと画像のみモデル(うち0.91, マルチモーダル: 0.88, 画像のみ: 0.73 AUC)より優れるが, 外部コホートでは低性能(うち0.72, 画像のみ: 0.75 AUC)を示す。 我々はJEPAが過小評価される可能性のあるコンテキストを特徴付ける合成環境を開発する。 この研究は、ラベルのないマルチモーダル医療アーカイブを活用して予測モデルを改善し、肺結節診断におけるその利点と限界を示すアプローチを革新する。

関連論文リスト

• MM-DINOv2: Adapting Foundation Models for Multi-Modal Medical Image Analysis [19.063517827476826]
  MM-DINOv2(MM-DINOv2)は,マルチモーダル・メディカル・イメージングのための事前学習型視覚基盤モデルDINOv2に適応する新しいフレームワークである。 本手法では,マルチモーダル・パッチの埋め込みを取り入れ,視覚基盤モデルによりマルチモーダル・イメージングデータを効果的に処理することができる。 本手法は外部テストセットで0.6のマシューズ相関係数(MCC)を達成し、最先端の教師付きアプローチを+11.1%超える。
  論文  参考訳（メタデータ） (2025-09-08T12:34:15Z)
• impuTMAE: Multi-modal Transformer with Masked Pre-training for Missing Modalities Imputation in Cancer Survival Prediction [75.43342771863837]
  我々は,効率的なマルチモーダル事前学習戦略を備えた新しいトランスフォーマーに基づくエンドツーエンドアプローチである impuTMAE を紹介する。 マスクされたパッチを再構築することで、モダリティの欠如を同時に示唆しながら、モダリティ間の相互作用とモダリティ内相互作用を学習する。 本モデルは,TGA-GBM/LGGとBraTSデータセットを用いたグリオーマ生存予測のために,異種不完全データに基づいて事前訓練を行った。
  論文  参考訳（メタデータ） (2025-08-08T10:01:16Z)
• Continually Evolved Multimodal Foundation Models for Cancer Prognosis [50.43145292874533]
  がん予後は、患者の予後と生存率を予測する重要なタスクである。 これまでの研究では、臨床ノート、医療画像、ゲノムデータなどの多様なデータモダリティを統合し、補完的な情報を活用している。 既存のアプローチには2つの大きな制限がある。まず、各病院の患者記録など、各種のトレーニングに新しく到着したデータを組み込むことに苦慮する。 第二に、ほとんどのマルチモーダル統合手法は単純化された結合やタスク固有のパイプラインに依存しており、モダリティ間の複雑な相互依存を捉えることができない。
  論文  参考訳（メタデータ） (2025-01-30T06:49:57Z)
• PMT: Progressive Mean Teacher via Exploring Temporal Consistency for Semi-Supervised Medical Image Segmentation [51.509573838103854]
  医用画像セグメンテーションのための半教師付き学習フレームワークであるプログレッシブ平均教師(PMT)を提案する。 我々のPMTは、トレーニングプロセスにおいて、堅牢で多様な特徴を学習することで、高忠実な擬似ラベルを生成する。 CT と MRI の異なる2つのデータセットに対する実験結果から,本手法が最先端の医用画像分割法より優れていることが示された。
  論文  参考訳（メタデータ） (2024-09-08T15:02:25Z)
• End-To-End Prediction of Knee Osteoarthritis Progression With Multi-Modal Transformers [2.9822184411723645]
  変形性膝関節症(KOA)は慢性筋骨格疾患である。 我々は、Deep Learningの最近の進歩を活用し、膝画像データのマルチモーダル融合のための統一的なフレームワークを開発した。 追跡分析の結果,画像データからの予測は外傷後の被験者に対してより正確であることが示唆された。
  論文  参考訳（メタデータ） (2023-07-03T09:10:57Z)
• Longitudinal Multimodal Transformer Integrating Imaging and Latent Clinical Signatures From Routine EHRs for Pulmonary Nodule Classification [4.002181247287472]
  単発性肺結節(SPN)分類におけるERHからの経時的臨床所見とリピート画像を統合するためのトランスフォーマーベースのマルチモーダル戦略を提案する。 臨床症状の非観血的非観血的切り離しを行ない, 時間依存性の自己注意を利用して, 臨床症状の表現と胸部CTスキャンから共同学習を行った。
  論文  参考訳（メタデータ） (2023-04-06T03:03:07Z)
• A multi-stage machine learning model on diagnosis of esophageal manometry [50.591267188664666]
  このフレームワークには、飲み込みレベルにおけるディープラーニングモデルと、学習レベルにおける機能ベースの機械学習モデルが含まれている。 これは、生のマルチスワローデータからHRM研究のCC診断を自動的に予測する最初の人工知能モデルである。
  論文  参考訳（メタデータ） (2021-06-25T20:09:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。