論文の概要: AdaMSS: Adaptive Multi-Modality Segmentation-to-Survival Learning for Survival Outcome Prediction from PET/CT Images
- arxiv url: http://arxiv.org/abs/2305.09946v3
- Date: Wed, 16 Oct 2024 01:10:44 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-17 13:39:19.931734
- Title: AdaMSS: Adaptive Multi-Modality Segmentation-to-Survival Learning for Survival Outcome Prediction from PET/CT Images
- Title(参考訳): AdaMSS:PET/CT画像からの生存率予測のための適応型マルチモーダルセグメンテーション・ツー・サバイバル学習
- Authors: Mingyuan Meng, Bingxin Gu, Michael Fulham, Shaoli Song, Dagan Feng, Lei Bi, Jinman Kim,
- Abstract要約: 深層学習に基づくディープサバイバルモデルは、医療画像からエンド・ツー・エンドのサバイバル予測を行うために広く採用されている。
近年のディープサバイバルモデルでは, 生存予測と共同で腫瘍セグメンテーションを行い, 有望な性能を達成している。
既存のディープサバイバルモデルは、マルチモダリティイメージを効果的に活用することはできない。
本稿では,融合戦略の適応最適化を実現する多モード情報を融合するためのデータ駆動型戦略を提案する。
- 参考スコア(独自算出の注目度): 11.028672732944251
- License:
- Abstract: Survival prediction is a major concern for cancer management. Deep survival models based on deep learning have been widely adopted to perform end-to-end survival prediction from medical images. Recent deep survival models achieved promising performance by jointly performing tumor segmentation with survival prediction, where the models were guided to extract tumor-related information through Multi-Task Learning (MTL). However, these deep survival models have difficulties in exploring out-of-tumor prognostic information. In addition, existing deep survival models are unable to effectively leverage multi-modality images. Empirically-designed fusion strategies were commonly adopted to fuse multi-modality information via task-specific manually-designed networks, thus limiting the adaptability to different scenarios. In this study, we propose an Adaptive Multi-modality Segmentation-to-Survival model (AdaMSS) for survival prediction from PET/CT images. Instead of adopting MTL, we propose a novel Segmentation-to-Survival Learning (SSL) strategy, where our AdaMSS is trained for tumor segmentation and survival prediction sequentially in two stages. This strategy enables the AdaMSS to focus on tumor regions in the first stage and gradually expand its focus to include other prognosis-related regions in the second stage. We also propose a data-driven strategy to fuse multi-modality information, which realizes adaptive optimization of fusion strategies based on training data during training. With the SSL and data-driven fusion strategies, our AdaMSS is designed as an adaptive model that can self-adapt its focus regions and fusion strategy for different training stages. Extensive experiments with two large clinical datasets show that our AdaMSS outperforms state-of-the-art survival prediction methods.
- Abstract(参考訳): 生存予測はがん管理にとって大きな関心事である。
深層学習に基づくディープサバイバルモデルは、医療画像からエンド・ツー・エンドのサバイバル予測を行うために広く採用されている。
近年の深層生存モデルは,Multi-Task Learning (MTL)を通して腫瘍関連情報を抽出するために,生存予測と共同で腫瘍セグメンテーションを行い,有望な性能を達成した。
しかし、これらのディープサバイバルモデルは、腫瘍外予後情報を調べるのに困難である。
さらに、既存のディープサバイバルモデルでは、マルチモダリティ画像の有効利用が不可能である。
経験的に設計された融合戦略は、タスク固有の手動設計ネットワークを介して多目的情報を融合するために一般的に採用され、異なるシナリオへの適応性が制限された。
本研究では,PET/CT画像からの生存予測のための適応多モード分割生存モデル(AdaMSS)を提案する。
MTLを採用する代わりに、我々は新たなSegmentation-to-Survival Learning(SSL)戦略を提案し、AdaMSSは腫瘍のセグメンテーションと生存予測を2段階連続的に訓練する。
この戦略により、AdaMSSは第1段階の腫瘍領域に集中し、第2段階の他の予後関連領域を含むように徐々に焦点を拡大できる。
また,マルチモーダリティ情報を融合するためのデータ駆動型戦略を提案し,訓練中のトレーニングデータに基づく融合戦略の適応最適化を実現する。
SSLとデータ駆動型フュージョン戦略により、AdaMSSは、異なるトレーニング段階におけるフォーカス領域とフュージョン戦略を自己適応できる適応モデルとして設計されています。
2つの大きな臨床データセットによる大規模な実験により、我々のAdaMSSは最先端の生存予測法より優れていることが示された。
関連論文リスト
- Enhanced Survival Prediction in Head and Neck Cancer Using Convolutional Block Attention and Multimodal Data Fusion [7.252280210331731]
本稿では,頭頸部癌患者の生存率を予測するための深層学習に基づくアプローチを提案する。
提案手法は,特徴抽出をCBAM (Convolutional Block Attention Module) とマルチモーダルデータ融合層と統合する。
最終的な予測は、完全にパラメトリックな離散時間生存モデルによって達成される。
論文 参考訳(メタデータ) (2024-10-29T07:56:04Z) - M2EF-NNs: Multimodal Multi-instance Evidence Fusion Neural Networks for Cancer Survival Prediction [24.323961146023358]
本稿では,M2EF-NNと呼ばれるニューラルネットワークモデルを提案する。
画像中のグローバル情報をキャプチャするために、事前訓練された視覚変換器(ViT)モデルを用いる。
Dempster-Shaferエビデンス理論(DST)を癌生存予測に適用した最初の例である。
論文 参考訳(メタデータ) (2024-08-08T02:31:04Z) - Advancing Head and Neck Cancer Survival Prediction via Multi-Label Learning and Deep Model Interpretation [7.698783025721071]
我々は,複数のHNC生存率を同時に予測するための,解釈可能なマルチラベル・マルチモーダル・ディープ・サバイバル予測フレームワーク IMLSP を提案する。
また、深層生存モデル視覚説明のために開発された、グラディエント重み付き時間イベント活性化マッピング手法であるGrad-TEAMを提案する。
論文 参考訳(メタデータ) (2024-05-09T01:30:04Z) - MMA-DFER: MultiModal Adaptation of unimodal models for Dynamic Facial Expression Recognition in-the-wild [81.32127423981426]
実世界のアプリケーションでは,音声およびビデオデータに基づくマルチモーダル感情認識が重要である。
近年の手法は、強力なマルチモーダルエンコーダの事前学習に自己教師付き学習(SSL)の進歩を活用することに重点を置いている。
SSL-pre-trained disimodal encoders を用いて,この問題に対する異なる視点とマルチモーダル DFER の性能向上について検討する。
論文 参考訳(メタデータ) (2024-04-13T13:39:26Z) - Merging-Diverging Hybrid Transformer Networks for Survival Prediction in
Head and Neck Cancer [10.994223928445589]
マルチモーダル画像からの生存予測のための統合分散学習フレームワークを提案する。
このフレームワークは、マルチモーダル情報を融合するマージエンコーダと、領域固有情報を抽出する発散デコーダを備える。
頭頸部癌(H&N)におけるPET-CT画像の生存予測について検討した。
論文 参考訳(メタデータ) (2023-07-07T07:16:03Z) - LVM-Med: Learning Large-Scale Self-Supervised Vision Models for Medical
Imaging via Second-order Graph Matching [59.01894976615714]
LVM-Medは、大規模医療データセットに基づいてトレーニングされた、最初のディープネットワークファミリーである。
55の公開データセットから約13万の医療画像を収集しました。
LVM-Medは、多くの最先端の教師付き、自己監督型、基礎モデルよりも経験的に優れている。
論文 参考訳(メタデータ) (2023-06-20T22:21:34Z) - TMSS: An End-to-End Transformer-based Multimodal Network for
Segmentation and Survival Prediction [0.0]
腫瘍学者は、分析においてこれを行うのではなく、医療画像や患者の歴史などの複数のソースから、脳内の情報を融合させる。
本研究は,がんの定量化と患者の生存率推定において,腫瘍学者の分析行動を模倣する深層学習手法を提案する。
論文 参考訳(メタデータ) (2022-09-12T06:22:05Z) - Cross-Modality Deep Feature Learning for Brain Tumor Segmentation [158.8192041981564]
本稿では, マルチモーダルMRIデータから脳腫瘍を抽出するクロスモーダルディープ・フィーチャーラーニング・フレームワークを提案する。
中心となる考え方は、不十分なデータスケールを補うために、マルチモダリティデータにまたがる豊富なパターンをマイニングすることだ。
on the BraTS benchmarks, this proposed cross-modality deep feature learning framework could effective improve the brain tumor segmentation performance。
論文 参考訳(メタデータ) (2022-01-07T07:46:01Z) - Select-ProtoNet: Learning to Select for Few-Shot Disease Subtype
Prediction [55.94378672172967]
本研究は, 類似患者のサブグループを同定し, 数発の疾患のサブタイプ予測問題に焦点を当てた。
新しいモデルを開発するためにメタラーニング技術を導入し、関連する臨床課題から共通の経験や知識を抽出する。
我々の新しいモデルは、単純だが効果的なメタ学習マシンであるPrototypeal Networkと呼ばれる、慎重に設計されたメタラーナーに基づいて構築されている。
論文 参考訳(メタデータ) (2020-09-02T02:50:30Z) - Shape-aware Meta-learning for Generalizing Prostate MRI Segmentation to
Unseen Domains [68.73614619875814]
前立腺MRIのセグメント化におけるモデル一般化を改善するために,新しい形状認識メタラーニング手法を提案する。
実験結果から,本手法は未確認領域の6つの設定すべてにおいて,最先端の一般化手法を一貫して上回っていることが明らかとなった。
論文 参考訳(メタデータ) (2020-07-04T07:56:02Z) - M2Net: Multi-modal Multi-channel Network for Overall Survival Time
Prediction of Brain Tumor Patients [151.4352001822956]
生存時間(OS)の早期かつ正確な予測は、脳腫瘍患者に対するより良い治療計画を得るのに役立つ。
既存の予測手法は、磁気共鳴(MR)ボリュームの局所的な病変領域における放射能特性に依存している。
我々は,マルチモーダルマルチチャネルネットワーク(M2Net)のエンドツーエンドOS時間予測モデルを提案する。
論文 参考訳(メタデータ) (2020-06-01T05:21:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。