論文の概要: Multi-modal Learning with Missing Modality in Predicting Axillary Lymph Node Metastasis

• arxiv url: http://arxiv.org/abs/2401.01553v1
• Date: Wed, 3 Jan 2024 05:59:48 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-04 15:12:57.298027
• Title: Multi-modal Learning with Missing Modality in Predicting Axillary Lymph Node Metastasis
• Title（参考訳）: 扁桃リンパ節転移の予測におけるモダリティの欠如によるマルチモーダル学習
• Authors: Shichuan Zhang, Sunyi Zheng, Zhongyi Shui, Honglin Li, Lin Yang
• Abstract要約: 多モードデータ、全スライド画像(WSI)および臨床情報により、軸索リンパ節転移の診断におけるディープラーニングモデルの性能を向上させることができる。 マルチモーダル分岐と単一モーダル分岐からなる双方向蒸留フレームワークを提案する。 提案手法は,AUCが0.861,AUCが0.842,AUCが80%,AUCが0.842,AUCが0.842となっている。
• 参考スコア（独自算出の注目度）: 7.207158973042472
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multi-modal Learning has attracted widespread attention in medical image analysis. Using multi-modal data, whole slide images (WSIs) and clinical information, can improve the performance of deep learning models in the diagnosis of axillary lymph node metastasis. However, clinical information is not easy to collect in clinical practice due to privacy concerns, limited resources, lack of interoperability, etc. Although patient selection can ensure the training set to have multi-modal data for model development, missing modality of clinical information can appear during test. This normally leads to performance degradation, which limits the use of multi-modal models in the clinic. To alleviate this problem, we propose a bidirectional distillation framework consisting of a multi-modal branch and a single-modal branch. The single-modal branch acquires the complete multi-modal knowledge from the multi-modal branch, while the multi-modal learns the robust features of WSI from the single-modal. We conduct experiments on a public dataset of Lymph Node Metastasis in Early Breast Cancer to validate the method. Our approach not only achieves state-of-the-art performance with an AUC of 0.861 on the test set without missing data, but also yields an AUC of 0.842 when the rate of missing modality is 80\%. This shows the effectiveness of the approach in dealing with multi-modal data and missing modality. Such a model has the potential to improve treatment decision-making for early breast cancer patients who have axillary lymph node metastatic status.
• Abstract（参考訳）: マルチモーダル学習は医用画像解析において広く注目を集めている。 多モードデータ、全スライド画像(WSI)、臨床情報を用いて、近位リンパ節転移の診断におけるディープラーニングモデルの性能を向上させることができる。 しかしながら、プライバシの懸念、リソースの制限、相互運用性の欠如などにより、臨床実践において臨床情報が収集するのは容易ではない。 患者選択は、モデル開発のためのマルチモーダルデータを持つことを保証するが、テスト中に臨床情報の欠如が現れる。 これは通常、パフォーマンスが低下し、クリニックでのマルチモーダルモデルの使用が制限される。 この問題を軽減するために,マルチモーダルブランチと単一モーダルブランチからなる双方向蒸留フレームワークを提案する。 シングルモーダルブランチはマルチモーダルブランチから完全なマルチモーダル知識を取得し、マルチモーダルは単一モーダルからWSIの堅牢な特徴を学習する。 早期乳癌におけるリンパ節転移の公的データセットを用いて実験を行い,その妥当性を検証した。 提案手法は,テストセット上でのAUCが0.861であるだけでなく,モダリティの欠落率80\%の場合には0.842のAUCが得られる。 これは、マルチモーダルデータと欠落モダリティを扱うためのアプローチの有効性を示している。 このようなモデルでは, 近位リンパ節転移を有する早期乳癌患者に対する治療意思決定の改善が期待できる。

関連論文リスト

• Multi-omics data integration for early diagnosis of hepatocellular carcinoma (HCC) using machine learning [8.700808005009806]
  異なるモードのマルチクラスデータの遅延統合が可能なアンサンブル機械学習アルゴリズムの性能を比較した。 PB-MVBoostとAdaboostとソフト投票という2つの強化された方法が、全体的な最高のパフォーマンスモデルであった。
  論文  参考訳（メタデータ） (2024-09-20T09:38:02Z)
• Confidence-aware multi-modality learning for eye disease screening [58.861421804458395]
  眼疾患スクリーニングのための新しい多モード顕在核融合パイプラインを提案する。 モダリティごとに信頼度を測り、マルチモダリティ情報をエレガントに統合する。 パブリックデータセットと内部データセットの両方の実験結果は、我々のモデルが堅牢性に優れていることを示している。
  論文  参考訳（メタデータ） (2024-05-28T13:27:30Z)
• MMIST-ccRCC: A Real World Medical Dataset for the Development of Multi-Modal Systems [12.914295902429]
  本稿では,MMIST-CCRCCと呼ばれる実世界のマルチモーダルデータセットを紹介する。 このデータセットは、クリア細胞腎細胞癌(ccRCC)618例の2つの放射線学的モダリティ(CTとMRI)、病理組織学、ゲノム学、臨床データからなる。 このような深刻な欠落率であっても、モダリティの融合は生存予測の改善につながることを示す。
  論文  参考訳（メタデータ） (2024-05-02T18:29:05Z)
• Towards a clinically accessible radiology foundation model: open-access and lightweight, with automated evaluation [113.5002649181103]
  オープンソースの小型マルチモーダルモデル(SMM)を訓練し、放射線学における未測定臨床ニーズに対する能力ギャップを埋める。 トレーニングのために,697万以上の画像テキストペアからなる大規模なデータセットを組み立てる。 評価のために,GPT-4に基づく実測値CheXpromptを提案する。 LlaVA-Radの推論は高速で、単一のV100 GPU上でプライベート設定で実行できる。
  論文  参考訳（メタデータ） (2024-03-12T18:12:02Z)
• Cross-modality Attention-based Multimodal Fusion for Non-small Cell Lung Cancer (NSCLC) Patient Survival Prediction [0.6476298550949928]
  非小細胞肺癌(NSCLC)における患者生存予測のためのモダリティ特異的知識の統合を目的としたマルチモーダル核融合パイプラインを提案する。 組織画像データとRNA-seqデータのみを用いてc-index0.5772と0.5885を達成した単一モダリティと比較して, 提案した融合法はc-index0.6587を達成した。
  論文  参考訳（メタデータ） (2023-08-18T21:42:52Z)
• A Transformer-based representation-learning model with unified processing of multimodal input for clinical diagnostics [63.106382317917344]
  本稿では,マルチモーダル入力を統一的に処理する臨床診断支援として,トランスフォーマーを用いた表現学習モデルについて報告する。 統一モデルは, 肺疾患の同定において, 画像のみのモデル, 非統一型マルチモーダル診断モデルより優れていた。
  論文  参考訳（メタデータ） (2023-06-01T16:23:47Z)
• Prototype Knowledge Distillation for Medical Segmentation with Missing Modality [5.0043036421429035]
  本稿では,その課題に対処するために,プロトタイプの知識蒸留法(ProtoKD)を提案する。 我々のProtoKDは、マルチモダリティデータのピクセル単位の知識を単一モダリティデータに蒸留するだけでなく、クラス内およびクラス間の特徴変化を伝達する。 提案手法はBraTSベンチマークにおける最先端性能を実現する。
  論文  参考訳（メタデータ） (2023-03-17T08:29:54Z)
• Reliable Multimodality Eye Disease Screening via Mixture of Student's t Distributions [49.4545260500952]
  眼疾患スクリーニングのための新しい多モード顕在核融合パイプラインEyeMoStについて紹介する。 本モデルでは,一様性に対する局所的不確実性と融合モードに対する大域的不確実性の両方を推定し,信頼性の高い分類結果を生成する。 パブリックデータセットと社内データセットの両方に関する実験結果から、我々のモデルは現在の手法よりも信頼性が高いことが判明した。
  論文  参考訳（メタデータ） (2023-03-17T06:18:16Z)
• Medical Diagnosis with Large Scale Multimodal Transformers: Leveraging Diverse Data for More Accurate Diagnosis [0.15776842283814416]
  我々は「学習可能なシナジー」の新しい技術的アプローチを提案する。 我々のアプローチは容易に拡張可能であり、臨床ルーチンからのマルチモーダルデータ入力に自然に適応する。 臨床的に関連のある診断タスクにおいて、最先端のモデルよりも優れています。
  論文  参考訳（メタデータ） (2022-12-18T20:43:37Z)
• Cross-Modal Information Maximization for Medical Imaging: CMIM [62.28852442561818]
  病院では、同じ情報を異なるモダリティの下で利用できるようにする特定の情報システムにデータがサイロ化される。 これは、テスト時に常に利用できないかもしれない同じ情報の複数のビューを列車で取得し、使用するためのユニークな機会を提供する。 テスト時にモダリティの低下に耐性を持つマルチモーダル入力の優れた表現を学習することで、利用可能なデータを最大限活用する革新的なフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-10-20T20:05:35Z)
• Robust Multimodal Brain Tumor Segmentation via Feature Disentanglement and Gated Fusion [71.87627318863612]
  画像モダリティの欠如に頑健な新しいマルチモーダルセグメンテーションフレームワークを提案する。 我々のネットワークは、入力モードをモダリティ固有の外観コードに分解するために、特徴不整合を用いる。 我々は,BRATSチャレンジデータセットを用いて,重要なマルチモーダル脳腫瘍セグメンテーション課題に対する本手法の有効性を検証した。
  論文  参考訳（メタデータ） (2020-02-22T14:32:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。