論文の概要: $M^{2}$Fusion: Bayesian-based Multimodal Multi-level Fusion on
Colorectal Cancer Microsatellite Instability Prediction
- arxiv url: http://arxiv.org/abs/2401.07854v1
- Date: Mon, 15 Jan 2024 17:28:58 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-17 16:24:29.302098
- Title: $M^{2}$Fusion: Bayesian-based Multimodal Multi-level Fusion on
Colorectal Cancer Microsatellite Instability Prediction
- Title（参考訳）: m^{2}$fusion: bayesian-based multimodal multi-level fusion on colon cancer microsatellite instability prediction
- Authors: Quan Liu, Jiawen Yao, Lisha Yao, Xin Chen, Jingren Zhou, Le Lu, Ling
Zhang, Zaiyi Liu, and Yuankai Huo
- Abstract要約: 大腸癌 (CRC) による病理組織像のマイクロサテライト不安定性 (MSI) 予測は, 弱い教師付き学習課題である。
M2$Fusion: CRC MSI予測のためのベイズ型マルチモーダル多層核融合パイプラインを提案する。
提案手法は,352例のクロスバリデーションで検証され,特徴レベル (0.8177 vs. 0.7908) と決定レベル融合戦略 (0.8177 vs. 0.7289) のどちらよりも優れていた。
- 参考スコア（独自算出の注目度）: 37.210658002943525
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Colorectal cancer (CRC) micro-satellite instability (MSI) prediction on
histopathology images is a challenging weakly supervised learning task that
involves multi-instance learning on gigapixel images. To date, radiology images
have proven to have CRC MSI information and efficient patient imaging
techniques. Different data modalities integration offers the opportunity to
increase the accuracy and robustness of MSI prediction. Despite the progress in
representation learning from the whole slide images (WSI) and exploring the
potential of making use of radiology data, CRC MSI prediction remains a
challenge to fuse the information from multiple data modalities (e.g.,
pathology WSI and radiology CT image). In this paper, we propose $M^{2}$Fusion:
a Bayesian-based multimodal multi-level fusion pipeline for CRC MSI. The
proposed fusion model $M^{2}$Fusion is capable of discovering more novel
patterns within and across modalities that are beneficial for predicting MSI
than using a single modality alone, as well as other fusion methods. The
contribution of the paper is three-fold: (1) $M^{2}$Fusion is the first
pipeline of multi-level fusion on pathology WSI and 3D radiology CT image for
MSI prediction; (2) CT images are the first time integrated into multimodal
fusion for CRC MSI prediction; (3) feature-level fusion strategy is evaluated
on both Transformer-based and CNN-based method. Our approach is validated on
cross-validation of 352 cases and outperforms either feature-level (0.8177 vs.
0.7908) or decision-level fusion strategy (0.8177 vs. 0.7289) on AUC score.
- Abstract（参考訳）: 大腸がん (crc) micro-satellite instability (msi) prediction on histopathology imagesは、ギガピクセル画像におけるマルチインテンス学習を伴う、弱い教師付き学習課題である。
現在までに、放射線画像はCRC MSI情報と効率的な患者画像技術を有することが証明されている。
異なるデータモダリティの統合は、msi予測の正確性と堅牢性を高める機会を提供する。
スライド画像全体(WSI)からの表現学習の進歩と、放射線学データの利用の可能性を探る一方で、CRC MSI予測は、複数のデータモダリティ(例えば、病理WSIと放射線学CT画像)から情報を融合させることが困難である。
本稿では,CRC MSIのためのベイズ型マルチモーダル多層核融合パイプラインであるM^{2}$Fusionを提案する。
提案する核融合モデル $m^{2}$fusion は,msi の予測に有用であり,他の核融合法と同様に単一モードのみを用いるよりも多くの新しいパターンを発見することができる。
本論文のコントリビューションは,(1)M^{2}$FusionはMSI予測のための病理診断用多段階融合の最初のパイプラインであり,(2)CT画像はCRC MSI予測のためのマルチモーダル融合に初めて統合され,(3)TransformerベースとCNNベースの両方で機能レベルの融合戦略が評価される。
提案手法は,352例のクロスバリデーションで検証され,特徴レベル (0.8177 vs. 0.7908) と決定レベル融合戦略 (0.8177 vs. 0.7289) のどちらよりも優れていた。
関連論文リスト
- Multimodal Outer Arithmetic Block Dual Fusion of Whole Slide Images and Omics Data for Precision Oncology [6.418265127069878]
本稿では, 局所(パッチレベル)から大域(スライダーレベル)の相互作用の相補的な情報を取得するために, 早期・後期融合におけるオミック埋め込みの利用を提案する。
この二重融合戦略は、解釈可能性と分類性能を高め、臨床診断の可能性を強調している。
論文 参考訳（メタデータ） (2024-11-26T13:25:53Z) - M2EF-NNs: Multimodal Multi-instance Evidence Fusion Neural Networks for Cancer Survival Prediction [24.323961146023358]
本稿では,M2EF-NNと呼ばれるニューラルネットワークモデルを提案する。
画像中のグローバル情報をキャプチャするために、事前訓練された視覚変換器(ViT)モデルを用いる。
Dempster-Shaferエビデンス理論(DST)を癌生存予測に適用した最初の例である。
論文 参考訳（メタデータ） (2024-08-08T02:31:04Z) - SDR-Former: A Siamese Dual-Resolution Transformer for Liver Lesion
Classification Using 3D Multi-Phase Imaging [59.78761085714715]
本研究は肝病変分類のための新しいSDR-Formerフレームワークを提案する。
提案フレームワークは2つの臨床データセットに関する総合的な実験を通じて検証された。
科学コミュニティを支援するため,肝病変解析のための多段階MRデータセットを公開しています。
論文 参考訳（メタデータ） (2024-02-27T06:32:56Z) - PE-MVCNet: Multi-view and Cross-modal Fusion Network for Pulmonary Embolism Prediction [4.659998272408215]
肺塞栓症(PE)の早期発見は、患者の生存率を高めるために重要である。
PE-MVCNetとよばれる多モード核融合法を提案する。
提案モデルは既存の手法より優れており, 単一のデータモダリティを用いたモデルと比較して, マルチモーダル融合モデルの方が優れていることを裏付けるものである。
論文 参考訳（メタデータ） (2024-02-27T03:53:27Z) - Three-Dimensional Medical Image Fusion with Deformable Cross-Attention [10.26573411162757]
マルチモーダル医療画像融合は、医療画像処理のいくつかの領域において重要な役割を担っている。
従来の融合法は、特徴を組み合わせて融合像を再構成する前に、それぞれのモダリティを独立して処理する傾向にある。
本研究では,これらの制限を是正するために設計された,革新的な教師なしの相互学習融合ネットワークを提案する。
論文 参考訳（メタデータ） (2023-10-10T04:10:56Z) - MLF-DET: Multi-Level Fusion for Cross-Modal 3D Object Detection [54.52102265418295]
MLF-DETと呼ばれる,高性能なクロスモーダル3DオブジェクトDrectionのための,新規かつ効果的なマルチレベルフュージョンネットワークを提案する。
特徴レベルの融合では、マルチスケールのボクセル特徴と画像の特徴を密集したマルチスケールのボクセル画像融合(MVI)モジュールを提示する。
本稿では,画像のセマンティクスを利用して検出候補の信頼度を補正するFCR(Feature-cued Confidence Rectification)モジュールを提案する。
論文 参考訳（メタデータ） (2023-07-18T11:26:02Z) - DDFM: Denoising Diffusion Model for Multi-Modality Image Fusion [144.9653045465908]
拡散確率モデル(DDPM)に基づく新しい融合アルゴリズムを提案する。
近赤外可視画像融合と医用画像融合で有望な融合が得られた。
論文 参考訳（メタデータ） (2023-03-13T04:06:42Z) - AMIGO: Sparse Multi-Modal Graph Transformer with Shared-Context
Processing for Representation Learning of Giga-pixel Images [53.29794593104923]
本稿では,スライド病理像全体に対する共有コンテキスト処理の新たな概念を提案する。
AMIGOは、組織内のセルラーグラフを使用して、患者に単一の表現を提供する。
我々のモデルは、データの20%以下で同じ性能を達成できる程度に、欠落した情報に対して強い堅牢性を示す。
論文 参考訳（メタデータ） (2023-03-01T23:37:45Z) - Hierarchical Transformer for Survival Prediction Using Multimodality
Whole Slide Images and Genomics [63.76637479503006]
下流タスクのためのギガピクセルレベルのスライド病理画像(WSI)の良質な表現を学習することが重要である。
本稿では,病理画像と対応する遺伝子間の階層的マッピングを学習する階層型マルチモーダルトランスフォーマーフレームワークを提案する。
より優れたWSI表現能力を維持しながら、ベンチマーク手法と比較してGPUリソースが少ないアーキテクチャです。
論文 参考訳（メタデータ） (2022-11-29T23:47:56Z) - Deep Multi-path Network Integrating Incomplete Biomarker and Chest CT
Data for Evaluating Lung Cancer Risk [4.822738153096615]
マルチパスマルチモーダル欠落ネットワーク(M3Net)と呼ばれる新しいネットワーク設計を提案する。
マルチモーダルデータ(CDE、バイオマーカー、CT画像など)を統合することで、マルチパスニューラルネットワークによるモダリティの欠如を考慮できる。
ネットワークは、医療画像の特徴とCDE/バイオマーカーの両方でエンドツーエンドにトレーニングしたり、単一のモダリティで予測することができる。
論文 参考訳（メタデータ） (2020-10-19T13:55:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。