論文の概要: Multimodal Outer Arithmetic Block Dual Fusion of Whole Slide Images and Omics Data for Precision Oncology

• arxiv url: http://arxiv.org/abs/2411.17418v2
• Date: Wed, 11 Dec 2024 13:02:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-12 13:59:02.568730
• Title: Multimodal Outer Arithmetic Block Dual Fusion of Whole Slide Images and Omics Data for Precision Oncology
• Title（参考訳）: 高精度オンコロジーのための全スライド画像と眼球画像のマルチモーダル外部算術ブロックデュアルフュージョン
• Authors: Omnia Alwazzan, Amaya Gallagher-Syed, Thomas O. Millner, Sebastian Brandner, Ioannis Patras, Silvia Marino, Gregory Slabaugh,
• Abstract要約: 本稿では, 局所(パッチレベル)から大域(スライダーレベル)の相互作用の相補的な情報を取得するために, 早期・後期融合におけるオミック埋め込みの利用を提案する。 この二重融合戦略は、解釈可能性と分類性能を高め、臨床診断の可能性を強調している。
• 参考スコア（独自算出の注目度）: 6.418265127069878
• License:
• Abstract: The integration of DNA methylation data with a Whole Slide Image (WSI) offers significant potential for enhancing the diagnostic precision of central nervous system (CNS) tumor classification in neuropathology. While existing approaches typically integrate encoded omic data with histology at either an early or late fusion stage, the potential of reintroducing omic data through dual fusion remains unexplored. In this paper, we propose the use of omic embeddings during early and late fusion to capture complementary information from local (patch-level) to global (slide-level) interactions, boosting performance through multimodal integration. In the early fusion stage, omic embeddings are projected onto WSI patches in latent-space, which generates embeddings that encapsulate per-patch molecular and morphological insights. This effectively incorporates omic information into the spatial representation of the WSI. These embeddings are then refined with a Multiple Instance Learning gated attention mechanism which attends to diagnostic patches. In the late fusion stage, we reintroduce the omic data by fusing it with slide-level omic-WSI embeddings using a Multimodal Outer Arithmetic Block (MOAB), which richly intermingles features from both modalities, capturing their correlations and complementarity. We demonstrate accurate CNS tumor subtyping across 20 fine-grained subtypes and validate our approach on benchmark datasets, achieving improved survival prediction on TCGA-BLCA and competitive performance on TCGA-BRCA compared to state-of-the-art methods. This dual fusion strategy enhances interpretability and classification performance, highlighting its potential for clinical diagnostics.
• Abstract（参考訳）: DNAメチル化データと全スライド画像(WSI)の統合は、神経病理学における中枢神経系(CNS)腫瘍分類の診断精度を高める重要な可能性をもたらす。 既存のアプローチでは、典型的には、核融合の初期段階または後期の段階で、エンコードされた原子核データと組織学を統合するが、二重融合による原子核データの再導入の可能性は未解明のままである。 本稿では,局所的な(パッチレベル)からグローバルな(スライディングレベル)インタラクションへの相補的な情報を取り込み,マルチモーダル統合による性能向上を図るために,初期・後期融合におけるオミック埋め込みの利用を提案する。 初期の核融合段階では、オミック埋め込みは潜在空間のWSIパッチに投影され、パッチごとの分子的および形態学的洞察をカプセル化する埋め込みを生成する。 これにより、WSIの空間表現にオーミック情報を効果的に組み込む。 これらの埋め込みは、診断パッチに対応するMultiple Instance Learning gated attentionメカニズムで洗練される。 後期融合期には,多モード外乱算術ブロック (MOAB) を用いて,スライドレベルのOmic-WSI埋め込みと融合してオミックデータを再導入する。 我々は,20の細粒度サブタイプにわたる正確なCNS腫瘍サブタイプを実証し,ベンチマークデータセットへのアプローチを検証し,TCGA-BLCAにおける生存予測の改善とTCGA-BRCAにおける競合性能を最先端の手法と比較した。 この二重融合戦略は、解釈可能性と分類性能を高め、臨床診断の可能性を強調している。

関連論文リスト

• ICH-SCNet: Intracerebral Hemorrhage Segmentation and Prognosis Classification Network Using CLIP-guided SAM mechanism [12.469269425813607]
  脳内出血 (ICH) は脳卒中で最も致命的なサブタイプであり, 障害の発生頻度が高いことが特徴である。 既存のアプローチでは、これらの2つのタスクを独立して処理し、主にデータのみにフォーカスする。 本稿では,ICHセグメンテーションと予後分類の両方のために設計されたマルチタスクネットワークICH-SCNetを提案する。
  論文  参考訳（メタデータ） (2024-11-07T12:34:25Z)
• Dataset Distillation for Histopathology Image Classification [46.04496989951066]
  病理画像データセット(Histo-DD)に適した新しいデータセット蒸留アルゴリズムを提案する。 提案アルゴリズムの有効性を総合的に評価し, パッチレベルとスライドレベルの両方の分類タスクにおいて, 組織学的サンプルを生成する。
  論文  参考訳（メタデータ） (2024-08-19T05:53:38Z)
• Multimodal Cross-Task Interaction for Survival Analysis in Whole Slide Pathological Images [10.996711454572331]
  病理像とゲノムプロファイルを利用した生存予測は、癌解析と予後においてますます重要である。 既存のマルチモーダル手法は、補完的な情報を統合するためのアライメント戦略に依存していることが多い。 本稿では,サブタイプ分類と生存分析タスクの因果関係を明らかにするために,MCTI(Multimodal Cross-Task Interaction)フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-25T02:18:35Z)
• FORESEE: Multimodal and Multi-view Representation Learning for Robust Prediction of Cancer Survival [3.4686401890974197]
  マルチモーダル情報のマイニングにより患者生存を確実に予測する新しいエンドツーエンドフレームワークFOESEEを提案する。 クロスフュージョントランスフォーマーは、細胞レベル、組織レベル、腫瘍の不均一度レベルの特徴を効果的に利用し、予後を相関させる。 ハイブリットアテンションエンコーダ(HAE)は、コンテキストアテンションモジュールを用いて、コンテキスト関係の特徴を取得する。 また、モダリティ内の損失情報を再構成する非対称マスク型3重マスク型オートエンコーダを提案する。
  論文  参考訳（メタデータ） (2024-05-13T12:39:08Z)
• Joint Multimodal Transformer for Emotion Recognition in the Wild [49.735299182004404]
  マルチモーダル感情認識(MMER)システムは、通常、単調なシステムよりも優れている。 本稿では,キーベースのクロスアテンションと融合するために,ジョイントマルチモーダルトランス (JMT) を利用するMMER法を提案する。
  論文  参考訳（メタデータ） (2024-03-15T17:23:38Z)
• Cross-modality Guidance-aided Multi-modal Learning with Dual Attention for MRI Brain Tumor Grading [47.50733518140625]
  脳腫瘍は世界で最も致命的ながんの1つであり、子供や高齢者に非常に多い。 本稿では,MRI脳腫瘍グレーディングの課題に対処するために,新たな多モード学習法を提案する。
  論文  参考訳（メタデータ） (2024-01-17T07:54:49Z)
• HA-HI: Synergising fMRI and DTI through Hierarchical Alignments and Hierarchical Interactions for Mild Cognitive Impairment Diagnosis [10.028997265879598]
  軽度認知障害(MCI)と主観的認知低下(SCD)の診断のための新しい階層的アライメントと階層的相互作用(HA-HI)法を導入する。 HA-HIは、様々な特徴型を整列し、それらの相互作用を階層的に最大化することで、MCIまたはSCD関連の重要な地域および接続特性を効率的に学習する。 提案手法の解釈可能性を高めるために,MCI/SCDを示す重要な脳領域と接続を明らかにするSynergistic Activation Map (SAM) 技術を開発した。
  論文  参考訳（メタデータ） (2024-01-02T12:46:02Z)
• The Whole Pathological Slide Classification via Weakly Supervised Learning [7.313528558452559]
  細胞核疾患と病理タイルの空間的相関の2つの病因を考察した。 本研究では,抽出器訓練中の汚れ分離を利用したデータ拡張手法を提案する。 次に,隣接行列を用いてタイル間の空間的関係を記述する。 これら2つのビューを統合することで,H&E染色組織像を解析するためのマルチインスタンス・フレームワークを設計した。
  論文  参考訳（メタデータ） (2023-07-12T16:14:23Z)
• Cross-Modality Deep Feature Learning for Brain Tumor Segmentation [158.8192041981564]
  本稿では, マルチモーダルMRIデータから脳腫瘍を抽出するクロスモーダルディープ・フィーチャーラーニング・フレームワークを提案する。 中心となる考え方は、不十分なデータスケールを補うために、マルチモダリティデータにまたがる豊富なパターンをマイニングすることだ。 on the BraTS benchmarks, this proposed cross-modality deep feature learning framework could effective improve the brain tumor segmentation performance。
  論文  参考訳（メタデータ） (2022-01-07T07:46:01Z)
• G-MIND: An End-to-End Multimodal Imaging-Genetics Framework for Biomarker Identification and Disease Classification [49.53651166356737]
  診断によって誘導される画像データと遺伝データを統合し、解釈可能なバイオマーカーを提供する新しいディープニューラルネットワークアーキテクチャを提案する。 2つの機能的MRI(fMRI)パラダイムとSingle Nucleotide Polymorphism (SNP)データを含む統合失調症の集団研究で本モデルを評価した。
  論文  参考訳（メタデータ） (2021-01-27T19:28:04Z)
• Statistical control for spatio-temporal MEG/EEG source imaging with desparsified multi-task Lasso [102.84915019938413]
  脳磁図(MEG)や脳電図(EEG)のような非侵襲的手法は、非侵襲的手法を約束する。 ソースローカライゼーション(ソースイメージング)の問題は、しかしながら、高次元の統計的推測問題を引き起こす。 この問題に対処するために,分離されたマルチタスクラッソ(ecd-MTLasso)のアンサンブルを提案する。
  論文  参考訳（メタデータ） (2020-09-29T21:17:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。