論文の概要: Multimodal Outer Arithmetic Block Dual Fusion of Whole Slide Images and Omics Data for Precision Oncology

• arxiv url: http://arxiv.org/abs/2411.17418v1
• Date: Tue, 26 Nov 2024 13:25:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-27 13:34:52.566012
• Title: Multimodal Outer Arithmetic Block Dual Fusion of Whole Slide Images and Omics Data for Precision Oncology
• Title（参考訳）: 高精度オンコロジーのための全スライド画像と眼球画像のマルチモーダル外部算術ブロックデュアルフュージョン
• Authors: Omnia Alwazzan, Amaya Gallagher-Syed, Thomas Millner, Ioannis Patras, Silvia Marino, Gregory Slabaugh,
• Abstract要約: 本稿では,オミックデータを早期と後期の両方で統合する2重融合フレームワークを提案する。 初期の融合段階では、オミック埋め込みはパッチワイドの潜伏空間に投影され、オミック-WSI埋め込みを生成する。 後期核融合期には、スライドレベルのOmic-WSI埋め込みを融合することにより、オミックデータを再導入する。
• 参考スコア（独自算出の注目度）: 6.634579989129392
• License:
• Abstract: Developing a central nervous system (CNS) tumor classifier by integrating DNA methylation data with Whole Slide Images (WSI) offers significant potential for enhancing diagnostic precision in neuropathology. Existing approaches typically integrate encoded omic data with histology only once - either at an early or late fusion stage - while reintroducing encoded omic data to create a dual fusion variant remains unexplored. Nevertheless, reintroduction of omic embeddings during early and late fusion enables the capture of complementary information from localized patch-level and holistic slide-level interactions, allowing boosted performance through advanced multimodal integration. To achieve this, we propose a dual fusion framework that integrates omic data at both early and late stages, fully leveraging its diagnostic strength. In the early fusion stage, omic embeddings are projected into a patch-wise latent space, generating omic-WSI embeddings that encapsulate per-patch molecular and morphological insights, effectively incorporating this information into the spatial representation of histology. These embeddings are refined with a multiple instance learning gated attention mechanism to attend to critical patches. In the late fusion stage, we reintroduce the omic data by fusing it with slide-level omic-WSI embeddings using a Multimodal Outer Arithmetic Block (MOAB), which richly intermingles features from both modalities, capturing their global correlations and complementarity. We demonstrate accurate CNS tumor subtyping across 20 fine-grained subtypes and validate our approach on benchmark datasets, achieving improved survival prediction on TCGA-BLCA and competitive performance on TCGA-BRCA compared to state-of-the-art methods. This dual fusion strategy enhances interpretability and classification performance, highlighting its potential for clinical diagnostics.
• Abstract（参考訳）: DNAメチル化データをWSI(Whole Slide Images)と統合した中枢神経系(CNS)腫瘍分類器の開発は、神経病理学における診断精度を高める重要な可能性を秘めている。 既存のアプローチは、典型的には、エンコードされたオミックデータとヒストロジーを1回だけ統合するが、エンコードされたオミックデータを再導入してデュアルフュージョンの変種を生成することは、まだ探索されていない。 それでも、初期と後期の融合におけるオミック埋め込みの再導入は、局所的なパッチレベルと全体論的なスライドレベル相互作用から補完的な情報をキャプチャし、高度なマルチモーダル統合によるパフォーマンスの向上を可能にする。 そこで本研究では,オミックデータを早期・後期の両段階で統合し,診断強度を十分に活用する2重融合フレームワークを提案する。 初期の融合段階では、オミック埋め込みはパッチワイドの潜伏空間に投影され、パッチごとの分子的および形態学的知見をカプセル化したオミックWSI埋め込みを生成し、この情報を組織学の空間的表現に効果的に組み込む。 これらの埋め込みは、重要なパッチに対応するために、複数のインスタンス学習ゲートアテンションメカニズムによって洗練される。 後期融合期には,多モード外乱算術ブロック (MOAB) を用いて,スライドレベルのOmic-WSI埋め込みと融合し,両モードの特徴を豊富に混在させ,その大域的相関関係と相補性を捉えることにより,オミックデータを再導入する。 我々は,20の細粒度サブタイプにわたる正確なCNS腫瘍サブタイプを実証し,ベンチマークデータセットへのアプローチを検証し,TCGA-BLCAにおける生存予測の改善とTCGA-BRCAにおける競合性能を最先端の手法と比較した。 この二重融合戦略は、解釈可能性と分類性能を高め、臨床診断の可能性を強調している。

関連論文リスト

• ICH-SCNet: Intracerebral Hemorrhage Segmentation and Prognosis Classification Network Using CLIP-guided SAM mechanism [12.469269425813607]
  脳内出血 (ICH) は脳卒中で最も致命的なサブタイプであり, 障害の発生頻度が高いことが特徴である。 既存のアプローチでは、これらの2つのタスクを独立して処理し、主にデータのみにフォーカスする。 本稿では,ICHセグメンテーションと予後分類の両方のために設計されたマルチタスクネットワークICH-SCNetを提案する。
  論文  参考訳（メタデータ） (2024-11-07T12:34:25Z)
• Dataset Distillation for Histopathology Image Classification [46.04496989951066]
  病理画像データセット(Histo-DD)に適した新しいデータセット蒸留アルゴリズムを提案する。 提案アルゴリズムの有効性を総合的に評価し, パッチレベルとスライドレベルの両方の分類タスクにおいて, 組織学的サンプルを生成する。
  論文  参考訳（メタデータ） (2024-08-19T05:53:38Z)
• Multimodal Cross-Task Interaction for Survival Analysis in Whole Slide Pathological Images [10.996711454572331]
  病理像とゲノムプロファイルを利用した生存予測は、癌解析と予後においてますます重要である。 既存のマルチモーダル手法は、補完的な情報を統合するためのアライメント戦略に依存していることが多い。 本稿では,サブタイプ分類と生存分析タスクの因果関係を明らかにするために,MCTI(Multimodal Cross-Task Interaction)フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-25T02:18:35Z)
• FORESEE: Multimodal and Multi-view Representation Learning for Robust Prediction of Cancer Survival [3.4686401890974197]
  マルチモーダル情報のマイニングにより患者生存を確実に予測する新しいエンドツーエンドフレームワークFOESEEを提案する。 クロスフュージョントランスフォーマーは、細胞レベル、組織レベル、腫瘍の不均一度レベルの特徴を効果的に利用し、予後を相関させる。 ハイブリットアテンションエンコーダ(HAE)は、コンテキストアテンションモジュールを用いて、コンテキスト関係の特徴を取得する。 また、モダリティ内の損失情報を再構成する非対称マスク型3重マスク型オートエンコーダを提案する。
  論文  参考訳（メタデータ） (2024-05-13T12:39:08Z)
• Joint Multimodal Transformer for Emotion Recognition in the Wild [49.735299182004404]
  マルチモーダル感情認識(MMER)システムは、通常、単調なシステムよりも優れている。 本稿では,キーベースのクロスアテンションと融合するために,ジョイントマルチモーダルトランス (JMT) を利用するMMER法を提案する。
  論文  参考訳（メタデータ） (2024-03-15T17:23:38Z)
• Cross-modality Guidance-aided Multi-modal Learning with Dual Attention for MRI Brain Tumor Grading [47.50733518140625]
  脳腫瘍は世界で最も致命的ながんの1つであり、子供や高齢者に非常に多い。 本稿では,MRI脳腫瘍グレーディングの課題に対処するために,新たな多モード学習法を提案する。
  論文  参考訳（メタデータ） (2024-01-17T07:54:49Z)
• HA-HI: Synergising fMRI and DTI through Hierarchical Alignments and Hierarchical Interactions for Mild Cognitive Impairment Diagnosis [10.028997265879598]
  軽度認知障害(MCI)と主観的認知低下(SCD)の診断のための新しい階層的アライメントと階層的相互作用(HA-HI)法を導入する。 HA-HIは、様々な特徴型を整列し、それらの相互作用を階層的に最大化することで、MCIまたはSCD関連の重要な地域および接続特性を効率的に学習する。 提案手法の解釈可能性を高めるために,MCI/SCDを示す重要な脳領域と接続を明らかにするSynergistic Activation Map (SAM) 技術を開発した。
  論文  参考訳（メタデータ） (2024-01-02T12:46:02Z)
• The Whole Pathological Slide Classification via Weakly Supervised Learning [7.313528558452559]
  細胞核疾患と病理タイルの空間的相関の2つの病因を考察した。 本研究では,抽出器訓練中の汚れ分離を利用したデータ拡張手法を提案する。 次に,隣接行列を用いてタイル間の空間的関係を記述する。 これら2つのビューを統合することで,H&E染色組織像を解析するためのマルチインスタンス・フレームワークを設計した。
  論文  参考訳（メタデータ） (2023-07-12T16:14:23Z)
• Cross-Modality Deep Feature Learning for Brain Tumor Segmentation [158.8192041981564]
  本稿では, マルチモーダルMRIデータから脳腫瘍を抽出するクロスモーダルディープ・フィーチャーラーニング・フレームワークを提案する。 中心となる考え方は、不十分なデータスケールを補うために、マルチモダリティデータにまたがる豊富なパターンをマイニングすることだ。 on the BraTS benchmarks, this proposed cross-modality deep feature learning framework could effective improve the brain tumor segmentation performance。
  論文  参考訳（メタデータ） (2022-01-07T07:46:01Z)
• G-MIND: An End-to-End Multimodal Imaging-Genetics Framework for Biomarker Identification and Disease Classification [49.53651166356737]
  診断によって誘導される画像データと遺伝データを統合し、解釈可能なバイオマーカーを提供する新しいディープニューラルネットワークアーキテクチャを提案する。 2つの機能的MRI(fMRI)パラダイムとSingle Nucleotide Polymorphism (SNP)データを含む統合失調症の集団研究で本モデルを評価した。
  論文  参考訳（メタデータ） (2021-01-27T19:28:04Z)
• Statistical control for spatio-temporal MEG/EEG source imaging with desparsified multi-task Lasso [102.84915019938413]
  脳磁図(MEG)や脳電図(EEG)のような非侵襲的手法は、非侵襲的手法を約束する。 ソースローカライゼーション(ソースイメージング)の問題は、しかしながら、高次元の統計的推測問題を引き起こす。 この問題に対処するために,分離されたマルチタスクラッソ(ecd-MTLasso)のアンサンブルを提案する。
  論文  参考訳（メタデータ） (2020-09-29T21:17:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。