論文の概要: Multimodal Outer Arithmetic Block Dual Fusion of Whole Slide Images and Omics Data for Precision Oncology

• arxiv url: http://arxiv.org/abs/2411.17418v1
• Date: Tue, 26 Nov 2024 13:25:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-28 17:07:51.1213
• Title: Multimodal Outer Arithmetic Block Dual Fusion of Whole Slide Images and Omics Data for Precision Oncology
• Title（参考訳）: 高精度オンコロジーのための全スライド画像と眼球画像のマルチモーダル外部算術ブロックデュアルフュージョン
• Authors: Omnia Alwazzan, Amaya Gallagher-Syed, Thomas Millner, Ioannis Patras, Silvia Marino, Gregory Slabaugh,
• Abstract要約: 本稿では,オミックデータを早期と後期の両方で統合する2重融合フレームワークを提案する。 初期の融合段階では、オミック埋め込みはパッチワイドの潜伏空間に投影され、オミック-WSI埋め込みを生成する。 後期核融合期には、スライドレベルのOmic-WSI埋め込みを融合することにより、オミックデータを再導入する。
• 参考スコア（独自算出の注目度）: 6.634579989129392
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Developing a central nervous system (CNS) tumor classifier by integrating DNA methylation data with Whole Slide Images (WSI) offers significant potential for enhancing diagnostic precision in neuropathology. Existing approaches typically integrate encoded omic data with histology only once - either at an early or late fusion stage - while reintroducing encoded omic data to create a dual fusion variant remains unexplored. Nevertheless, reintroduction of omic embeddings during early and late fusion enables the capture of complementary information from localized patch-level and holistic slide-level interactions, allowing boosted performance through advanced multimodal integration. To achieve this, we propose a dual fusion framework that integrates omic data at both early and late stages, fully leveraging its diagnostic strength. In the early fusion stage, omic embeddings are projected into a patch-wise latent space, generating omic-WSI embeddings that encapsulate per-patch molecular and morphological insights, effectively incorporating this information into the spatial representation of histology. These embeddings are refined with a multiple instance learning gated attention mechanism to attend to critical patches. In the late fusion stage, we reintroduce the omic data by fusing it with slide-level omic-WSI embeddings using a Multimodal Outer Arithmetic Block (MOAB), which richly intermingles features from both modalities, capturing their global correlations and complementarity. We demonstrate accurate CNS tumor subtyping across 20 fine-grained subtypes and validate our approach on benchmark datasets, achieving improved survival prediction on TCGA-BLCA and competitive performance on TCGA-BRCA compared to state-of-the-art methods. This dual fusion strategy enhances interpretability and classification performance, highlighting its potential for clinical diagnostics.
• Abstract（参考訳）: DNAメチル化データをWSI(Whole Slide Images)と統合した中枢神経系(CNS)腫瘍分類器の開発は、神経病理学における診断精度を高める重要な可能性を秘めている。 既存のアプローチは、典型的には、エンコードされたオミックデータとヒストロジーを1回だけ統合するが、エンコードされたオミックデータを再導入してデュアルフュージョンの変種を生成することは、まだ探索されていない。 それでも、初期と後期の融合におけるオミック埋め込みの再導入は、局所的なパッチレベルと全体論的なスライドレベル相互作用から補完的な情報をキャプチャし、高度なマルチモーダル統合によるパフォーマンスの向上を可能にする。 そこで本研究では,オミックデータを早期・後期の両段階で統合し,診断強度を十分に活用する2重融合フレームワークを提案する。 初期の融合段階では、オミック埋め込みはパッチワイドの潜伏空間に投影され、パッチごとの分子的および形態学的知見をカプセル化したオミックWSI埋め込みを生成し、この情報を組織学の空間的表現に効果的に組み込む。 これらの埋め込みは、重要なパッチに対応するために、複数のインスタンス学習ゲートアテンションメカニズムによって洗練される。 後期融合期には,多モード外乱算術ブロック (MOAB) を用いて,スライドレベルのOmic-WSI埋め込みと融合し,両モードの特徴を豊富に混在させ,その大域的相関関係と相補性を捉えることにより,オミックデータを再導入する。 我々は,20の細粒度サブタイプにわたる正確なCNS腫瘍サブタイプを実証し,ベンチマークデータセットへのアプローチを検証し,TCGA-BLCAにおける生存予測の改善とTCGA-BRCAにおける競合性能を最先端の手法と比較した。 この二重融合戦略は、解釈可能性と分類性能を高め、臨床診断の可能性を強調している。

関連論文リスト

• MExD: An Expert-Infused Diffusion Model for Whole-Slide Image Classification [46.89908887119571]
  Whole Slide Image (WSI) の分類は、画像サイズと多数の非表現領域が原因で、ユニークな課題を生んでいる。 本稿では,Mixture-of-Experts(MoE)機構の強度と拡張分類のための拡散モデルを組み合わせたエキスパート拡散モデルMExDを提案する。
  論文  参考訳（メタデータ） (2025-03-16T08:04:17Z)
• ICH-SCNet: Intracerebral Hemorrhage Segmentation and Prognosis Classification Network Using CLIP-guided SAM mechanism [12.469269425813607]
  脳内出血 (ICH) は脳卒中で最も致命的なサブタイプであり, 障害の発生頻度が高いことが特徴である。 既存のアプローチでは、これらの2つのタスクを独立して処理し、主にデータのみにフォーカスする。 本稿では,ICHセグメンテーションと予後分類の両方のために設計されたマルチタスクネットワークICH-SCNetを提案する。
  論文  参考訳（メタデータ） (2024-11-07T12:34:25Z)
• UNICORN: A Deep Learning Model for Integrating Multi-Stain Data in Histopathology [2.9389205138207277]
  UNICORNは動脈硬化の重症度予測のための多段階組織学を処理できるマルチモーダルトランスフォーマーである。 このアーキテクチャは、2段階のエンドツーエンドのトレーニング可能なモデルと、トランスフォーマーの自己保持ブロックを利用する特殊なモジュールから構成される。 UNICORNは0.67の分類精度を達成し、他の最先端モデルを上回った。
  論文  参考訳（メタデータ） (2024-09-26T12:13:52Z)
• Dataset Distillation for Histopathology Image Classification [46.04496989951066]
  病理画像データセット(Histo-DD)に適した新しいデータセット蒸留アルゴリズムを提案する。 提案アルゴリズムの有効性を総合的に評価し, パッチレベルとスライドレベルの両方の分類タスクにおいて, 組織学的サンプルを生成する。
  論文  参考訳（メタデータ） (2024-08-19T05:53:38Z)
• Prototype Learning Guided Hybrid Network for Breast Tumor Segmentation in DCE-MRI [58.809276442508256]
  本稿では,畳み込みニューラルネットワーク(CNN)とトランスフォーマー層を組み合わせたハイブリッドネットワークを提案する。 プライベートおよびパブリックなDCE-MRIデータセットの実験結果から,提案したハイブリッドネットワークは最先端の手法よりも優れた性能を示した。
  論文  参考訳（メタデータ） (2024-08-11T15:46:00Z)
• M2EF-NNs: Multimodal Multi-instance Evidence Fusion Neural Networks for Cancer Survival Prediction [24.323961146023358]
  本稿では,M2EF-NNと呼ばれるニューラルネットワークモデルを提案する。 画像中のグローバル情報をキャプチャするために、事前訓練された視覚変換器(ViT)モデルを用いる。 Dempster-Shaferエビデンス理論(DST)を癌生存予測に適用した最初の例である。
  論文  参考訳（メタデータ） (2024-08-08T02:31:04Z)
• Multimodal Cross-Task Interaction for Survival Analysis in Whole Slide Pathological Images [10.996711454572331]
  病理像とゲノムプロファイルを利用した生存予測は、癌解析と予後においてますます重要である。 既存のマルチモーダル手法は、補完的な情報を統合するためのアライメント戦略に依存していることが多い。 本稿では,サブタイプ分類と生存分析タスクの因果関係を明らかにするために,MCTI(Multimodal Cross-Task Interaction)フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-25T02:18:35Z)
• FORESEE: Multimodal and Multi-view Representation Learning for Robust Prediction of Cancer Survival [3.4686401890974197]
  マルチモーダル情報のマイニングにより患者生存を確実に予測する新しいエンドツーエンドフレームワークFOESEEを提案する。 クロスフュージョントランスフォーマーは、細胞レベル、組織レベル、腫瘍の不均一度レベルの特徴を効果的に利用し、予後を相関させる。 ハイブリットアテンションエンコーダ(HAE)は、コンテキストアテンションモジュールを用いて、コンテキスト関係の特徴を取得する。 また、モダリティ内の損失情報を再構成する非対称マスク型3重マスク型オートエンコーダを提案する。
  論文  参考訳（メタデータ） (2024-05-13T12:39:08Z)
• Joint Multimodal Transformer for Emotion Recognition in the Wild [49.735299182004404]
  マルチモーダル感情認識(MMER)システムは、通常、単調なシステムよりも優れている。 本稿では,キーベースのクロスアテンションと融合するために,ジョイントマルチモーダルトランス (JMT) を利用するMMER法を提案する。
  論文  参考訳（メタデータ） (2024-03-15T17:23:38Z)
• Cross-modality Guidance-aided Multi-modal Learning with Dual Attention for MRI Brain Tumor Grading [47.50733518140625]
  脳腫瘍は世界で最も致命的ながんの1つであり、子供や高齢者に非常に多い。 本稿では,MRI脳腫瘍グレーディングの課題に対処するために,新たな多モード学習法を提案する。
  論文  参考訳（メタデータ） (2024-01-17T07:54:49Z)
• HA-HI: Synergising fMRI and DTI through Hierarchical Alignments and Hierarchical Interactions for Mild Cognitive Impairment Diagnosis [10.028997265879598]
  軽度認知障害(MCI)と主観的認知低下(SCD)の診断のための新しい階層的アライメントと階層的相互作用(HA-HI)法を導入する。 HA-HIは、様々な特徴型を整列し、それらの相互作用を階層的に最大化することで、MCIまたはSCD関連の重要な地域および接続特性を効率的に学習する。 提案手法の解釈可能性を高めるために,MCI/SCDを示す重要な脳領域と接続を明らかにするSynergistic Activation Map (SAM) 技術を開発した。
  論文  参考訳（メタデータ） (2024-01-02T12:46:02Z)
• Dual-scale Enhanced and Cross-generative Consistency Learning for Semi-supervised Medical Image Segmentation [49.57907601086494]
  医用画像のセグメンテーションはコンピュータ支援診断において重要な役割を担っている。 半教師型医用画像(DEC-Seg)のための新しいDual-scale Enhanced and Cross-generative consistency learning frameworkを提案する。
  論文  参考訳（メタデータ） (2023-12-26T12:56:31Z)
• HEALNet: Multimodal Fusion for Heterogeneous Biomedical Data [10.774128925670183]
  本稿では,フレキシブルなマルチモーダル融合アーキテクチャであるHybrid Early-fusion Attention Learning Network (HEALNet)を提案する。 The Cancer Genome Atlas (TCGA) の4つのがんデータセットにおける全スライド画像と多モードデータを用いたマルチモーダルサバイバル解析を行った。 HEALNetは、他のエンドツーエンドの訓練された融合モデルと比較して最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2023-11-15T17:06:26Z)
• Diagnosing Alzheimer's Disease using Early-Late Multimodal Data Fusion with Jacobian Maps [1.5501208213584152]
  アルツハイマー病(英語: Alzheimer's disease、AD)は、老化に影響を及ぼす神経変性疾患である。 本稿では,自動特徴抽出とランダム森林のための畳み込みニューラルネットワークを利用する,効率的な早期融合(ELF)手法を提案する。 脳の容積の微妙な変化を検出するという課題に対処するために、画像をヤコビ領域(JD)に変換する。
  論文  参考訳（メタデータ） (2023-10-25T19:02:57Z)
• The Whole Pathological Slide Classification via Weakly Supervised Learning [7.313528558452559]
  細胞核疾患と病理タイルの空間的相関の2つの病因を考察した。 本研究では,抽出器訓練中の汚れ分離を利用したデータ拡張手法を提案する。 次に,隣接行列を用いてタイル間の空間的関係を記述する。 これら2つのビューを統合することで,H&E染色組織像を解析するためのマルチインスタンス・フレームワークを設計した。
  論文  参考訳（メタデータ） (2023-07-12T16:14:23Z)
• Interpolation-based Correlation Reduction Network for Semi-Supervised Graph Learning [49.94816548023729]
  補間型相関低減ネットワーク(ICRN)と呼ばれる新しいグラフコントラスト学習手法を提案する。 提案手法では,決定境界のマージンを大きくすることで,潜在特徴の識別能力を向上させる。 この2つの設定を組み合わせることで、豊富なラベル付きノードと稀に価値あるラベル付きノードから豊富な監視情報を抽出し、離散表現学習を行う。
  論文  参考訳（メタデータ） (2022-06-06T14:26:34Z)
• G-MIND: An End-to-End Multimodal Imaging-Genetics Framework for Biomarker Identification and Disease Classification [49.53651166356737]
  診断によって誘導される画像データと遺伝データを統合し、解釈可能なバイオマーカーを提供する新しいディープニューラルネットワークアーキテクチャを提案する。 2つの機能的MRI(fMRI)パラダイムとSingle Nucleotide Polymorphism (SNP)データを含む統合失調症の集団研究で本モデルを評価した。
  論文  参考訳（メタデータ） (2021-01-27T19:28:04Z)
• Statistical control for spatio-temporal MEG/EEG source imaging with desparsified multi-task Lasso [102.84915019938413]
  脳磁図(MEG)や脳電図(EEG)のような非侵襲的手法は、非侵襲的手法を約束する。 ソースローカライゼーション(ソースイメージング)の問題は、しかしながら、高次元の統計的推測問題を引き起こす。 この問題に対処するために,分離されたマルチタスクラッソ(ecd-MTLasso)のアンサンブルを提案する。
  論文  参考訳（メタデータ） (2020-09-29T21:17:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。