論文の概要: DAMM-Diffusion: Learning Divergence-Aware Multi-Modal Diffusion Model for Nanoparticles Distribution Prediction

• arxiv url: http://arxiv.org/abs/2503.09491v1
• Date: Wed, 12 Mar 2025 15:52:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-13 15:38:41.093599
• Title: DAMM-Diffusion: Learning Divergence-Aware Multi-Modal Diffusion Model for Nanoparticles Distribution Prediction
• Title（参考訳）: DAMM拡散:ナノ粒子分布予測のための多様性を考慮した多モード拡散モデル
• Authors: Junjie Zhou, Shouju Wang, Yuxia Tang, Qi Zhu, Daoqiang Zhang, Wei Shao,
• Abstract要約: 腫瘍の診断と治療には,ナノ粒子分布の予測が重要である。 textbfDAMM-Diffusionモデル(textbfDAMM-Diffusionモデル)を提案し、ユニモーダル分岐とマルチモーダル分岐から予測結果を適応的に生成する。
• 参考スコア（独自算出の注目度）: 19.362568685267448
• License:
• Abstract: The prediction of nanoparticles (NPs) distribution is crucial for the diagnosis and treatment of tumors. Recent studies indicate that the heterogeneity of tumor microenvironment (TME) highly affects the distribution of NPs across tumors. Hence, it has become a research hotspot to generate the NPs distribution by the aid of multi-modal TME components. However, the distribution divergence among multi-modal TME components may cause side effects i.e., the best uni-modal model may outperform the joint generative model. To address the above issues, we propose a \textbf{D}ivergence-\textbf{A}ware \textbf{M}ulti-\textbf{M}odal \textbf{Diffusion} model (i.e., \textbf{DAMM-Diffusion}) to adaptively generate the prediction results from uni-modal and multi-modal branches in a unified network. In detail, the uni-modal branch is composed of the U-Net architecture while the multi-modal branch extends it by introducing two novel fusion modules i.e., Multi-Modal Fusion Module (MMFM) and Uncertainty-Aware Fusion Module (UAFM). Specifically, the MMFM is proposed to fuse features from multiple modalities, while the UAFM module is introduced to learn the uncertainty map for cross-attention computation. Following the individual prediction results from each branch, the Divergence-Aware Multi-Modal Predictor (DAMMP) module is proposed to assess the consistency of multi-modal data with the uncertainty map, which determines whether the final prediction results come from multi-modal or uni-modal predictions. We predict the NPs distribution given the TME components of tumor vessels and cell nuclei, and the experimental results show that DAMM-Diffusion can generate the distribution of NPs with higher accuracy than the comparing methods. Additional results on the multi-modal brain image synthesis task further validate the effectiveness of the proposed method.
• Abstract（参考訳）: 腫瘍の診断と治療には,ナノ粒子分布の予測が重要である。 近年の研究では、腫瘍微小環境(TME)の不均一性は、腫瘍全体のNPの分布に大きな影響を与えることが示されている。 したがって、マルチモーダルTMEコンポーネントの助けを借りてNPs分布を生成する研究ホットスポットとなっている。 しかし、多モードTME成分間の分布のばらつきは副作用を引き起こす可能性がある。 上記の問題に対処するために、統一ネットワーク内のユニモーダルおよびマルチモーダル分岐から予測結果を適応的に生成するための、 \textbf{D}ivergence-\textbf{A}ware \textbf{M}ulti-\textbf{M}odal \textbf{Diffusion}モデル(すなわち、 \textbf{DAMM-Diffusion})を提案する。 詳しくは、ユニモーダルブランチはU-Netアーキテクチャで構成され、マルチモーダルブランチは、MMFM(Multi-Modal Fusion Module)とUncertainty-Aware Fusion Module(Uncertainty-Aware Fusion Module)という2つの新しいフュージョンモジュールを導入して拡張する。 具体的には、MMFMは複数のモードから特徴を融合するために提案され、UAFMモジュールはクロスアテンション計算のための不確実性マップを学習するために導入された。 各ブランチからの個々の予測結果に続いて、DAMMPモジュールが提案され、マルチモーダルデータと不確実性マップとの整合性を評価し、最終的な予測結果がマルチモーダルまたはユニモーダル予測から得られるかどうかを決定する。 腫瘍血管と細胞核のTME成分からNPs分布を予測し, 実験結果から, DAMM拡散によりNPs分布は比較法よりも高い精度で生成できることが示された。 マルチモーダル脳画像合成タスクのさらなる成果は、提案手法の有効性をさらに検証するものである。

関連論文リスト

• Latent Distribution Decoupling: A Probabilistic Framework for Uncertainty-Aware Multimodal Emotion Recognition [7.25361375272096]
  マルチモーダル・マルチラベル感情認識は,マルチモーダルデータにおける複数の感情の存在を同時に認識することを目的としている。 既存の研究では、マルチモーダルデータに固有のノイズであるテクスブファレラティック不確実性の影響を見落としている。 本稿では,不確かさ認識フレームワークを用いた潜在感情分布分解法を提案する。
  論文  参考訳（メタデータ） (2025-02-19T18:53:23Z)
• MIND: Modality-Informed Knowledge Distillation Framework for Multimodal Clinical Prediction Tasks [50.98856172702256]
  マルチモーダルモデル圧縮手法である MIND (Modality-Informed Knowledge Distillation) フレームワークを提案する。 MINDは、様々なサイズの事前訓練されたディープニューラルネットワークのアンサンブルから、より小さなマルチモーダルの学生に知識を伝達する。 時系列データと胸部X線画像を用いた2値および複数ラベルの臨床予測タスクにおけるMINDの評価を行った。
  論文  参考訳（メタデータ） (2025-02-03T08:50:00Z)
• ITCFN: Incomplete Triple-Modal Co-Attention Fusion Network for Mild Cognitive Impairment Conversion Prediction [12.893857146169045]
  アルツハイマー病(英語: Alzheimer's disease、AD)は、高齢者の神経変性疾患である。 軽度認知障害(MCI)の早期予測と時間的介入は、ADに進むリスクを減少させる可能性がある。
  論文  参考訳（メタデータ） (2025-01-20T05:12:31Z)
• Cross-conditioned Diffusion Model for Medical Image to Image Translation [22.020931436223204]
  医用画像から画像への変換のためのクロスコンディショニング拡散モデル(CDM)を提案する。 まず、目的のモダリティの分布をモデル化するためのモダリティ固有表現モデル(MRM)を提案する。 そして、MDN(Modality-Decoupled Diffusion Network)を設計し、MRMから効率よく効果的に分布を学習する。
  論文  参考訳（メタデータ） (2024-09-13T02:48:56Z)
• Confidence-aware multi-modality learning for eye disease screening [58.861421804458395]
  眼疾患スクリーニングのための新しい多モード顕在核融合パイプラインを提案する。 モダリティごとに信頼度を測り、マルチモダリティ情報をエレガントに統合する。 パブリックデータセットと内部データセットの両方の実験結果は、我々のモデルが堅牢性に優れていることを示している。
  論文  参考訳（メタデータ） (2024-05-28T13:27:30Z)
• Provable Dynamic Fusion for Low-Quality Multimodal Data [94.39538027450948]
  動的マルチモーダル融合は、有望な学習パラダイムとして現れる。 広く使われているにもかかわらず、この分野の理論的正当化は依然として顕著に欠落している。 本稿では、一般化の観点から最もポピュラーなマルチモーダル融合フレームワークの下で、この問題に答える理論的理解を提供する。 QMF(Quality-Aware Multimodal Fusion)と呼ばれる新しいマルチモーダル融合フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-06-03T08:32:35Z)
• Diff-UNet: A Diffusion Embedded Network for Volumetric Segmentation [41.608617301275935]
  医療用ボリュームセグメンテーションのための新しいエンドツーエンドフレームワークDiff-UNetを提案する。 提案手法では,拡散モデルを標準U字型アーキテクチャに統合し,入力ボリュームから意味情報を効率的に抽出する。 われわれは,MRI,肝腫瘍,多臓器CTの3種類の脳腫瘍について検討した。
  論文  参考訳（メタデータ） (2023-03-18T04:06:18Z)
• DDFM: Denoising Diffusion Model for Multi-Modality Image Fusion [144.9653045465908]
  拡散確率モデル(DDPM)に基づく新しい融合アルゴリズムを提案する。 近赤外可視画像融合と医用画像融合で有望な融合が得られた。
  論文  参考訳（メタデータ） (2023-03-13T04:06:42Z)
• A Novel Unified Conditional Score-based Generative Framework for Multi-modal Medical Image Completion [54.512440195060584]
  我々は、スコアベース生成モデル(SGM)を活用するために、統一多モードスコアベース生成モデル(UMM-CSGM)を提案する。 UMM-CSGMは、新しいマルチインマルチアウトコンディションスコアネットワーク(mm-CSN)を用いて、クロスモーダル条件分布の包括的集合を学習する。 BraTS19データセットの実験により、UMM-CSGMは腫瘍誘発病変における不均一な増強と不規則な領域をより確実に合成できることが示された。
  論文  参考訳（メタデータ） (2022-07-07T16:57:21Z)
• M2Net: Multi-modal Multi-channel Network for Overall Survival Time Prediction of Brain Tumor Patients [151.4352001822956]
  生存時間(OS)の早期かつ正確な予測は、脳腫瘍患者に対するより良い治療計画を得るのに役立つ。 既存の予測手法は、磁気共鳴(MR)ボリュームの局所的な病変領域における放射能特性に依存している。 我々は,マルチモーダルマルチチャネルネットワーク(M2Net)のエンドツーエンドOS時間予測モデルを提案する。
  論文  参考訳（メタデータ） (2020-06-01T05:21:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。