Fugu-MT 論文翻訳(概要): Missing-modality Enabled Multi-modal Fusion Architecture for Medical Data

論文の概要: Missing-modality Enabled Multi-modal Fusion Architecture for Medical Data

arxiv url: http://arxiv.org/abs/2309.15529v1
Date: Wed, 27 Sep 2023 09:46:07 GMT
ステータス: 処理完了
システム内更新日: 2023-09-28 14:26:02.065926
Title: Missing-modality Enabled Multi-modal Fusion Architecture for Medical Data
Title（参考訳）: 不足モダリティによる医療データのマルチモーダル融合アーキテクチャ
Authors: Muyu Wang, Shiyu Fan, Yichen Li, Hui Chen
Abstract要約: マルチモーダルデータを融合することで、ディープラーニングモデルの性能を向上させることができる。欠失モダリティは、患者の特異性によって医療データに共通する。本研究では、欠落したモダリティに対して堅牢な医療データのための効率的なマルチモーダル融合アーキテクチャを開発した。
参考スコア（独自算出の注目度）: 8.472576865966744
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Fusing multi-modal data can improve the performance of deep learning models. However, missing modalities are common for medical data due to patients' specificity, which is detrimental to the performance of multi-modal models in applications. Therefore, it is critical to adapt the models to missing modalities. This study aimed to develop an efficient multi-modal fusion architecture for medical data that was robust to missing modalities and further improved the performance on disease diagnosis.X-ray chest radiographs for the image modality, radiology reports for the text modality, and structured value data for the tabular data modality were fused in this study. Each modality pair was fused with a Transformer-based bi-modal fusion module, and the three bi-modal fusion modules were then combined into a tri-modal fusion framework. Additionally, multivariate loss functions were introduced into the training process to improve model's robustness to missing modalities in the inference process. Finally, we designed comparison and ablation experiments for validating the effectiveness of the fusion, the robustness to missing modalities and the enhancements from each key component. Experiments were conducted on MIMIC-IV, MIMIC-CXR with the 14-label disease diagnosis task. Areas under the receiver operating characteristic curve (AUROC), the area under the precision-recall curve (AUPRC) were used to evaluate models' performance. The experimental results demonstrated that our proposed multi-modal fusion architecture effectively fused three modalities and showed strong robustness to missing modalities. This method is hopeful to be scaled to more modalities to enhance the clinical practicality of the model.
Abstract（参考訳）: マルチモーダルデータを使用することで、ディープラーニングモデルのパフォーマンスが向上する。しかし,患者の特異性から医療データに欠落するモダリティは,アプリケーションにおけるマルチモーダルモデルの性能に悪影響を及ぼす。したがって、モデルが欠落したモダリティに適応することが重要である。本研究は, 画像モダリティのX線胸X線写真, テキストモダリティのX線写真, 表層データモダリティの構造化値データを融合した, 画像モダリティの欠如に頑健な医療データのための効率的なマルチモーダル融合アーキテクチャを開発することを目的としている。各モダリティペアはトランスフォーマーベースのバイモーダル融合モジュールと融合され、3つのバイモーダル融合モジュールはトリモーダル融合フレームワークに結合された。さらに,学習過程に多変量損失関数を導入し,推論過程におけるモデルのロバスト性を改善する。最後に, 核融合の有効性, モダリティの欠如に対する堅牢性, および各キーコンポーネントの強化を検証するための比較およびアブレーション実験を設計した。 MIMIC-IV, MIMIC-CXRで14ラベルの診断を行った。受信機動作特性曲線 (auroc) の下の領域では, モデルの性能評価に精度再呼曲線 (auprc) の領域が用いられた。実験の結果,提案したマルチモーダル融合アーキテクチャは3つのモーダルを効果的に融合し,欠落モーダルに対して強い堅牢性を示した。本手法は, 臨床的実用性を高めるために, より多くのモダリティにスケールできることが期待できる。

関連論文リスト

RADAR: Robust Two-stage Modality-incomplete Industrial Anomaly Detection [61.71770293720491]
本稿では,2段階のロバスト・モードアリティ不完全融合とFlaAmewoRkの検出について提案する。我々のブートストラッピング哲学は、MIIADの2段階を強化し、マルチモーダルトランスの堅牢性を向上させることである。実験の結果,提案手法は従来のMIAD法よりも有効性とロバスト性に優れていた。
論文参考訳（メタデータ） (2024-10-02T16:47:55Z)
Cross-conditioned Diffusion Model for Medical Image to Image Translation [22.020931436223204]
医用画像から画像への変換のためのクロスコンディショニング拡散モデル(CDM)を提案する。まず、目的のモダリティの分布をモデル化するためのモダリティ固有表現モデル(MRM)を提案する。そして、MDN(Modality-Decoupled Diffusion Network)を設計し、MRMから効率よく効果的に分布を学習する。
論文参考訳（メタデータ） (2024-09-13T02:48:56Z)
MoRA: LoRA Guided Multi-Modal Disease Diagnosis with Missing Modality [29.088860237497165]
マルチモーダル事前学習モデルに対するモダリティ対応低ランク適応(MoRA)を提案する。 MoRAはモデルの最初のブロックに統合され、モダリティの欠如によるパフォーマンスが大幅に向上する。モデル全体のトレーニングに比べて、トレーニング可能なパラメータの1.6%未満を必要とする。
論文参考訳（メタデータ） (2024-08-17T01:40:00Z)
Towards Precision Healthcare: Robust Fusion of Time Series and Image Data [8.579651833717763]
本稿では,データの種類毎に2つのエンコーダを用いて,視覚情報と時間情報の両方において複雑なパターンをモデル化する手法を提案する。また、不均衡なデータセットに対処し、不確実性損失関数を使用し、改善した結果を得る。本手法は,臨床応用におけるマルチモーダルディープラーニングの改善に有効であることを示す。
論文参考訳（メタデータ） (2024-05-24T11:18:13Z)
DrFuse: Learning Disentangled Representation for Clinical Multi-Modal Fusion with Missing Modality and Modal Inconsistency [18.291267748113142]
そこで本研究では,DrFuseを効果的に多モード核融合を実現するために提案する。モダリティに共通する特徴と各モダリティに特有の特徴を分離することで、モダリティの欠如に対処する。実世界の大規模データセットMIMIC-IVとMIMIC-CXRを用いて提案手法を検証する。
論文参考訳（メタデータ） (2024-03-10T12:41:34Z)
Improving Discriminative Multi-Modal Learning with Large-Scale Pre-Trained Models [51.5543321122664]
本稿では,大規模な事前学習型ユニモーダルモデルを用いて,識別型マルチモーダル学習を向上する方法について検討する。 MMLoRA(Multi-Modal Low-Rank Adaptation Learning)を導入する。
論文参考訳（メタデータ） (2023-10-08T15:01:54Z)
The effect of data augmentation and 3D-CNN depth on Alzheimer's Disease detection [51.697248252191265]
この研究は、データハンドリング、実験設計、モデル評価に関するベストプラクティスを要約し、厳密に観察する。我々は、アルツハイマー病(AD)の検出に焦点を当て、医療における課題のパラダイム的な例として機能する。このフレームワークでは,3つの異なるデータ拡張戦略と5つの異なる3D CNNアーキテクチャを考慮し,予測15モデルを訓練する。
論文参考訳（メタデータ） (2023-09-13T10:40:41Z)
Cross-Attention is Not Enough: Incongruity-Aware Dynamic Hierarchical Fusion for Multimodal Affect Recognition [69.32305810128994]
モダリティ間の同調性は、特に認知に影響を及ぼすマルチモーダル融合の課題となる。本稿では,動的モダリティゲーティング(HCT-DMG)を用いた階層型クロスモーダルトランスを提案する。 HCT-DMG: 1) 従来のマルチモーダルモデルを約0.8Mパラメータで上回り、2) 不整合が認識に影響を及ぼすハードサンプルを認識し、3) 潜在レベルの非整合性をクロスモーダルアテンションで緩和する。
論文参考訳（メタデータ） (2023-05-23T01:24:15Z)
Feature robustness and sex differences in medical imaging: a case study in MRI-based Alzheimer's disease detection [1.7616042687330637]
我々はADNI MRIデータセットの2つの分類方式を比較した。訓練データセットの性構成に対する男女試験対象者のモデル性能の強い依存は見つからない。
論文参考訳（メタデータ） (2022-04-04T17:37:54Z)
On Modality Bias Recognition and Reduction [70.69194431713825]
マルチモーダル分類の文脈におけるモダリティバイアス問題について検討する。本稿では,各ラベルの特徴空間を適応的に学習するプラグアンドプレイ損失関数法を提案する。本手法は, ベースラインに比べ, 顕著な性能向上を実現している。
論文参考訳（メタデータ） (2022-02-25T13:47:09Z)
Bi-Bimodal Modality Fusion for Correlation-Controlled Multimodal Sentiment Analysis [96.46952672172021]
Bi-Bimodal Fusion Network (BBFN) は、2対のモダリティ表現で融合を行う新しいエンドツーエンドネットワークである。モデルは、モダリティ間の既知の情報不均衡により、2つのバイモーダルペアを入力として取る。
論文参考訳（メタデータ） (2021-07-28T23:33:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。