Fugu-MT 論文翻訳(概要): An approach with Visual and Tabular Mamba to multimodal medical data using Mixed Fusion

論文の概要: An approach with Visual and Tabular Mamba to multimodal medical data using Mixed Fusion

arxiv url: http://arxiv.org/abs/2606.20738v1
Date: Wed, 17 Jun 2026 16:43:01 GMT
ステータス: 翻訳完了
システム内更新日: 2026-06-26 13:20:45.417536
Title: An approach with Visual and Tabular Mamba to multimodal medical data using Mixed Fusion
Title（参考訳）: 混合核融合を用いたマルチモーダル医療データへの視覚とタブラル・マンバのアプローチ
Authors: Matheus B. Rocha, Gustavo B. Dettogni, Renato A. Krohling,
Abstract要約: 本稿では,がん分類におけるマルチモーダル医療データの統合のための補完的アプローチを提案する。混合核融合(Mixed Fusion)と呼ばれる混合多モード核融合アーキテクチャは、意思決定プロセスの解釈可能性を高めるために用いられた。
参考スコア（独自算出の注目度）: 1.5420873135976756
License: http://creativecommons.org/licenses/by-nc-sa/4.0/
Abstract: This article presents a complementary approach for integrating multimodal medical data in cancer classification, based on state space models represented by the Mamba architecture. To this end, a mixed multimodal fusion architecture, called Mixed Fusion, was employed and developed to enhance the interpretability of the decision-making process. The proposed approach explores two variants of Mamba: one dedicated to visual processing, responsible for classifying the lesion image and generating probabilities associated with the target classes, and another focused on tabular processing, which uses these probabilities together with clinical and/or sociodemographic data to produce the final diagnosis. The experiments were conducted on two medical datasets: PAD-UFES-20, composed of clinical images and information associated with skin lesions, and NDB-UFES, consisting of histopathological images and sociodemographic data related to oral cancer. The results indicate slightly lower performance in balanced accuracy, compared with Transformer-based approaches, on PAD-UFES-20, and superior performance on NDB-UFES. Additionally, substantial gains were observed in the recall metric. Furthermore, the adoption of the Mixed Fusion architecture enables the application of the Shapley Additive Explanations (SHAP) method, increasing the interpretability of the results. These findings indicate that Mamba-based models constitute a suitable alternative for multimodal classification in medical data, especially in scenarios in which sensitivity is a relevant requirement.
Abstract（参考訳）: 本稿では,マンバアーキテクチャで表される状態空間モデルに基づいて,がん分類におけるマルチモーダル医療データの統合のための補完的アプローチを提案する。この目的のために、Mixed Fusionと呼ばれる混合多モード核融合アーキテクチャが採用され、意思決定プロセスの解釈可能性を高めるために開発された。提案手法では, 視覚処理に特化して病変像を分類し, 対象クラスに関連する確率を生成させるMambaと, 臨床および/または社会デマグラフィーデータとともにこれらの確率を用いて最終診断を行う表型処理に焦点を当てたMambaの2つの変種を探索する。 PAD-UFES-20は皮膚病変に関連する臨床像と情報で構成され,NDB-UFESは口腔癌に関連する病理像と社会デマグラフィーデータから構成された。その結果,PAD-UFES-20ではTransformerベースの手法と比較して,バランス精度が若干低下し,NDB-UFESでは優れた性能を示した。また,リコール基準ではかなりの利得が認められた。さらに、Mixed Fusionアーキテクチャを採用することで、Shapley Additive Explanations (SHAP) メソッドの適用が可能になり、結果の解釈可能性を高めることができる。これらの結果から,特に感度が要求される場合において,マンバモデルが医療データにおけるマルチモーダル分類の適切な代替手段となることが示唆された。

関連論文リスト

Multimodal Graph-based Classification of Esophageal Motility Disorders [73.90451172929117]
食道運動障害の診断は,高分解能インピーダンス測定データの複雑化と臨床解釈の多様性が原因で大きな課題となる。本研究は,HRIM記録と患者固有の情報を組み合わせたマルチモーダル機械学習に基づく分類手法の実現可能性について検討し,食道生理学のグラフベースモデリングを取り入れた。
論文参考訳（メタデータ） (2026-05-13T14:52:12Z)
GraphMMP: A Graph Neural Network Model with Mutual Information and Global Fusion for Multimodal Medical Prognosis [11.256328387342252]
本稿では,グラフニューラルネットワークに基づく2段階多モード予後モデルGraphMMPを提案する。提案モデルでは,相互情報を用いて特徴グラフを構築し,Mamba上に構築したグローバルフュージョンモジュールを特徴とする。実験の結果,GraphMMPは肝予後とMETABRIC研究に関連するデータセットの既存の手法を超越し,マルチモーダル医療予後タスクにおけるその有効性を示した。
論文参考訳（メタデータ） (2025-08-24T18:06:20Z)
Multi-Omics Fusion with Soft Labeling for Enhanced Prediction of Distant Metastasis in Nasopharyngeal Carcinoma Patients after Radiotherapy [4.971538849792411]
オミクスデータの統合で直面する課題の1つは、予測不能の存在である。本研究の目的は,オミクスデータに固有の相違を緩和する融合手法を開発することである。
論文参考訳（メタデータ） (2025-02-12T05:26:59Z)
Multimodal Medical Disease Classification with LLaMA II [0.14999444543328289]
臨床報告に関連付けられた2次元胸部X線によるOpenIのテキストイメージペアデータセットを用いて検討した。我々の焦点は、医療データセットから抽出したテキストと視覚情報を融合するための融合手法である。新たに導入されたマルチモーダルアーキテクチャは、少ない労力で他のマルチモーダルデータセットに適用することができ、さらなる研究に容易に適応することができる。
論文参考訳（メタデータ） (2024-12-02T09:18:07Z)
KAN-Mamba FusionNet: Redefining Medical Image Segmentation with Non-Linear Modeling [3.2971993272923443]
医用画像のセグメンテーション精度を向上させるために,新しいアーキテクチャであるkan-Mamba FusionNetを提案する。 IoUとF1スコアの最先端メソッドを一貫して上回る。
論文参考訳（メタデータ） (2024-11-18T09:19:16Z)
XAI for In-hospital Mortality Prediction via Multimodal ICU Data [57.73357047856416]
マルチモーダルICUデータを用いて病院内死亡率を予測するための,効率的で説明可能なAIソリューションを提案する。我々は,臨床データから異種入力を受信し,意思決定を行うマルチモーダル・ラーニングを我々のフレームワークに導入する。我々の枠組みは、医療研究において重要な要素の発見を容易にする他の臨床課題に容易に移行することができる。
論文参考訳（メタデータ） (2023-12-29T14:28:04Z)
MedSegDiff-V2: Diffusion based Medical Image Segmentation with Transformer [53.575573940055335]
我々は、MedSegDiff-V2と呼ばれるトランスフォーマーベースの拡散フレームワークを提案する。画像の異なる20種類の画像分割作業において,その有効性を検証する。
論文参考訳（メタデータ） (2023-01-19T03:42:36Z)
MMLN: Leveraging Domain Knowledge for Multimodal Diagnosis [10.133715767542386]
肺疾患診断のための知識駆動型およびデータ駆動型フレームワークを提案する。本研究は, 臨床医学ガイドラインに従って診断規則を定式化し, テキストデータから規則の重みを学習する。テキストと画像データからなるマルチモーダル融合は、肺疾患の限界確率を推定するために設計されている。
論文参考訳（メタデータ） (2022-02-09T04:12:30Z)
Malignancy Prediction and Lesion Identification from Clinical Dermatological Images [65.1629311281062]
臨床皮膚画像から機械学習に基づく悪性度予測と病変の同定を検討する。まず, サブタイプや悪性度に関わらず画像に存在するすべての病変を同定し, その悪性度を推定し, 凝集により, 画像レベルの悪性度も生成する。
論文参考訳（メタデータ） (2021-04-02T20:52:05Z)
G-MIND: An End-to-End Multimodal Imaging-Genetics Framework for Biomarker Identification and Disease Classification [49.53651166356737]
診断によって誘導される画像データと遺伝データを統合し、解釈可能なバイオマーカーを提供する新しいディープニューラルネットワークアーキテクチャを提案する。 2つの機能的MRI(fMRI)パラダイムとSingle Nucleotide Polymorphism (SNP)データを含む統合失調症の集団研究で本モデルを評価した。
論文参考訳（メタデータ） (2021-01-27T19:28:04Z)
Semi-supervised Medical Image Classification with Relation-driven Self-ensembling Model [71.80319052891817]
医用画像分類のための関係駆動型半教師付きフレームワークを提案する。これは、摂動下で与えられた入力の予測一貫性を促進することでラベルのないデータを利用する。本手法は,シングルラベルおよびマルチラベル画像分類のシナリオにおいて,最先端の半教師付き学習手法よりも優れる。
論文参考訳（メタデータ） (2020-05-15T06:57:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。