論文の概要: Completed Feature Disentanglement Learning for Multimodal MRIs Analysis
- arxiv url: http://arxiv.org/abs/2407.04916v1
- Date: Sat, 6 Jul 2024 01:49:38 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-09 21:57:27.506434
- Title: Completed Feature Disentanglement Learning for Multimodal MRIs Analysis
- Title（参考訳）: マルチモーダルMRI解析のための特徴分散学習の完全化
- Authors: Tianling Liu, Hongying Liu, Fanhua Shang, Lequan Yu, Tong Han, Liang Wan,
- Abstract要約: 特徴不整合(FD)に基づく手法はマルチモーダルラーニング(MML)において大きな成功を収めた
本稿では,特徴デカップリング時に失われた情報を復元する完全特徴分散(CFD)戦略を提案する。
具体的には、CFD戦略は、モダリティ共有とモダリティ固有の特徴を識別するだけでなく、マルチモーダル入力のサブセット間の共有特徴を分離する。
- 参考スコア（独自算出の注目度）: 36.32164729310868
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Multimodal MRIs play a crucial role in clinical diagnosis and treatment. Feature disentanglement (FD)-based methods, aiming at learning superior feature representations for multimodal data analysis, have achieved significant success in multimodal learning (MML). Typically, existing FD-based methods separate multimodal data into modality-shared and modality-specific features, and employ concatenation or attention mechanisms to integrate these features. However, our preliminary experiments indicate that these methods could lead to a loss of shared information among subsets of modalities when the inputs contain more than two modalities, and such information is critical for prediction accuracy. Furthermore, these methods do not adequately interpret the relationships between the decoupled features at the fusion stage. To address these limitations, we propose a novel Complete Feature Disentanglement (CFD) strategy that recovers the lost information during feature decoupling. Specifically, the CFD strategy not only identifies modality-shared and modality-specific features, but also decouples shared features among subsets of multimodal inputs, termed as modality-partial-shared features. We further introduce a new Dynamic Mixture-of-Experts Fusion (DMF) module that dynamically integrates these decoupled features, by explicitly learning the local-global relationships among the features. The effectiveness of our approach is validated through classification tasks on three multimodal MRI datasets. Extensive experimental results demonstrate that our approach outperforms other state-of-the-art MML methods with obvious margins, showcasing its superior performance.
- Abstract（参考訳）: マルチモーダルMRIは臨床診断と治療において重要な役割を担っている。
マルチモーダルデータ解析における優れた特徴表現の学習を目的としたFDベースの手法は,マルチモーダル学習(MML)において大きな成功を収めている。
既存のFDベースの手法では、マルチモーダルデータをモダリティ共有とモダリティ固有の特徴に分離し、それらの特徴を統合するために結合または注意機構を用いる。
しかし, 予備実験により, 入力が2つ以上のモダリティを含む場合, モダリティのサブセット間で共有情報が失われる可能性が示唆された。
さらに,これらの手法は融合段階における解離した特徴間の関係を適切に解釈するものではない。
これらの制約に対処するため,機能分離時に失われた情報を復元する新しいCFD(Complete Feature Disentanglement)戦略を提案する。
具体的には、CFD戦略は、モダリティ共有特徴とモダリティ特異的特徴を識別するだけでなく、モダリティ共有特徴と呼ばれるマルチモーダル入力のサブセット間の共有特徴を分離する。
さらに,これらの分離された特徴を動的に統合し,特徴間の局所的・言語的関係を明示的に学習する,新しいMDF(Dynamic Mixture-of-Experts Fusion)モジュールを導入する。
提案手法の有効性は3つのマルチモーダルMRIデータセットの分類タスクを通して検証する。
以上の結果から,本手法が他の最先端MML手法よりも優れた性能を示すことが明らかとなった。
関連論文リスト
- Robust Divergence Learning for Missing-Modality Segmentation [6.144772447916824]
マルチモーダルMRI(Multimodal Magnetic Resonance Imaging)は、脳腫瘍の亜領域を解析するための重要な補完情報を提供する。
自動セグメンテーションのための4つの一般的なMRIモダリティを用いた手法は成功しているが、画像品質の問題、一貫性のないプロトコル、アレルギー反応、コスト要因などにより、モダリティの欠如に悩まされることが多い。
H"古い発散と相互情報に基づく新しい単一モード並列処理ネットワークフレームワークを提案する。
論文 参考訳（メタデータ） (2024-11-13T03:03:30Z) - Supervised Multi-Modal Fission Learning [19.396207029419813]
マルチモーダルデータセットからの学習は相補的な情報を活用することができ、予測タスクのパフォーマンスを向上させることができる。
本稿では,グローバルな関節,部分的な関節,個々のコンポーネントを同時に識別するマルチモーダル・フィッション・ラーニング・モデルを提案する。
論文 参考訳（メタデータ） (2024-09-30T17:58:03Z) - Asynchronous Multimodal Video Sequence Fusion via Learning Modality-Exclusive and -Agnostic Representations [19.731611716111566]
本稿では,モダリティ学習のためのマルチモーダル融合手法を提案する。
我々は、モーダル内の信頼性のあるコンテキストダイナミクスをキャプチャする予測的自己アテンションモジュールを導入する。
階層的クロスモーダルアテンションモジュールは、モダリティ間の価値ある要素相関を探索するために設計されている。
両識別器戦略が提示され、異なる表現を敵対的に生成することを保証する。
論文 参考訳（メタデータ） (2024-07-06T04:36:48Z) - Modality Prompts for Arbitrary Modality Salient Object Detection [57.610000247519196]
本論文は、任意のモーダリティ・サリエント物体検出(AM SOD)の課題について述べる。
任意のモダリティ、例えばRGBイメージ、RGB-Dイメージ、RGB-D-Tイメージから有能なオブジェクトを検出することを目的としている。
AM SODの2つの基本的な課題を解明するために,新しいモード適応トランス (MAT) を提案する。
論文 参考訳（メタデータ） (2024-05-06T11:02:02Z) - Joint Multimodal Transformer for Emotion Recognition in the Wild [49.735299182004404]
マルチモーダル感情認識(MMER)システムは、通常、単調なシステムよりも優れている。
本稿では,キーベースのクロスアテンションと融合するために,ジョイントマルチモーダルトランス (JMT) を利用するMMER法を提案する。
論文 参考訳（メタデータ） (2024-03-15T17:23:38Z) - FedMM: Federated Multi-Modal Learning with Modality Heterogeneity in
Computational Pathology [3.802258033231335]
Federated Multi-Modal (FedMM) は、複数の単一モード特徴抽出器を訓練し、その後の分類性能を向上させる学習フレームワークである。
FedMMは、精度とAUCメトリクスの2つのベースラインを特に上回っている。
論文 参考訳（メタデータ） (2024-02-24T16:58:42Z) - Unified Multi-modal Unsupervised Representation Learning for
Skeleton-based Action Understanding [62.70450216120704]
教師なしの事前訓練は骨格に基づく行動理解において大きな成功を収めた。
我々はUmURLと呼ばれる統一マルチモーダル非教師なし表現学習フレームワークを提案する。
UmURLは効率的な早期融合戦略を利用して、マルチモーダル機能を単一ストリームで共同でエンコードする。
論文 参考訳（メタデータ） (2023-11-06T13:56:57Z) - Exploiting Modality-Specific Features For Multi-Modal Manipulation
Detection And Grounding [54.49214267905562]
マルチモーダルな操作検出とグラウンド処理のためのトランスフォーマーベースのフレームワークを構築する。
本フレームワークは,マルチモーダルアライメントの能力を維持しながら,モダリティ特有の特徴を同時に探求する。
本稿では,グローバルな文脈的キューを各モーダル内に適応的に集約する暗黙的操作クエリ(IMQ)を提案する。
論文 参考訳（メタデータ） (2023-09-22T06:55:41Z) - Exploiting modality-invariant feature for robust multimodal emotion
recognition with missing modalities [76.08541852988536]
我々は、欠落したモダリティ・イマジネーション・ネットワーク(IF-MMIN)に不変な特徴を用いることを提案する。
提案モデルは,不確実なモダリティ条件下で,すべてのベースラインを上回り,全体の感情認識性能を不変に向上することを示す。
論文 参考訳（メタデータ） (2022-10-27T12:16:25Z) - Learning Multimodal VAEs through Mutual Supervision [72.77685889312889]
MEMEは、相互監督を通じて暗黙的にモダリティ間の情報を結合する。
我々は、MEMEが、部分的および完全観察スキームの双方で標準メトリクスのベースラインを上回ることを実証する。
論文 参考訳（メタデータ） (2021-06-23T17:54:35Z) - Meta-modal Information Flow: A Method for Capturing Multimodal Modular
Disconnectivity in Schizophrenia [11.100316178148994]
統合失調症(SZ)における解離と機能不全の仮説に対処するための多モードデータを活用する手法を提案する。
マルチモーダルデータセットを通して精神疾患に関連するリンクを特定するために,GGMに適用可能なモジュール性に基づく手法を提案する。
シミュレーションと実データにより,本手法は単一モダリティに焦点をあてて欠落する疾患関連ネットワーク破壊に関する重要な情報を明らかにする。
論文 参考訳（メタデータ） (2020-01-06T18:46:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。