論文の概要: Joint Self-Supervised and Supervised Contrastive Learning for Multimodal
MRI Data: Towards Predicting Abnormal Neurodevelopment
- arxiv url: http://arxiv.org/abs/2312.15064v1
- Date: Fri, 22 Dec 2023 21:05:51 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-27 19:59:29.254372
- Title: Joint Self-Supervised and Supervised Contrastive Learning for Multimodal
MRI Data: Towards Predicting Abnormal Neurodevelopment
- Title（参考訳）: マルチモーダルMRIデータを用いた自己監督型コントラスト学習 : 異常神経発達予測に向けて
- Authors: Zhiyuan Li, Hailong Li, Anca L. Ralescu, Jonathan R. Dillman, Mekibib
Altaye, Kim M. Cecil, Nehal A. Parikh, Lili He
- Abstract要約: マルチモーダルMRIデータから頑健な潜在特徴表現を学習するための,新しい自己教師付きコントラスト学習法を提案する。
本手法は,マルチモーダルデータの活用により,臨床実習におけるコンピュータ支援診断を容易にする能力を有する。
- 参考スコア（独自算出の注目度）: 5.771221868064265
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The integration of different imaging modalities, such as structural,
diffusion tensor, and functional magnetic resonance imaging, with deep learning
models has yielded promising outcomes in discerning phenotypic characteristics
and enhancing disease diagnosis. The development of such a technique hinges on
the efficient fusion of heterogeneous multimodal features, which initially
reside within distinct representation spaces. Naively fusing the multimodal
features does not adequately capture the complementary information and could
even produce redundancy. In this work, we present a novel joint self-supervised
and supervised contrastive learning method to learn the robust latent feature
representation from multimodal MRI data, allowing the projection of
heterogeneous features into a shared common space, and thereby amalgamating
both complementary and analogous information across various modalities and
among similar subjects. We performed a comparative analysis between our
proposed method and alternative deep multimodal learning approaches. Through
extensive experiments on two independent datasets, the results demonstrated
that our method is significantly superior to several other deep multimodal
learning methods in predicting abnormal neurodevelopment. Our method has the
capability to facilitate computer-aided diagnosis within clinical practice,
harnessing the power of multimodal data.
- Abstract（参考訳）: 構造,拡散テンソル,機能的磁気共鳴画像などの異なる画像モダリティの深層学習モデルとの融合により,表現特性の識別や疾患診断の強化が期待できる結果となった。
このような手法の開発は、当初は異なる表現空間内に存在する異種多様特徴の効率的な融合にかかっている。
マルチモーダルな特徴をネゴライズすることは相補的な情報を適切に捉えず、冗長性さえも生み出す。
本研究では,マルチモーダルMRIデータから頑健な潜在特徴表現を学習し,異種特徴の共通空間への投射を可能にし,相補的情報と類似的情報の両方を様々なモダリティと類似した主題に集約する,新しい共同教師付きコントラスト学習法を提案する。
提案手法と代替的な深層マルチモーダル学習手法の比較分析を行った。
2つの独立したデータセットに対する広範な実験により,本手法は異常な神経発達を予測するための他の深層マルチモーダル学習法よりも優れていることが示された。
本手法は,マルチモーダルデータのパワーを活用し,臨床におけるコンピュータ支援診断を容易にする能力を有する。
関連論文リスト
- Integrated Brain Connectivity Analysis with fMRI, DTI, and sMRI Powered by Interpretable Graph Neural Networks [17.063133885403154]
我々は, 磁気共鳴イメージング, 拡散テンソルイメージング, 構造MRIを結合構造に統合した。
提案手法は,ニューラルネットワークの重み付けにマスキング戦略を導入し,マルチモーダル画像データの総合的アマルガメーションを容易にする。
このモデルは、ヒューマンコネクトームプロジェクト(Human Connectome Project)の開発研究に応用され、若年期のマルチモーダルイメージングと認知機能との関係を明らかにする。
論文 参考訳（メタデータ） (2024-08-26T13:16:42Z) - Automated Ensemble Multimodal Machine Learning for Healthcare [52.500923923797835]
本稿では,自動機械学習を用いた構造化臨床(タブラル)データと医用画像の統合を実現するマルチモーダルフレームワークAutoPrognosis-Mを紹介する。
AutoPrognosis-Mには、畳み込みニューラルネットワークとビジョントランスフォーマーを含む17のイメージングモデルと、3つの異なるマルチモーダル融合戦略が含まれている。
論文 参考訳（メタデータ） (2024-07-25T17:46:38Z) - Confidence-aware multi-modality learning for eye disease screening [58.861421804458395]
眼疾患スクリーニングのための新しい多モード顕在核融合パイプラインを提案する。
モダリティごとに信頼度を測り、マルチモダリティ情報をエレガントに統合する。
パブリックデータセットと内部データセットの両方の実験結果は、我々のモデルが堅牢性に優れていることを示している。
論文 参考訳（メタデータ） (2024-05-28T13:27:30Z) - Modality-Aware and Shift Mixer for Multi-modal Brain Tumor Segmentation [12.094890186803958]
マルチモーダル画像のモダリティ内依存性とモダリティ間依存性を統合した新しいModality Aware and Shift Mixerを提案する。
具体的には,低レベルのモザイク対関係をモデル化するためのニューロイメージング研究に基づいてModality-Awareモジュールを導入し,モザイクパターンを具体化したModality-Shiftモジュールを開発し,高レベルのモザイク間の複雑な関係を自己注意を通して探索する。
論文 参考訳（メタデータ） (2024-03-04T14:21:51Z) - HEALNet: Multimodal Fusion for Heterogeneous Biomedical Data [10.774128925670183]
本稿では,フレキシブルなマルチモーダル融合アーキテクチャであるHybrid Early-fusion Attention Learning Network (HEALNet)を提案する。
The Cancer Genome Atlas (TCGA) の4つのがんデータセットにおける全スライド画像と多モードデータを用いたマルチモーダルサバイバル解析を行った。
HEALNetは、他のエンドツーエンドの訓練された融合モデルと比較して最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2023-11-15T17:06:26Z) - Incomplete Multimodal Learning for Complex Brain Disorders Prediction [65.95783479249745]
本稿では,変換器と生成対向ネットワークを用いた不完全なマルチモーダルデータ統合手法を提案する。
アルツハイマー病神経画像イニシアチブコホートを用いたマルチモーダルイメージングによる認知変性と疾患予後の予測に本手法を適用した。
論文 参考訳（メタデータ） (2023-05-25T16:29:16Z) - Identifiability Results for Multimodal Contrastive Learning [72.15237484019174]
本研究では,以前研究したマルチビュー設定よりも,より一般的な設定で共有要因を復元可能であることを示す。
本研究は,マルチモーダル表現学習の理論的基盤を提供し,マルチモーダルコントラスト学習を実践的に効果的に設定する方法を説明する。
論文 参考訳（メタデータ） (2023-03-16T09:14:26Z) - Multimodal foundation models are better simulators of the human brain [65.10501322822881]
1500万の画像テキストペアを事前訓練した,新たに設計されたマルチモーダル基礎モデルを提案する。
視覚的エンコーダも言語的エンコーダもマルチモーダルで訓練され,脳に近いことが判明した。
論文 参考訳（メタデータ） (2022-08-17T12:36:26Z) - Cross-Modality Deep Feature Learning for Brain Tumor Segmentation [158.8192041981564]
本稿では, マルチモーダルMRIデータから脳腫瘍を抽出するクロスモーダルディープ・フィーチャーラーニング・フレームワークを提案する。
中心となる考え方は、不十分なデータスケールを補うために、マルチモダリティデータにまたがる豊富なパターンをマイニングすることだ。
on the BraTS benchmarks, this proposed cross-modality deep feature learning framework could effective improve the brain tumor segmentation performance。
論文 参考訳（メタデータ） (2022-01-07T07:46:01Z) - Self-Supervised Multimodal Domino: in Search of Biomarkers for
Alzheimer's Disease [19.86082635340699]
自己監督型表現学習アルゴリズムを編成する合理的な方法の分類法を提案する。
まず,おもちゃのマルチモーダルMNISTデータセットのモデルを評価し,アルツハイマー病患者を用いたマルチモーダル・ニューロイメージングデータセットに適用した。
提案手法は,従来の自己教師付きエンコーダデコーダ法よりも優れていた。
論文 参考訳（メタデータ） (2020-12-25T20:28:13Z) - ASMFS: Adaptive-Similarity-based Multi-modality Feature Selection for
Classification of Alzheimer's Disease [37.34130395221716]
特徴選択と局所類似性学習を同時に行う新しい多モード特徴選択法を提案する。
本手法の有効性は,アルツハイマー病神経画像イニシアチブデータセットを用いて実験的に検証した。
論文 参考訳（メタデータ） (2020-10-16T06:53:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。