論文の概要: Self-Supervised Multimodal Domino: in Search of Biomarkers for Alzheimer's Disease

• arxiv url: http://arxiv.org/abs/2012.13623v3
• Date: Mon, 29 Mar 2021 19:20:25 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-25 04:37:04.073075
• Title: Self-Supervised Multimodal Domino: in Search of Biomarkers for Alzheimer's Disease
• Title（参考訳）: 自己教師付きマルチモーダルドミノ:アルツハイマー病におけるバイオマーカーの探索
• Authors: Alex Fedorov, Tristan Sylvain, Eloy Geenjaar, Margaux Luck, Lei Wu, Thomas P. DeRamus, Alex Kirilin, Dmitry Bleklov, Vince D. Calhoun, Sergey M. Plis
• Abstract要約: 自己監督型表現学習アルゴリズムを編成する合理的な方法の分類法を提案する。 まず,おもちゃのマルチモーダルMNISTデータセットのモデルを評価し,アルツハイマー病患者を用いたマルチモーダル・ニューロイメージングデータセットに適用した。 提案手法は,従来の自己教師付きエンコーダデコーダ法よりも優れていた。
• 参考スコア（独自算出の注目度）: 19.86082635340699
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Sensory input from multiple sources is crucial for robust and coherent human perception. Different sources contribute complementary explanatory factors. Similarly, research studies often collect multimodal imaging data, each of which can provide shared and unique information. This observation motivated the design of powerful multimodal self-supervised representation-learning algorithms. In this paper, we unify recent work on multimodal self-supervised learning under a single framework. Observing that most self-supervised methods optimize similarity metrics between a set of model components, we propose a taxonomy of all reasonable ways to organize this process. We first evaluate models on toy multimodal MNIST datasets and then apply them to a multimodal neuroimaging dataset with Alzheimer's disease patients. We find that (1) multimodal contrastive learning has significant benefits over its unimodal counterpart, (2) the specific composition of multiple contrastive objectives is critical to performance on a downstream task, (3) maximization of the similarity between representations has a regularizing effect on a neural network, which can sometimes lead to reduced downstream performance but still reveal multimodal relations. Results show that the proposed approach outperforms previous self-supervised encoder-decoder methods based on canonical correlation analysis (CCA) or the mixture-of-experts multimodal variational autoEncoder (MMVAE) on various datasets with a linear evaluation protocol. Importantly, we find a promising solution to uncover connections between modalities through a jointly shared subspace that can help advance work in our search for neuroimaging biomarkers.
• Abstract（参考訳）: 複数のソースからの感覚入力は、堅牢で一貫性のある人間の知覚に不可欠である。 異なる情報源は相補的な説明要因に寄与する。 同様に、研究はしばしばマルチモーダルイメージングデータを収集し、それぞれが共有情報とユニークな情報を提供できる。 この観察は、強力なマルチモーダル自己教師付き表現学習アルゴリズムの設計を動機づけた。 本稿では,マルチモーダル自己教師付き学習に関する最近の研究を,一つの枠組みで統一する。 モデルコンポーネントのセット間の類似度メトリクスを最適化するほとんどの自己教師あり手法を観察し、このプロセスを整理するためのすべての合理的な方法の分類法を提案する。 まず,おもちゃのマルチモーダルMNISTデータセットのモデルを評価し,アルツハイマー病患者を用いたマルチモーダル・ニューロイメージングデータセットに適用した。 1) マルチモーダル・コントラッシブ・ラーニングは,(1) マルチモーダル・コントラッシブ・ラーニングに対して大きなメリットがあり,(2) マルチモーダル・ターゲットの具体的構成は下流タスクにおけるパフォーマンスに重要であり,(3) 表現間の類似性の最大化はニューラルネットワークに正規化効果を持ち,ダウンストリーム性能の低下につながることがあるが,同時にマルチモーダル・リレーションを明らかにする。 提案手法は,正規相関解析 (cca) や多モード変分オートエンコーダ (mmvae) を用いた線形評価プロトコルを用いて, 従来の自己教師付きエンコーダ-デコーダ法よりも優れていた。 重要なことに、我々は、ニューロイメージングバイオマーカーの探索において、共同で共有されたサブスペースを通じて、モダリティ間の接続を明らかにするための有望な解決策を見つける。

関連論文リスト

• Contrastive Learning on Multimodal Analysis of Electronic Health Records [15.392566551086782]
  本稿では,新しい特徴埋め込み生成モデルを提案し,マルチモーダルEHR特徴表現を得るためのマルチモーダルコントラスト損失を設計する。 本理論は, 単モーダル学習と比較して, 多モーダル学習の有効性を実証するものである。 この接続は、マルチモーダルEHR特徴表現学習に適したプライバシー保護アルゴリズムの道を開く。
  論文  参考訳（メタデータ） (2024-03-22T03:01:42Z)
• Joint Self-Supervised and Supervised Contrastive Learning for Multimodal MRI Data: Towards Predicting Abnormal Neurodevelopment [5.771221868064265]
  マルチモーダルMRIデータから頑健な潜在特徴表現を学習するための,新しい自己教師付きコントラスト学習法を提案する。 本手法は,マルチモーダルデータの活用により,臨床実習におけるコンピュータ支援診断を容易にする能力を有する。
  論文  参考訳（メタデータ） (2023-12-22T21:05:51Z)
• Self-Supervised Neuron Segmentation with Multi-Agent Reinforcement Learning [53.00683059396803]
  マスク画像モデル(MIM)は,マスク画像から元の情報を復元する簡便さと有効性から広く利用されている。 本稿では、強化学習(RL)を利用して最適な画像マスキング比とマスキング戦略を自動検索する決定に基づくMIMを提案する。 本手法は,ニューロン分節の課題において,代替自己監督法に対して有意な優位性を有する。
  論文  参考訳（メタデータ） (2023-10-06T10:40:46Z)
• Exploiting Modality-Specific Features For Multi-Modal Manipulation Detection And Grounding [54.49214267905562]
  マルチモーダルな操作検出とグラウンド処理のためのトランスフォーマーベースのフレームワークを構築する。 本フレームワークは,マルチモーダルアライメントの能力を維持しながら,モダリティ特有の特徴を同時に探求する。 本稿では,グローバルな文脈的キューを各モーダル内に適応的に集約する暗黙的操作クエリ(IMQ)を提案する。
  論文  参考訳（メタデータ） (2023-09-22T06:55:41Z)
• Source-Free Collaborative Domain Adaptation via Multi-Perspective Feature Enrichment for Functional MRI Analysis [55.03872260158717]
  安静時MRI機能(rs-fMRI)は、神経疾患の分析を助けるために多地点で研究されている。 ソース領域とターゲット領域の間のfMRIの不均一性を低減するための多くの手法が提案されている。 しかし、マルチサイト研究における懸念やデータストレージの負担のため、ソースデータの取得は困難である。 我々は、fMRI解析のためのソースフリー協調ドメイン適応フレームワークを設計し、事前訓練されたソースモデルとラベルなしターゲットデータのみにアクセスできるようにする。
  論文  参考訳（メタデータ） (2023-08-24T01:30:18Z)
• Multimodal Learning Without Labeled Multimodal Data: Guarantees and Applications [90.6849884683226]
  ラベル付き単調データのみを用いた半教師付き環境における相互作用定量化の課題について検討する。 相互作用の正確な情報理論的定義を用いて、我々の重要な貢献は下界と上界の導出である。 本稿では、これらの理論結果を用いてマルチモーダルモデルの性能を推定し、データ収集をガイドし、様々なタスクに対して適切なマルチモーダルモデルを選択する方法について述べる。
  論文  参考訳（メタデータ） (2023-06-07T15:44:53Z)
• Quantifying & Modeling Multimodal Interactions: An Information Decomposition Framework [89.8609061423685]
  本稿では,入力モーダル性と出力タスクを関連付けた冗長性,特異性,シナジーの度合いを定量化する情報理論手法を提案する。 PID推定を検証するために、PIDが知られている合成データセットと大規模マルチモーダルベンチマークの両方で広範な実験を行う。 本研究では,(1)マルチモーダルデータセット内の相互作用の定量化,(2)マルチモーダルモデルで捉えた相互作用の定量化,(3)モデル選択の原理的アプローチ,(4)実世界のケーススタディの3つにその有用性を示す。
  論文  参考訳（メタデータ） (2023-02-23T18:59:05Z)
• Self-supervised multimodal neuroimaging yields predictive representations for a spectrum of Alzheimer's phenotypes [27.331511924585023]
  この研究は、マルチモーダル・ニューロイメージングデータから複数の表現を学習するための、新しいマルチスケール協調フレームワークを提案する。 本稿では,情報誘導バイアスの一般的な分類法を提案する。 自己教師型モデルでは,事前トレーニング中にラベルにアクセスすることなく,障害関連脳領域とマルチモーダルリンクを明らかにする。
  論文  参考訳（メタデータ） (2022-09-07T01:37:19Z)
• A Multi-modal Fusion Framework Based on Multi-task Correlation Learning for Cancer Prognosis Prediction [8.476394437053477]
  生存分析とがん分類のためのマルチタスク相関学習(MultiCoFusion)に基づくマルチモーダル融合フレームワークを提案する。 The Cancer Genome Atlas (TCGA) のグリオーマデータセットを用いて我々の枠組みを体系的に評価した。
  論文  参考訳（メタデータ） (2022-01-22T15:16:24Z)
• Ensemble manifold based regularized multi-modal graph convolutional network for cognitive ability prediction [33.03449099154264]
  マルチモーダル機能磁気共鳴イメージング(fMRI)を使用して、脳の接続ネットワークに基づいて個々の行動特性および認知特性を予測することができます。 本稿では,fMRI時系列と各脳領域間の機能接続(FC)を組み込んだ,解釈可能な多モードグラフ畳み込みネットワーク(MGCN)モデルを提案する。 我々は、フィラデルフィア神経開発コホート上のMGCNモデルを検証し、個々の広範囲達成テスト(WRAT)スコアを予測します。
  論文  参考訳（メタデータ） (2021-01-20T20:53:07Z)
• Modeling Shared Responses in Neuroimaging Studies through MultiView ICA [94.31804763196116]
  被験者の大規模なコホートを含むグループ研究は、脳機能組織に関する一般的な結論を引き出す上で重要である。 グループ研究のための新しい多視点独立成分分析モデルを提案し、各被験者のデータを共有独立音源と雑音の線形結合としてモデル化する。 まず、fMRIデータを用いて、被験者間の共通音源の同定における感度の向上を示す。
  論文  参考訳（メタデータ） (2020-06-11T17:29:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。