論文の概要: Multi-task Collaborative Pre-training and Individual-adaptive-tokens
Fine-tuning: A Unified Framework for Brain Representation Learning
- arxiv url: http://arxiv.org/abs/2306.11378v1
- Date: Tue, 20 Jun 2023 08:38:17 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-21 15:05:41.765373
- Title: Multi-task Collaborative Pre-training and Individual-adaptive-tokens
Fine-tuning: A Unified Framework for Brain Representation Learning
- Title(参考訳): マルチタスク協調型事前学習と個人適応型微調整:脳表現学習のための統一フレームワーク
- Authors: Ning Jiang, Gongshu Wang, and Tianyi Yan
- Abstract要約: 協調的事前学習と個別学習を組み合わせた統合フレームワークを提案する。
提案したMCIATはADHD-200データセット上で最先端の診断性能を実現する。
- 参考スコア(独自算出の注目度): 3.1453938549636185
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Structural magnetic resonance imaging (sMRI) provides accurate estimates of
the brain's structural organization and learning invariant brain
representations from sMRI is an enduring issue in neuroscience. Previous deep
representation learning models ignore the fact that the brain, as the core of
human cognitive activity, is distinct from other organs whose primary attribute
is anatomy. Therefore, capturing the semantic structure that dominates
interindividual cognitive variability is key to accurately representing the
brain. Given that this high-level semantic information is subtle, distributed,
and interdependently latent in the brain structure, sMRI-based models need to
capture fine-grained details and understand how they relate to the overall
global structure. However, existing models are optimized by simple objectives,
making features collapse into homogeneity and worsening simultaneous
representation of fine-grained information and holistic semantics, causing a
lack of biological plausibility and interpretation of cognition. Here, we
propose MCIAT, a unified framework that combines Multi-task Collaborative
pre-training and Individual-Adaptive-Tokens fine-tuning. Specifically, we first
synthesize restorative learning, age prediction auxiliary learning and
adversarial learning as a joint proxy task for deep semantic representation
learning. Then, a mutual-attention-based token selection method is proposed to
highlight discriminative features. The proposed MCIAT achieves state-of-the-art
diagnosis performance on the ADHD-200 dataset compared with several sMRI-based
approaches and shows superior generalization on the MCIC and OASIS datasets.
Moreover, we studied 12 behavioral tasks and found significant associations
between cognitive functions and MCIAT-established representations, which
verifies the interpretability of our proposed framework.
- Abstract(参考訳): 構造磁気共鳴イメージング(sMRI)は、脳の構造的構造を正確に推定し、sMRIから不変の脳表現を学習することは、神経科学における持続的な問題である。
従来の深層表現学習モデルは、人間の認知活動の中核である脳が解剖学が主な特徴である他の器官と異なるという事実を無視している。
したがって、個人間認知の多様性を支配する意味構造を捉えることは、脳を正確に表現するための鍵となる。
この高レベルのセマンティック情報が微妙で、分散し、依存的に脳構造に潜伏していることを考えると、sMRIベースのモデルは細かな詳細を捉え、それらが全体的構造とどのように関係しているかを理解する必要がある。
しかし、既存のモデルは単純な目的によって最適化され、特徴が均質に崩壊し、きめ細かい情報と全体論的意味論の同時表現が悪化し、生物学的な妥当性の欠如と認識の解釈を引き起こす。
本稿では,マルチタスク協調型プレトレーニングと個別適応型微調整を組み合わせた統合フレームワークであるMCIATを提案する。
具体的には, 深部意味表現学習を主目的として, 復元学習, 年齢予測補助学習, 敵学習を合成した。
そして,識別特徴を強調するために,相互注意に基づくトークン選択手法を提案する。
提案したMCIATは、いくつかのsMRIベースのアプローチと比較してADHD-200データセットの最先端診断性能を達成し、MCICおよびOASISデータセットの優れた一般化を示す。
さらに,12の行動課題について検討し,認知機能とMCIATが確立した表現との間に有意な関連性を見出した。
関連論文リスト
- Integrated Brain Connectivity Analysis with fMRI, DTI, and sMRI Powered by Interpretable Graph Neural Networks [17.063133885403154]
我々は, 磁気共鳴イメージング, 拡散テンソルイメージング, 構造MRIを結合構造に統合した。
提案手法は,ニューラルネットワークの重み付けにマスキング戦略を導入し,マルチモーダル画像データの総合的アマルガメーションを容易にする。
このモデルは、ヒューマンコネクトームプロジェクト(Human Connectome Project)の開発研究に応用され、若年期のマルチモーダルイメージングと認知機能との関係を明らかにする。
論文 参考訳(メタデータ) (2024-08-26T13:16:42Z) - Knowledge-Guided Prompt Learning for Lifespan Brain MR Image Segmentation [53.70131202548981]
本稿では,脳MRIにKGPL(Knowledge-Guided Prompt Learning)を用いた2段階のセグメンテーションフレームワークを提案する。
具体的には,大規模データセットと準最適ラベルを用いたトレーニング前セグメンテーションモデルについて述べる。
知識的プロンプトの導入は、解剖学的多様性と生物学的プロセスの間の意味的関係を捉えている。
論文 参考訳(メタデータ) (2024-07-31T04:32:43Z) - BrainMAE: A Region-aware Self-supervised Learning Framework for Brain Signals [11.030708270737964]
本稿では,fMRI時系列データから直接表現を学習するBrain Masked Auto-Encoder(BrainMAE)を提案する。
BrainMAEは、4つの異なる下流タスクにおいて、確立されたベースラインメソッドをかなりのマージンで一貫して上回っている。
論文 参考訳(メタデータ) (2024-06-24T19:16:24Z) - Interpretable Spatio-Temporal Embedding for Brain Structural-Effective Network with Ordinary Differential Equation [56.34634121544929]
本研究では,まず動的因果モデルを用いて脳効果ネットワークを構築する。
次に、STE-ODE(Spatio-Temporal Embedding ODE)と呼ばれる解釈可能なグラフ学習フレームワークを導入する。
このフレームワークは、構造的および効果的なネットワーク間の動的相互作用を捉えることを目的とした、特異的に設計されたノード埋め込み層を含んでいる。
論文 参考訳(メタデータ) (2024-05-21T20:37:07Z) - MindBridge: A Cross-Subject Brain Decoding Framework [60.58552697067837]
脳の復号化は、獲得した脳信号から刺激を再構築することを目的としている。
現在、脳の復号化はモデルごとのオブジェクトごとのパラダイムに限られている。
我々は,1つのモデルのみを用いることで,オブジェクト間脳デコーディングを実現するMindBridgeを提案する。
論文 参考訳(メタデータ) (2024-04-11T15:46:42Z) - Psychometry: An Omnifit Model for Image Reconstruction from Human Brain Activity [60.983327742457995]
人間の脳活動から見るイメージを再構築することで、人間とコンピュータのビジョンをBrain-Computer Interfaceを通して橋渡しする。
異なる被験者から得られた機能的磁気共鳴イメージング(fMRI)による画像再構成のための全能モデルであるサイコメトリを考案した。
論文 参考訳(メタデータ) (2024-03-29T07:16:34Z) - UniBrain: Universal Brain MRI Diagnosis with Hierarchical
Knowledge-enhanced Pre-training [66.16134293168535]
我々はUniBrainと呼ばれるユニバーサル脳MRI診断のための階層的知識強化事前訓練フレームワークを提案する。
具体的には、UniBrainは、定期的な診断から24,770のイメージレポートペアの大規模なデータセットを活用する。
論文 参考訳(メタデータ) (2023-09-13T09:22:49Z) - Brain Structure-Function Fusing Representation Learning using
Adversarial Decomposed-VAE for Analyzing MCI [17.757114703434027]
fMRI画像から融合表現を学習するために,新しい脳構造関数Fusing-Representation Learning (BSFL)モデルを提案する。
提案モデルは,軽度認知障害(MCI)の予測と解析において,他の競合手法よりも優れた性能を実現する。
このモデルは、統合された脳ネットワークを再構築し、MCIの変性過程中に異常な接続を予測するための潜在的なツールとなるかもしれない。
論文 参考訳(メタデータ) (2023-05-23T11:19:02Z) - Functional2Structural: Cross-Modality Brain Networks Representation
Learning [55.24969686433101]
脳ネットワーク上のグラフマイニングは、臨床表現型および神経変性疾患のための新しいバイオマーカーの発見を促進する可能性がある。
本稿では,Deep Signed Brain Networks (DSBN) と呼ばれる新しいグラフ学習フレームワークを提案する。
臨床表現型および神経変性疾患予測の枠組みを,2つの独立した公開データセットを用いて検証した。
論文 参考訳(メタデータ) (2022-05-06T03:45:36Z) - Mapping individual differences in cortical architecture using multi-view
representation learning [0.0]
本稿では,タスクfMRIと安静状態fMRIで計測されたアクティベーションと接続性に基づく情報を組み合わせて,新しい機械学習手法を提案する。
マルチビューディープ・オートエンコーダは、2つのfMRIモダリティを、患者を特徴づけるスカラースコアを推測するために予測モデルが訓練されたジョイント表現空間に融合させるように設計されている。
論文 参考訳(メタデータ) (2020-04-01T09:01:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。