論文の概要: Learning Sparse Latent Predictive Foundation Model for Multimodal Neuroimaging

• arxiv url: http://arxiv.org/abs/2606.14957v2
• Date: Thu, 18 Jun 2026 14:47:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-19 13:55:51.506003
• Title: Learning Sparse Latent Predictive Foundation Model for Multimodal Neuroimaging
• Title（参考訳）: マルチモーダル・ニューロイメージングのためのスパース潜在予測基礎モデル
• Authors: Haoxu Huang, Long Chen, Jingyun Chen, Jinu Hyun, James Ryan Loftus, Kara Melmed, Daniel Orringer, Jennifer Frontera, Seena Dehkharghani, Arjun Masurkar, Narges Razavian,
• Abstract要約: 我々は、コアT1w、T2w、および流体抑制FLAIRイメージング(FLAIR)で脳MRIを符号化するスパースマルチモーダル・ニューロイメージング基盤モデルであるNeuro-JEPAを紹介した。 ニューロJEPAは、3つのコア構造脳MRIシークエンスにデータキュレーションを施したモダリティ特異的前処理の後、428,647件の1,551,862件のスキャンで事前訓練された。 3つの健康システムから25のタスクを含む臨床・研究環境における学習表現の評価を行った。
• 参考スコア（独自算出の注目度）: 5.655046812740412
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Brain MRIs are routinely acquired as multiple complementary sequences with unique contrast weighting, including T1-weighed imaging (T1w) anatomic and fluid-sensitive T2-weighted (T2w) contrasts. However, methods for learning unified representations across the multitude of MRI contrast mechanisms at health-system scale are lacking. In this study, we introduce Neuro-JEPA, a sparse multimodal neuroimaging foundation model that combines a latent predictive objective with a Mixture-of-Experts architecture to encode brain MRI across core T1w, T2w, and fluid-suppressed FLAIR imaging (FLAIR). We further provide a systematic methodological study of architectural, masking, objective, and sparsity design choices beneficial for robust neuroimaging multimodal representation learning. Neuro-JEPA was pretrained on 1,551,862 scans from 428,647 studies after modality-specific preprocessing with data curation across three core structural brain MRI sequences. We evaluated the learned representations across clinical and research settings, including 25 tasks from three health systems: NYU Langone, NYU Long Island, and Massachusetts General Hospital, and 22 tasks from 12 public datasets, covering unimodal, multimodal and cross-domain evaluation configurations. Across these benchmarks, existing neuroimaging foundation models showed inconsistent gains over a simple convolutional neural network (CNN) baseline, whereas Neuro-JEPA achieved stronger and more consistent performance across all evaluated settings. These results establish a scalable methodological framework for multimodal neuroimaging representation learning and highlight the need for foundation model evaluation protocols that include simple baselines, clinically heterogeneous cohorts and controlled multimodal comparisons.
• Abstract（参考訳）: 脳MRIは、T1-weighed imaging (T1w) anatomic and fluid-sensitive T2-weighted (T2w) contrastsを含む、ユニークなコントラスト重みを持つ複数の補完配列として日常的に取得される。 しかし、医療システム規模でのMRIコントラスト機構の多種多様にわたる統一表現の学習方法は欠如している。 本研究では,脳MRIをコアT1w,T2w,流体抑制FLAIRイメージング(FLAIR)でエンコードするMixture-of-Expertsアーキテクチャと,潜伏予測対象を結合したスパースマルチモーダル・ニューロイメージング基盤モデルであるNeuro-JEPAを紹介する。 さらに、ロバスト・ニューロイメージング・マルチモーダル表現学習に有用なアーキテクチャ、マスキング、目的、およびスパーシティデザインの選択に関する体系的研究を行った。 ニューロJEPAは、3つのコア構造脳MRIシークエンスにデータキュレーションを施したモダリティ特異的前処理の後、428,647件の1,551,862件のスキャンで事前訓練された。 対象は,ニューヨーク・ラングーン,ニューヨーク・ロングアイランド,マサチューセッツ・ジェネラル病院の3つの健康システムから25のタスク,および12のパブリックデータセットから22のタスクを対象とし,単調,マルチモーダル,クロスドメインの評価設定を対象とした。 これらのベンチマーク全体において、既存のニューロイメージング基礎モデルは、単純な畳み込みニューラルネットワーク(CNN)ベースラインよりも一貫性のない向上を示し、一方、Neuro-JEPAは、評価されたすべての設定に対してより強く、より一貫性のあるパフォーマンスを達成した。 これらの結果は,マルチモーダルなニューロイメージング表現学習のためのスケーラブルな方法論的枠組みを確立し,シンプルなベースライン,臨床的に異質なコホート,制御されたマルチモーダル比較を含む基礎モデル評価プロトコルの必要性を強調した。

関連論文リスト

• Modality-Aware and Anatomical Vector-Quantized Autoencoding for Multimodal Brain MRI [15.657081811594418]
  マルチモーダル脳MRIの再構成のためのVQ-VAE(Modality-Aware 3D vector-quantized VAE)を提案する。 NeuroQuantは、既存のVAEよりも優れた再構成忠実性を達成する。
  論文  参考訳（メタデータ） (2026-04-06T21:07:34Z)
• Towards a general-purpose foundation model for fMRI analysis [58.06455456423138]
  我々は,4次元fMRIボリュームから学習し,多様なアプリケーション間で効率的な知識伝達を可能にするフレームワークであるNeuroSTORMを紹介する。 NeuroSTORMは、複数のセンターにまたがる5万人以上の被験者から5歳から100歳までの28.65万fMRIフレーム(→9000時間)で事前トレーニングされている。 年齢/性別予測、表現型予測、疾患診断、fMRI-to-image検索、タスクベースのfMRIの5つのタスクにおいて、既存の手法よりも優れています。
  論文  参考訳（メタデータ） (2025-06-11T23:51:01Z)
• MindFormer: Semantic Alignment of Multi-Subject fMRI for Brain Decoding [50.55024115943266]
  本稿では,MindFormer を用いたマルチオブジェクト fMRI 信号のセマンティックアライメント手法を提案する。 このモデルは、fMRIから画像生成のための安定拡散モデルや、fMRIからテキスト生成のための大規模言語モデル(LLM)の条件付けに使用できるfMRI条件付き特徴ベクトルを生成するように設計されている。 実験の結果,MindFormerは意味的に一貫した画像とテキストを異なる主題にわたって生成することがわかった。
  論文  参考訳（メタデータ） (2024-05-28T00:36:25Z)
• NeuroPictor: Refining fMRI-to-Image Reconstruction via Multi-individual Pretraining and Multi-level Modulation [55.51412454263856]
  本稿では,fMRI信号を用いた拡散モデル生成過程を直接変調することを提案する。 様々な個人から約67,000 fMRI-imageペアのトレーニングを行うことで,fMRI-to-imageデコーディング能力に優れたモデルが得られた。
  論文  参考訳（メタデータ） (2024-03-27T02:42:52Z)
• SF2Former: Amyotrophic Lateral Sclerosis Identification From Multi-center MRI Data Using Spatial and Frequency Fusion Transformer [3.408266725482757]
  筋萎縮性側索硬化症(Amyotrophic Lateral Sclerosis、ALS)は、運動ニューロン変性を伴う複雑な神経変性疾患である。 ディープラーニングは、コンピュータビジョンにおける機械学習プログラムの傑出したクラスになった。 本研究では、視覚変換器アーキテクチャのパワーを活用してALS対象と制御群を区別するフレームワークであるSF2Formerを紹介する。
  論文  参考訳（メタデータ） (2023-02-21T18:16:20Z)
• Model-Guided Multi-Contrast Deep Unfolding Network for MRI Super-resolution Reconstruction [68.80715727288514]
  MRI観察行列を用いて,反復型MGDUNアルゴリズムを新しいモデル誘導深部展開ネットワークに展開する方法を示す。 本稿では,医療画像SR再構成のためのモデルガイド型解釈可能なDeep Unfolding Network(MGDUN)を提案する。
  論文  参考訳（メタデータ） (2022-09-15T03:58:30Z)
• A Neural Ordinary Differential Equation Model for Visualizing Deep Neural Network Behaviors in Multi-Parametric MRI based Glioma Segmentation [3.1435638364138105]
  我々は,マルチパラメトリックMRI(mp-MRI)に基づくグリオーマセグメンテーションにおいて,ディープニューラルネットワーク(DNN)を可視化するためのニューラル常微分方程式(ODE)モデルを開発した。 すべてのニューラルODEモデルは、イメージダイナミクスを期待どおりに説明できた。
  論文  参考訳（メタデータ） (2022-03-01T17:16:41Z)
• Neural Architecture Search for Gliomas Segmentation on Multimodal Magnetic Resonance Imaging [2.66512000865131]
  マルチモーダルMRIスキャンにおける脳腫瘍セグメント化課題に対するニューラルアーキテクチャサーチ(NAS)に基づくソリューションを提案する。 開発されたソリューションは、また、脳MRI処理に適した正規化とパッチ戦略を統合する。
  論文  参考訳（メタデータ） (2020-05-13T14:32:00Z)
• Mapping individual differences in cortical architecture using multi-view representation learning [0.0]
  本稿では,タスクfMRIと安静状態fMRIで計測されたアクティベーションと接続性に基づく情報を組み合わせて,新しい機械学習手法を提案する。 マルチビューディープ・オートエンコーダは、2つのfMRIモダリティを、患者を特徴づけるスカラースコアを推測するために予測モデルが訓練されたジョイント表現空間に融合させるように設計されている。
  論文  参考訳（メタデータ） (2020-04-01T09:01:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。