論文の概要: BrainAnytime: Anatomy-Aware Cross-Modal Pretraining for Brain Image Analysis with Arbitrary Modality Availability
- arxiv url: http://arxiv.org/abs/2605.13059v1
- Date: Wed, 13 May 2026 06:32:28 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-14 23:30:27.846172
- Title: BrainAnytime: Anatomy-Aware Cross-Modal Pretraining for Brain Image Analysis with Arbitrary Modality Availability
- Title（参考訳）: BrainAnytime: 任意モードアベイラビリティを用いた脳画像解析のための解剖学的対応型クロスモーダルプレトレーニング
- Authors: Guangqian Yang, Tong Ding, Wenlong Hou, Yue Xun, Ye Du, Qian Niu, Shujun Wang,
- Abstract要約: 我々は、34,899個の脳スキャンで事前トレーニングされた統合事前トレーニングフレームワークBrainAnytimeを提示する。
単一のモデルは、単一のT1スキャンから完全なマルチモーダルワークアップまで、利用可能などんな画像も受け入れる。
BrainAnytimeは、モダリティ固有のモデル、欠落したモダリティベースライン、大規模な脳MRI事前訓練基礎モデルを上回っている。
- 参考スコア（独自算出の注目度）: 9.583290278078428
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Clinical diagnostic workups typically follow a modality escalation pathway: after initial clinical evaluation, clinicians begin with routine structural imaging (e.g., MRI), selectively add sequences such as FLAIR or T2 to refine the differential, and reserve molecular imaging (e.g., amyloid-PET) for cases that remain uncertain after standard evaluation. Consequently, patients are observed with heterogeneous and often incomplete modality subsets. However, most current AI models assume fixed data modalities as the model inputs. In this paper, we present BrainAnytime, a unified pretraining framework pretrained on 34,899 3D brain scans from five datasets that support brain image analysis under arbitrary modality availability spanning multi-sequence MRI and amyloid-PET. A single model accepts whatever imaging is available, from a lone T1 scan to a full multimodal workup. Pretraining learns structural-molecular correspondences between MRI and PET via cross-modal distillation (RCMD) and prioritizes disease-vulnerable anatomy via atlas-guided curriculum masking (PACM), all within a shared 3D masked autoencoder (Multi-MAE3D). Across four downstream tasks and five clinically motivated modality settings, BrainAnytime largely outperforms modality-specific models, missing-modality baselines, and large-scale brain MRI pretrained foundation models on most modality settings. Notably, it surpasses the strongest missing-modality baselines with relative improvements of 6.2% and 7.0% in average accuracy on CN vs. AD and CN vs. MCI classification, respectively. Code is available at https://github.com/SDH-Lab/BrainAnytime.
- Abstract（参考訳）: 臨床診断のワークアップは、通常、モダリティ・エスカレーション・パスに従っている: 初期臨床評価の後、臨床医は定期的な構造像(例えばMRI)から始まり、微分を洗練させるためにFLAIRやT2のような配列を選択的に追加し、標準評価後に不確実な症例に対して予備的な分子イメージング(eg、アミロイドPET)を行う。
その結果、患者は不均一であり、しばしば不完全な不完全な部分集合で観察される。
しかし、現在のAIモデルはモデル入力として固定データモダリティを前提としている。
本稿では,5つのデータセットから34,899個の脳スキャンを事前トレーニングした統合事前トレーニングフレームワークであるBrainAnytimeについて述べる。
単一のモデルは、単一のT1スキャンから完全なマルチモーダルワークアップまで、利用可能などんな画像も受け入れる。
プレトレーニングは、クロスモーダル蒸留(RCMD)を通してMRIとPETの分子構造を学習し、アトラス誘導型カリキュラムマスキング(PACM)を介して病原性解剖を優先順位付けし、全て共有された3次元マスク付きオートエンコーダ(Multi-MAE3D)内で行う。
4つの下流タスクと5つの臨床的動機付けされたモダリティ設定において、BrainAnytimeは、ほとんどのモダリティ設定において、モダリティ固有のモデル、欠落モダリティベースライン、大規模脳MRI事前訓練された基礎モデルよりもはるかに優れています。
特に、CN vs. ADとCN vs. MCIの分類における平均精度が6.2%と7.0%の相対的な改善により、最強のモダリティベースラインを超えている。
コードはhttps://github.com/SDH-Lab/BrainAnytime.comから入手できる。
関連論文リスト
- Modality-Agnostic Input Channels Enable Segmentation of Brain lesions in Multimodal MRI with Sequences Unavailable During Training [4.672822120456554]
マルチモーダル脳MRIのほとんどのセグメンテーションモデルは固定モードに制限されている。
いくつかのモデルは、目に見えないモダリティに一般化するが、モダリティ固有の情報を失う可能性がある。
本研究の目的は、トレーニング中に見えない画像のモダリティを含むデータに対して推論を行うモデルを開発することである。
論文 参考訳（メタデータ） (2025-09-11T09:25:30Z) - impuTMAE: Multi-modal Transformer with Masked Pre-training for Missing Modalities Imputation in Cancer Survival Prediction [75.43342771863837]
我々は,効率的なマルチモーダル事前学習戦略を備えた新しいトランスフォーマーに基づくエンドツーエンドアプローチである impuTMAE を紹介する。
マスクされたパッチを再構築することで、モダリティの欠如を同時に示唆しながら、モダリティ間の相互作用とモダリティ内相互作用を学習する。
本モデルは,TGA-GBM/LGGとBraTSデータセットを用いたグリオーマ生存予測のために,異種不完全データに基づいて事前訓練を行った。
論文 参考訳（メタデータ） (2025-08-08T10:01:16Z) - Towards a general-purpose foundation model for fMRI analysis [58.06455456423138]
我々は,4次元fMRIボリュームから学習し,多様なアプリケーション間で効率的な知識伝達を可能にするフレームワークであるNeuroSTORMを紹介する。
NeuroSTORMは、複数のセンターにまたがる5万人以上の被験者から5歳から100歳までの28.65万fMRIフレーム(→9000時間)で事前トレーニングされている。
年齢/性別予測、表現型予測、疾患診断、fMRI-to-image検索、タスクベースのfMRIの5つのタスクにおいて、既存の手法よりも優れています。
論文 参考訳（メタデータ） (2025-06-11T23:51:01Z) - Multimodal Masked Autoencoder Pre-training for 3D MRI-Based Brain Tumor Analysis with Missing Modalities [0.0]
BM-MAEはマルチモーダルMRIデータに適したマスク付き画像モデリング事前学習戦略である。
利用可能なモダリティの組み合わせにシームレスに適応し、モダリティ内情報とモダリティ間情報の両方をキャプチャするリッチな表現を抽出する。
欠落したモダリティを迅速かつ効率的に再構築し、その実用的価値を強調します。
論文 参考訳（メタデータ） (2025-05-01T14:51:30Z) - Multi-modal Vision Pre-training for Medical Image Analysis [11.569448567735435]
自己教師型学習は、実世界のアプリケーションに対するトレーニングデータ要求を抑えることにより、医療画像解析を大いに促進してきた。
我々は,3つの代用タスクによる新しいマルチモーダル画像事前学習を行い,相互モダリティ表現と相関の学習を容易にする。
Dice Scoreは6つのセグメンテーションベンチマークで0.28%-14.47%改善し、4つの画像分類タスクで0.65%-18.07%向上した。
論文 参考訳（メタデータ） (2024-10-14T15:12:16Z) - NeuroPictor: Refining fMRI-to-Image Reconstruction via Multi-individual Pretraining and Multi-level Modulation [55.51412454263856]
本稿では,fMRI信号を用いた拡散モデル生成過程を直接変調することを提案する。
様々な個人から約67,000 fMRI-imageペアのトレーニングを行うことで,fMRI-to-imageデコーディング能力に優れたモデルが得られた。
論文 参考訳（メタデータ） (2024-03-27T02:42:52Z) - LVM-Med: Learning Large-Scale Self-Supervised Vision Models for Medical
Imaging via Second-order Graph Matching [59.01894976615714]
LVM-Medは、大規模医療データセットに基づいてトレーニングされた、最初のディープネットワークファミリーである。
55の公開データセットから約13万の医療画像を収集しました。
LVM-Medは、多くの最先端の教師付き、自己監督型、基礎モデルよりも経験的に優れている。
論文 参考訳（メタデータ） (2023-06-20T22:21:34Z) - Modality Completion via Gaussian Process Prior Variational Autoencoders
for Multi-Modal Glioma Segmentation [75.58395328700821]
本稿では,患者スキャンに欠落するサブモダリティを1つ以上のインプットするために,MGP-VAE(Multi-modal Gaussian Process Prior Variational Autoencoder)を提案する。
MGP-VAEは、変分オートエンコーダ(VAE)に先立ってガウス過程(GP)を利用して、被験者/患者およびサブモダリティ相関を利用することができる。
4つのサブモダリティのうち2つ、または3つが欠落している脳腫瘍に対するMGP-VAEの適用性を示す。
論文 参考訳（メタデータ） (2021-07-07T19:06:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。