論文の概要: A Modality-agnostic Multi-task Foundation Model for Human Brain Imaging

• arxiv url: http://arxiv.org/abs/2509.00549v1
• Date: Sat, 30 Aug 2025 16:15:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-04 15:17:03.281245
• Title: A Modality-agnostic Multi-task Foundation Model for Human Brain Imaging
• Title（参考訳）: ヒト脳イメージングのためのモダリティ非依存型マルチタスク基礎モデル
• Authors: Peirong Liu, Oula Puonti, Xiaoling Hu, Karthik Gopinath, Annabel Sorby-Adams, Daniel C. Alexander, W. Taylor Kimberly, Juan E. Iglesias,
• Abstract要約: 我々は、人間の脳イメージングのための、モダリティに依存しないマルチタスク視覚基盤モデルBrainFMを紹介する。 BrainFMは取得した画像の外観に耐性がある。 5つの基本的な脳イメージングタスクに直接適用することができる。
• 参考スコア（独自算出の注目度）: 12.710492824928338
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent learning-based approaches have made astonishing advances in calibrated medical imaging like computerized tomography (CT), yet they struggle to generalize in uncalibrated modalities -- notably magnetic resonance (MR) imaging, where performance is highly sensitive to the differences in MR contrast, resolution, and orientation. This prevents broad applicability to diverse real-world clinical protocols. Here we introduce BrainFM, a modality-agnostic, multi-task vision foundation model for human brain imaging. With the proposed "mild-to-severe" intra-subject generation and "real-synth" mix-up training strategy, BrainFM is resilient to the appearance of acquired images (e.g., modality, contrast, deformation, resolution, artifacts), and can be directly applied to five fundamental brain imaging tasks, including image synthesis for CT and T1w/T2w/FLAIR MRI, anatomy segmentation, scalp-to-cortical distance, bias field estimation, and registration. We evaluate the efficacy of BrainFM on eleven public datasets, and demonstrate its robustness and effectiveness across all tasks and input modalities. Code is available at https://github.com/jhuldr/BrainFM.
• Abstract（参考訳）: 近年の学習ベースのアプローチは、CT(Computerized tomography)のような校正医療画像において驚くべき進歩を遂げている。しかし彼らは、MRIのコントラスト、解像度、方向の差に非常に敏感な磁気共鳴(MR)イメージング(英語版)の非校正モダリティの一般化に苦慮している。 これにより、多様な実世界の臨床プロトコルへの広範な適用が防止される。 本稿では、人間の脳イメージングのための、モダリティに依存しないマルチタスク視覚基盤モデルであるBrainFMを紹介する。 提案した"mind-to-severe"オブジェクト内生成と"real-synth"ミックスアップトレーニング戦略により、BrainFMは取得した画像(例えば、モダリティ、コントラスト、変形、解像度、アーティファクト)の出現に耐性を持ち、CTとT1w/T2w/FLAIR MRIの画像合成、解剖学的セグメンテーション、頭皮皮質間距離、バイアス場推定、登録を含む5つの基本的な脳画像タスクに直接適用することができる。 我々は、11の公開データセットに対するBrainFMの有効性を評価し、その堅牢性と全てのタスクおよび入力モダリティに対する有効性を示す。 コードはhttps://github.com/jhuldr/BrainFMで入手できる。

関連論文リスト

• Bidirectional Brain Image Translation using Transfer Learning from Generic Pre-trained Models [0.0]
  医療分野では、ラベル付き医療画像を取得することは労働集約的で費用がかかるため、データの不足に対処することが大きな課題である。 近年の研究では、この問題を克服するためにトランスファーラーニング(transfer learning)が提案されている。 本研究では,MR-CT画像翻訳の課題に対して,転送学習を適用した。
  論文  参考訳（メタデータ） (2025-01-21T20:30:15Z)
• Multi-modal Vision Pre-training for Medical Image Analysis [11.569448567735435]
  自己教師型学習は、実世界のアプリケーションに対するトレーニングデータ要求を抑えることにより、医療画像解析を大いに促進してきた。 我々は,3つの代用タスクによる新しいマルチモーダル画像事前学習を行い,相互モダリティ表現と相関の学習を容易にする。 Dice Scoreは6つのセグメンテーションベンチマークで0.28%-14.47%改善し、4つの画像分類タスクで0.65%-18.07%向上した。
  論文  参考訳（メタデータ） (2024-10-14T15:12:16Z)
• MindFormer: Semantic Alignment of Multi-Subject fMRI for Brain Decoding [50.55024115943266]
  本稿では,MindFormer を用いたマルチオブジェクト fMRI 信号のセマンティックアライメント手法を提案する。 このモデルは、fMRIから画像生成のための安定拡散モデルや、fMRIからテキスト生成のための大規模言語モデル(LLM)の条件付けに使用できるfMRI条件付き特徴ベクトルを生成するように設計されている。 実験の結果,MindFormerは意味的に一貫した画像とテキストを異なる主題にわたって生成することがわかった。
  論文  参考訳（メタデータ） (2024-05-28T00:36:25Z)
• Psychometry: An Omnifit Model for Image Reconstruction from Human Brain Activity [60.983327742457995]
  人間の脳活動から見るイメージを再構築することで、人間とコンピュータのビジョンをBrain-Computer Interfaceを通して橋渡しする。 異なる被験者から得られた機能的磁気共鳴イメージング(fMRI)による画像再構成のための全能モデルであるサイコメトリを考案した。
  論文  参考訳（メタデータ） (2024-03-29T07:16:34Z)
• Disentangled Multimodal Brain MR Image Translation via Transformer-based Modality Infuser [12.402947207350394]
  マルチモーダル脳MR画像の合成を目的としたトランスフォーマーを用いたモダリティインジェクタを提案する。 本手法では,エンコーダからモダリティに依存しない特徴を抽出し,その特徴をモダリティ固有の特徴に変換する。 われわれはBraTS 2018データセットで4つのMRモードを変換する実験を行った。
  論文  参考訳（メタデータ） (2024-02-01T06:34:35Z)
• Brain-ID: Learning Contrast-agnostic Anatomical Representations for Brain Imaging [11.06907516321673]
  脳画像のための解剖学的表現学習モデルであるBrain-IDを導入する。 提案された"Mild-to-Severe"イントラオブジェクト生成により、Brain-IDは被験者固有の脳解剖に対して堅牢である。 本稿では,物体内および物体間ロバスト性を評価するための新しい指標を提案し,その性能を4つの下流アプリケーションで評価する。
  論文  参考訳（メタデータ） (2023-11-28T16:16:10Z)
• fMRI-PTE: A Large-scale fMRI Pretrained Transformer Encoder for Multi-Subject Brain Activity Decoding [54.17776744076334]
  本稿では,fMRI事前学習のための革新的オートエンコーダであるfMRI-PTEを提案する。 我々のアプローチでは、fMRI信号を統合された2次元表現に変換し、次元の整合性を確保し、脳の活動パターンを保存する。 コントリビューションには、fMRI-PTEの導入、革新的なデータ変換、効率的なトレーニング、新しい学習戦略、そして我々のアプローチの普遍的な適用性が含まれる。
  論文  参考訳（メタデータ） (2023-11-01T07:24:22Z)
• BrainCLIP: Bridging Brain and Visual-Linguistic Representation Via CLIP for Generic Natural Visual Stimulus Decoding [51.911473457195555]
  BrainCLIPはタスクに依存しないfMRIベースの脳復号モデルである。 脳の活動、画像、およびテキストの間のモダリティギャップを埋める。 BrainCLIPは、高い意味的忠実度で視覚刺激を再構築することができる。
  論文  参考訳（メタデータ） (2023-02-25T03:28:54Z)
• Cross-Modality Deep Feature Learning for Brain Tumor Segmentation [158.8192041981564]
  本稿では, マルチモーダルMRIデータから脳腫瘍を抽出するクロスモーダルディープ・フィーチャーラーニング・フレームワークを提案する。 中心となる考え方は、不十分なデータスケールを補うために、マルチモダリティデータにまたがる豊富なパターンをマイニングすることだ。 on the BraTS benchmarks, this proposed cross-modality deep feature learning framework could effective improve the brain tumor segmentation performance。
  論文  参考訳（メタデータ） (2022-01-07T07:46:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。