論文の概要: Brain Foundation Models with Hypergraph Dynamic Adapter for Brain Disease Analysis
- arxiv url: http://arxiv.org/abs/2505.00627v1
- Date: Thu, 01 May 2025 16:06:17 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-02 19:15:55.36798
- Title: Brain Foundation Models with Hypergraph Dynamic Adapter for Brain Disease Analysis
- Title(参考訳): ハイパーグラフ動的アダプタを用いた脳疾患解析のための脳基礎モデル
- Authors: Zhongying Deng, Haoyu Wang, Ziyan Huang, Lipei Zhang, Angelica I. Aviles-Rivero, Chaoyu Liu, Junjun He, Zoe Kourtzi, Carola-Bibiane Schönlieb,
- Abstract要約: アルツハイマー病や脳腫瘍などの脳疾患は、その複雑さと社会的影響により深刻な課題を呈する。
脳基盤モデルの最近の進歩は、脳に関する様々な課題に対処する上で大きな可能性を示している。
SAM-Brain3Dは脳固有の基礎モデルで、66,000以上の脳画像-ラベルのペアをトレーニングする。
- 参考スコア(独自算出の注目度): 18.02038938366483
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Brain diseases, such as Alzheimer's disease and brain tumors, present profound challenges due to their complexity and societal impact. Recent advancements in brain foundation models have shown significant promise in addressing a range of brain-related tasks. However, current brain foundation models are limited by task and data homogeneity, restricted generalization beyond segmentation or classification, and inefficient adaptation to diverse clinical tasks. In this work, we propose SAM-Brain3D, a brain-specific foundation model trained on over 66,000 brain image-label pairs across 14 MRI sub-modalities, and Hypergraph Dynamic Adapter (HyDA), a lightweight adapter for efficient and effective downstream adaptation. SAM-Brain3D captures detailed brain-specific anatomical and modality priors for segmenting diverse brain targets and broader downstream tasks. HyDA leverages hypergraphs to fuse complementary multi-modal data and dynamically generate patient-specific convolutional kernels for multi-scale feature fusion and personalized patient-wise adaptation. Together, our framework excels across a broad spectrum of brain disease segmentation and classification tasks. Extensive experiments demonstrate that our method consistently outperforms existing state-of-the-art approaches, offering a new paradigm for brain disease analysis through multi-modal, multi-scale, and dynamic foundation modeling.
- Abstract(参考訳): アルツハイマー病や脳腫瘍などの脳疾患は、その複雑さと社会的影響により深刻な課題を呈する。
脳基盤モデルの最近の進歩は、脳に関する様々な課題に対処する上で大きな可能性を示している。
しかし、現在の脳基盤モデルは、タスクとデータ均質性、セグメンテーションや分類を超えた一般化の制限、様々な臨床タスクへの非効率な適応によって制限されている。
本研究では,14のMRIサブモダリティにまたがる66,000以上の脳画像ラベルをトレーニングした脳特異的基礎モデルSAM-Brain3Dと,効率よく効果的な下流適応用アダプタであるHypergraph Dynamic Adapter (HyDA)を提案する。
SAM-Brain3Dは、様々な脳の標的とより広い下流のタスクをセグメント化するための、詳細な脳固有の解剖学的およびモダリティの先行をキャプチャする。
HyDAはハイパーグラフを利用して補完的なマルチモーダルデータを融合し、マルチスケールの機能融合とパーソナライズされた患者適応のために患者固有の畳み込みカーネルを動的に生成する。
このフレームワークは脳疾患のセグメンテーションと分類タスクの幅広い範囲にまたがる。
広汎な実験により,本手法は既存の最先端手法を一貫して上回り,マルチモーダル,マルチスケール,ダイナミックファンデーションモデリングによる脳疾患解析の新しいパラダイムを提供する。
関連論文リスト
- BrainNet-MoE: Brain-Inspired Mixture-of-Experts Learning for Neurological Disease Identification [31.45078414913088]
Lewy body dementia (LBD)はアルツハイマー病に次いで2番目に多い神経変性性認知症である
私たちの研究は、脳のモデリングと診断のためにBrainNet-MoEと呼ばれるシステムレベルの人工ニューラルネットワークをモデル化する先駆的な取り組みを表している。
論文 参考訳(メタデータ) (2025-03-05T22:19:49Z) - A Differentiable Approach to Multi-scale Brain Modeling [3.5874544981360987]
本稿では,脳シミュレータBrainPyを用いたマルチスケール微分脳モデリングワークフローを提案する。
単一ニューロンレベルでは、微分可能なニューロンモデルを実装し、電気生理学的データへの適合を最適化するために勾配法を用いる。
ネットワークレベルでは、生物学的に制約されたネットワークモデルを構築するためにコネクトロミックデータを組み込む。
論文 参考訳(メタデータ) (2024-06-28T07:41:31Z) - BrainSegFounder: Towards 3D Foundation Models for Neuroimage Segmentation [6.5388528484686885]
本研究は,医療基盤モデルの創出に向けた新しいアプローチを紹介する。
本稿では,視覚変換器を用いた2段階事前学習手法を提案する。
BrainFounderは、これまでの勝利ソリューションの成果を上回る、大幅なパフォーマンス向上を実演している。
論文 参考訳(メタデータ) (2024-06-14T19:49:45Z) - A Foundation Model for Brain Lesion Segmentation with Mixture of Modality Experts [3.208907282505264]
本稿では3次元脳病変分割のための普遍的基礎モデルを提案する。
我々は,様々な画像モダリティに対応する複数のエキスパートネットワークを備えた,新しいMixture of Modality Experts (MoME) フレームワークを定式化する。
我々のモデルは最先端のユニバーサルモデルより優れており、目に見えないデータセットに有望な一般化を提供する。
論文 参考訳(メタデータ) (2024-05-16T16:49:20Z) - MindBridge: A Cross-Subject Brain Decoding Framework [60.58552697067837]
脳の復号化は、獲得した脳信号から刺激を再構築することを目的としている。
現在、脳の復号化はモデルごとのオブジェクトごとのパラダイムに限られている。
我々は,1つのモデルのみを用いることで,オブジェクト間脳デコーディングを実現するMindBridgeを提案する。
論文 参考訳(メタデータ) (2024-04-11T15:46:42Z) - Modality-Aware and Shift Mixer for Multi-modal Brain Tumor Segmentation [12.094890186803958]
マルチモーダル画像のモダリティ内依存性とモダリティ間依存性を統合した新しいModality Aware and Shift Mixerを提案する。
具体的には,低レベルのモザイク対関係をモデル化するためのニューロイメージング研究に基づいてModality-Awareモジュールを導入し,モザイクパターンを具体化したModality-Shiftモジュールを開発し,高レベルのモザイク間の複雑な関係を自己注意を通して探索する。
論文 参考訳(メタデータ) (2024-03-04T14:21:51Z) - UniBrain: Universal Brain MRI Diagnosis with Hierarchical
Knowledge-enhanced Pre-training [66.16134293168535]
我々はUniBrainと呼ばれるユニバーサル脳MRI診断のための階層的知識強化事前訓練フレームワークを提案する。
具体的には、UniBrainは、定期的な診断から24,770のイメージレポートペアの大規模なデータセットを活用する。
論文 参考訳(メタデータ) (2023-09-13T09:22:49Z) - Incomplete Multimodal Learning for Complex Brain Disorders Prediction [65.95783479249745]
本稿では,変換器と生成対向ネットワークを用いた不完全なマルチモーダルデータ統合手法を提案する。
アルツハイマー病神経画像イニシアチブコホートを用いたマルチモーダルイメージングによる認知変性と疾患予後の予測に本手法を適用した。
論文 参考訳(メタデータ) (2023-05-25T16:29:16Z) - Patched Diffusion Models for Unsupervised Anomaly Detection in Brain MRI [55.78588835407174]
本稿では,正常脳解剖のパッチベース推定法として拡散モデルの生成タスクを再構築する手法を提案する。
腫瘍と多発性硬化症について検討し,既存のベースラインと比較して25.1%の改善がみられた。
論文 参考訳(メタデータ) (2023-03-07T09:40:22Z) - Multimodal foundation models are better simulators of the human brain [65.10501322822881]
1500万の画像テキストペアを事前訓練した,新たに設計されたマルチモーダル基礎モデルを提案する。
視覚的エンコーダも言語的エンコーダもマルチモーダルで訓練され,脳に近いことが判明した。
論文 参考訳(メタデータ) (2022-08-17T12:36:26Z) - Cross-Modality Deep Feature Learning for Brain Tumor Segmentation [158.8192041981564]
本稿では, マルチモーダルMRIデータから脳腫瘍を抽出するクロスモーダルディープ・フィーチャーラーニング・フレームワークを提案する。
中心となる考え方は、不十分なデータスケールを補うために、マルチモダリティデータにまたがる豊富なパターンをマイニングすることだ。
on the BraTS benchmarks, this proposed cross-modality deep feature learning framework could effective improve the brain tumor segmentation performance。
論文 参考訳(メタデータ) (2022-01-07T07:46:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。