論文の概要: Feasibility and benefits of joint learning from MRI databases with different brain diseases and modalities for segmentation
- arxiv url: http://arxiv.org/abs/2405.18511v1
- Date: Tue, 28 May 2024 18:28:10 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-30 22:03:07.188426
- Title: Feasibility and benefits of joint learning from MRI databases with different brain diseases and modalities for segmentation
- Title(参考訳): 脳疾患とセグメンテーションのためのMRIデータベースを用いた共同学習の可能性とメリット
- Authors: Wentian Xu, Matthew Moffat, Thalia Seale, Ziyun Liang, Felix Wagner, Daniel Whitehouse, David Menon, Virginia Newcombe, Natalie Voets, Abhirup Banerjee, Konstantinos Kamnitsas,
- Abstract要約: 脳の病態やモダリティのセットが異なるマルチモーダルMRIデータベースのジョイントトレーニングが実現可能であり,実用的利益をもたらすことを示す。
単一のモデルで、様々なモダリティのセットでトレーニング中に遭遇した病理を分割することができる。
- 参考スコア(独自算出の注目度): 2.7575121770012503
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Models for segmentation of brain lesions in multi-modal MRI are commonly trained for a specific pathology using a single database with a predefined set of MRI modalities, determined by a protocol for the specific disease. This work explores the following open questions: Is it feasible to train a model using multiple databases that contain varying sets of MRI modalities and annotations for different brain pathologies? Will this joint learning benefit performance on the sets of modalities and pathologies available during training? Will it enable analysis of new databases with different sets of modalities and pathologies? We develop and compare different methods and show that promising results can be achieved with appropriate, simple and practical alterations to the model and training framework. We experiment with 7 databases containing 5 types of brain pathologies and different sets of MRI modalities. Results demonstrate, for the first time, that joint training on multi-modal MRI databases with different brain pathologies and sets of modalities is feasible and offers practical benefits. It enables a single model to segment pathologies encountered during training in diverse sets of modalities, while facilitating segmentation of new types of pathologies such as via follow-up fine-tuning. The insights this study provides into the potential and limitations of this paradigm should prove useful for guiding future advances in the direction. Code and pretrained models: https://github.com/WenTXuL/MultiUnet
- Abstract(参考訳): マルチモーダルMRIにおける脳病変のセグメンテーションモデルは通常、特定の疾患のプロトコルによって決定されるMRIモダリティのセットが予め定義された単一のデータベースを用いて、特定の病理のために訓練される。
さまざまなMRIモダリティとさまざまな脳病理のためのアノテーションを含む複数のデータベースを使用してモデルをトレーニングすることは可能か?
この共同学習は、トレーニング中に利用可能なモダリティと病理のセットのパフォーマンスに恩恵をもたらすだろうか?
モダリティと病理の異なる新しいデータベースを解析することは可能だろうか?
我々は、様々な手法を開発し、比較し、モデルとトレーニングフレームワークに適切な、シンプルで実践的な変更を加えることで、有望な結果が得られることを示す。
われわれは5種類の脳病理と異なるMRIモダリティを含む7つのデータベースを実験した。
その結果、異なる脳病理と一連のモダリティを持つマルチモーダルMRIデータベースのジョイントトレーニングが実現可能であり、実用的な利点をもたらすことが初めて示された。
これにより、トレーニング中に遭遇した病理を様々なモダリティのセットで分割し、フォローアップファインタニングのような新しいタイプの病理を分割することが可能になる。
本研究は, このパラダイムの可能性と限界を考察し, 今後の方向性を導く上で有用であることが示唆された。
コードおよび事前訓練されたモデル:https://github.com/WenTXuL/MultiUnet
関連論文リスト
- Feasibility of Federated Learning from Client Databases with Different Brain Diseases and MRI Modalities [5.629645463085369]
MRIの脳病変のモデルは通常、特定の疾患のために開発され、事前に定義されたMRIモダリティのセットでデータに基づいて訓練される。
それぞれのモデルでは、MRIの異なるデータを使って疾患を分類することはできないし、他の種類の疾患も分類できない。
我々は、フェデレートラーニングフレームワークが、トレーニング中に見られるすべての疾患の分類において非常に有望な、単一のモデルをトレーニングできることを示します。
論文 参考訳(メタデータ) (2024-06-17T15:16:18Z) - Enhancing Incomplete Multi-modal Brain Tumor Segmentation with Intra-modal Asymmetry and Inter-modal Dependency [31.047259264831947]
現実の一般的な問題は、様々なスキャンプロトコルや患者の状態によって、いくつかのモダリティが利用できないことである。
従来の手法では、アクセス可能なマルチモーダルの特徴を融合させ、注意機構を活用し、欠落したモダリティを合成することで、この問題に対処しようと試みてきた。
本稿では,2つの視点から深層学習に基づく脳腫瘍セグメンテーションモデルを提案する。
論文 参考訳(メタデータ) (2024-06-14T16:54:53Z) - MindFormer: Semantic Alignment of Multi-Subject fMRI for Brain Decoding [50.55024115943266]
本稿では,MindFormer を用いたマルチオブジェクト fMRI 信号のセマンティックアライメント手法を提案する。
このモデルは、fMRIから画像生成のための安定拡散モデルや、fMRIからテキスト生成のための大規模言語モデル(LLM)の条件付けに使用できるfMRI条件付き特徴ベクトルを生成するように設計されている。
実験の結果,MindFormerは意味的に一貫した画像とテキストを異なる主題にわたって生成することがわかった。
論文 参考訳(メタデータ) (2024-05-28T00:36:25Z) - A Foundation Model for Brain Lesion Segmentation with Mixture of Modality Experts [3.208907282505264]
本稿では3次元脳病変分割のための普遍的基礎モデルを提案する。
我々は,様々な画像モダリティに対応する複数のエキスパートネットワークを備えた,新しいMixture of Modality Experts (MoME) フレームワークを定式化する。
我々のモデルは最先端のユニバーサルモデルより優れており、目に見えないデータセットに有望な一般化を提供する。
論文 参考訳(メタデータ) (2024-05-16T16:49:20Z) - Incomplete Multimodal Learning for Complex Brain Disorders Prediction [65.95783479249745]
本稿では,変換器と生成対向ネットワークを用いた不完全なマルチモーダルデータ統合手法を提案する。
アルツハイマー病神経画像イニシアチブコホートを用いたマルチモーダルイメージングによる認知変性と疾患予後の予測に本手法を適用した。
論文 参考訳(メタデータ) (2023-05-25T16:29:16Z) - DIGEST: Deeply supervIsed knowledGE tranSfer neTwork learning for brain
tumor segmentation with incomplete multi-modal MRI scans [16.93394669748461]
多モードMRI(Multi-modal magnetic resonance imaging)に基づく脳腫瘍の分節化は、脳腫瘍の診断、治療、術後の評価を支援する重要な役割を担っている。
既存の自動セグメンテーション法によって達成されたインスピレーション性能にもかかわらず、マルチモーダルMRIデータは実際の臨床応用では利用できない。
そこで本研究では,異なる条件下で正確な脳腫瘍セグメント化を実現するDIGEST(Deeply SupervIsed KnowledGE tranSfer neTwork)を提案する。
論文 参考訳(メタデータ) (2022-11-15T09:01:14Z) - Understanding the Tricks of Deep Learning in Medical Image Segmentation:
Challenges and Future Directions [66.40971096248946]
本稿では,モデル実装の異なるフェーズに対して,MedISegの一連のトリックを収集する。
本稿では,これらの手法の有効性を一貫したベースライン上で実験的に検討する。
私たちはまた、それぞれのコンポーネントがプラグインとプレイの利点を持つ強力なMedISegリポジトリをオープンソースにしました。
論文 参考訳(メタデータ) (2022-09-21T12:30:05Z) - MMLN: Leveraging Domain Knowledge for Multimodal Diagnosis [10.133715767542386]
肺疾患診断のための知識駆動型およびデータ駆動型フレームワークを提案する。
本研究は, 臨床医学ガイドラインに従って診断規則を定式化し, テキストデータから規則の重みを学習する。
テキストと画像データからなるマルチモーダル融合は、肺疾患の限界確率を推定するために設計されている。
論文 参考訳(メタデータ) (2022-02-09T04:12:30Z) - Cross-Modality Deep Feature Learning for Brain Tumor Segmentation [158.8192041981564]
本稿では, マルチモーダルMRIデータから脳腫瘍を抽出するクロスモーダルディープ・フィーチャーラーニング・フレームワークを提案する。
中心となる考え方は、不十分なデータスケールを補うために、マルチモダリティデータにまたがる豊富なパターンをマイニングすることだ。
on the BraTS benchmarks, this proposed cross-modality deep feature learning framework could effective improve the brain tumor segmentation performance。
論文 参考訳(メタデータ) (2022-01-07T07:46:01Z) - Modality Completion via Gaussian Process Prior Variational Autoencoders
for Multi-Modal Glioma Segmentation [75.58395328700821]
本稿では,患者スキャンに欠落するサブモダリティを1つ以上のインプットするために,MGP-VAE(Multi-modal Gaussian Process Prior Variational Autoencoder)を提案する。
MGP-VAEは、変分オートエンコーダ(VAE)に先立ってガウス過程(GP)を利用して、被験者/患者およびサブモダリティ相関を利用することができる。
4つのサブモダリティのうち2つ、または3つが欠落している脳腫瘍に対するMGP-VAEの適用性を示す。
論文 参考訳(メタデータ) (2021-07-07T19:06:34Z) - Cross-Modal Information Maximization for Medical Imaging: CMIM [62.28852442561818]
病院では、同じ情報を異なるモダリティの下で利用できるようにする特定の情報システムにデータがサイロ化される。
これは、テスト時に常に利用できないかもしれない同じ情報の複数のビューを列車で取得し、使用するためのユニークな機会を提供する。
テスト時にモダリティの低下に耐性を持つマルチモーダル入力の優れた表現を学習することで、利用可能なデータを最大限活用する革新的なフレームワークを提案する。
論文 参考訳(メタデータ) (2020-10-20T20:05:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。