論文の概要: MouseGAN++: Unsupervised Disentanglement and Contrastive Representation
for Multiple MRI Modalities Synthesis and Structural Segmentation of Mouse
Brain
- arxiv url: http://arxiv.org/abs/2212.01825v1
- Date: Sun, 4 Dec 2022 14:19:49 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-06 18:36:27.058228
- Title: MouseGAN++: Unsupervised Disentanglement and Contrastive Representation
for Multiple MRI Modalities Synthesis and Structural Segmentation of Mouse
Brain
- Title(参考訳): MouseGAN++: マウス脳の複数のMRIモダリティ合成と構造的セグメンテーションのための教師なしアンタングルメントとコントラスト表現
- Authors: Ziqi Yu, Xiaoyang Han, Shengjie Zhang, Jianfeng Feng, Tingying Peng,
Xiao-Yong Zhang
- Abstract要約: マルチモーダルマウスの脳MRIデータは、しばしば欠落しており、マウスの脳の微細構造を自動的に分割することが非常に難しい課題である。
構造保存方式で複数のMRモーダルを合成するために,MormoGAN++という,非交叉型かつコントラスト型のGANベースのフレームワークを提案する。
その後に学習されたモダリティ不変情報とモダリティ変換画像を用いて、マウスGAN++は、平均ダイス係数90.0%(T2w)と87.9%(T1w)の微細脳構造を分割することができる。
- 参考スコア(独自算出の注目度): 4.733517098000804
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Segmenting the fine structure of the mouse brain on magnetic resonance (MR)
images is critical for delineating morphological regions, analyzing brain
function, and understanding their relationships. Compared to a single MRI
modality, multimodal MRI data provide complementary tissue features that can be
exploited by deep learning models, resulting in better segmentation results.
However, multimodal mouse brain MRI data is often lacking, making automatic
segmentation of mouse brain fine structure a very challenging task. To address
this issue, it is necessary to fuse multimodal MRI data to produce
distinguished contrasts in different brain structures. Hence, we propose a
novel disentangled and contrastive GAN-based framework, named MouseGAN++, to
synthesize multiple MR modalities from single ones in a structure-preserving
manner, thus improving the segmentation performance by imputing missing
modalities and multi-modality fusion. Our results demonstrate that the
translation performance of our method outperforms the state-of-the-art methods.
Using the subsequently learned modality-invariant information as well as the
modality-translated images, MouseGAN++ can segment fine brain structures with
averaged dice coefficients of 90.0% (T2w) and 87.9% (T1w), respectively,
achieving around +10% performance improvement compared to the state-of-the-art
algorithms. Our results demonstrate that MouseGAN++, as a simultaneous image
synthesis and segmentation method, can be used to fuse cross-modality
information in an unpaired manner and yield more robust performance in the
absence of multimodal data. We release our method as a mouse brain structural
segmentation tool for free academic usage at https://github.com/yu02019.
- Abstract(参考訳): 磁気共鳴(MR)画像にマウス脳の微細構造を分割することは、形態的領域の描写、脳機能の解析、それらの関係の理解に重要である。
単一のMRIモダリティと比較して、マルチモーダルMRIデータは、深層学習モデルによって活用できる相補的な組織特徴を提供し、より良いセグメンテーション結果をもたらす。
しかし、マルチモーダルマウスの脳mriデータはしばしば不足しており、マウスの脳の微細な構造の自動分割は非常に難しい課題である。
この問題に対処するには、異なる脳構造において異なるコントラストを生成するために、マルチモーダルMRIデータを融合する必要がある。
そこで本研究では,MormoGAN++という,GANをベースとした新しいフレームワークを提案する。このフレームワークは,単一のMRモードを構造保存的に合成し,欠落したモダリティと多モード融合を推算することでセグメント化性能を向上させる。
その結果,本手法の翻訳性能は最先端手法よりも優れていた。
その後学習したモダリティ不変情報とモダリティ変換画像を用いて、mousegan++は平均ディス係数が90.0% (t2w) と87.9% (t1w) の微細な脳構造を分割し、最先端アルゴリズムと比較して約10%のパフォーマンス向上を達成している。
この結果から,MマウスGAN++は画像合成とセグメンテーションを同時に行うことで,不適切な方法でモダリティ情報を融合し,マルチモーダルデータがない場合により堅牢な性能が得られることを示した。
我々は、この手法をマウス脳構造分割ツールとしてリリースし、無料の学術的利用をhttps://github.com/yu02019で提供する。
関連論文リスト
- Disentangled Multimodal Brain MR Image Translation via Transformer-based
Modality Infuser [12.402947207350394]
マルチモーダル脳MR画像の合成を目的としたトランスフォーマーを用いたモダリティインジェクタを提案する。
本手法では,エンコーダからモダリティに依存しない特徴を抽出し,その特徴をモダリティ固有の特徴に変換する。
われわれはBraTS 2018データセットで4つのMRモードを変換する実験を行った。
論文 参考訳(メタデータ) (2024-02-01T06:34:35Z) - fMRI-PTE: A Large-scale fMRI Pretrained Transformer Encoder for
Multi-Subject Brain Activity Decoding [54.17776744076334]
本稿では,fMRI事前学習のための革新的オートエンコーダであるfMRI-PTEを提案する。
我々のアプローチでは、fMRI信号を統合された2次元表現に変換し、次元の整合性を確保し、脳の活動パターンを保存する。
コントリビューションには、fMRI-PTEの導入、革新的なデータ変換、効率的なトレーニング、新しい学習戦略、そして我々のアプローチの普遍的な適用性が含まれる。
論文 参考訳(メタデータ) (2023-11-01T07:24:22Z) - Self-Supervised Neuron Segmentation with Multi-Agent Reinforcement
Learning [53.00683059396803]
マスク画像モデル(MIM)は,マスク画像から元の情報を復元する簡便さと有効性から広く利用されている。
本稿では、強化学習(RL)を利用して最適な画像マスキング比とマスキング戦略を自動検索する決定に基づくMIMを提案する。
本手法は,ニューロン分節の課題において,代替自己監督法に対して有意な優位性を有する。
論文 参考訳(メタデータ) (2023-10-06T10:40:46Z) - BrainCLIP: Bridging Brain and Visual-Linguistic Representation Via CLIP
for Generic Natural Visual Stimulus Decoding [51.911473457195555]
BrainCLIPはタスクに依存しないfMRIベースの脳復号モデルである。
脳の活動、画像、およびテキストの間のモダリティギャップを埋める。
BrainCLIPは、高い意味的忠実度で視覚刺激を再構築することができる。
論文 参考訳(メタデータ) (2023-02-25T03:28:54Z) - DIGEST: Deeply supervIsed knowledGE tranSfer neTwork learning for brain
tumor segmentation with incomplete multi-modal MRI scans [16.93394669748461]
多モードMRI(Multi-modal magnetic resonance imaging)に基づく脳腫瘍の分節化は、脳腫瘍の診断、治療、術後の評価を支援する重要な役割を担っている。
既存の自動セグメンテーション法によって達成されたインスピレーション性能にもかかわらず、マルチモーダルMRIデータは実際の臨床応用では利用できない。
そこで本研究では,異なる条件下で正確な脳腫瘍セグメント化を実現するDIGEST(Deeply SupervIsed KnowledGE tranSfer neTwork)を提案する。
論文 参考訳(メタデータ) (2022-11-15T09:01:14Z) - FAST-AID Brain: Fast and Accurate Segmentation Tool using Artificial
Intelligence Developed for Brain [0.8376091455761259]
ヒト脳の132領域への高速かつ正確なセグメンテーションのための新しい深層学習法を提案する。
提案モデルは、効率的なU-Netライクなネットワークと、異なるビューと階層関係の交差点の利点を利用する。
提案手法は,画像の事前処理や性能低下を伴わずに頭蓋骨や他の人工物を含む脳MRIデータに適用することができる。
論文 参考訳(メタデータ) (2022-08-30T16:06:07Z) - SMU-Net: Style matching U-Net for brain tumor segmentation with missing
modalities [4.855689194518905]
MRI画像における脳腫瘍のセグメント化のためのスタイルマッチングU-Net(SMU-Net)を提案する。
我々の共同学習手法は、コンテンツとスタイルマッチング機構を用いて、全モダリティネットワークから欠落したモダリティネットワークに情報的特徴を蒸留する。
我々のスタイルマッチングモジュールは、一致した関数を学習して表現空間を適応的に再構成し、情報的特徴とテクスチャ的特徴を完全なモダリティパスから欠落モダリティパスに転送する。
論文 参考訳(メタデータ) (2022-04-06T17:55:19Z) - Functional Parcellation of fMRI data using multistage k-means clustering [0.9786690381850356]
クラスタリングはしばしば機能的パーセレーションを生成するために使われる。
本研究では,静止状態とタスクfMRIデータに対するクラスタリングアルゴリズムを提案する。
論文 参考訳(メタデータ) (2022-02-19T20:30:02Z) - Cross-Modality Neuroimage Synthesis: A Survey [71.27193056354741]
マルチモダリティイメージングは、疾患の診断を改善し、解剖学的特性を持つ組織における相違を明らかにする。
完全な整列とペアの多モードニューロイメージングデータの存在は、脳研究においてその効果を証明している。
もう一つの解決策は、教師なしまたは弱教師なしの学習方法を探究し、欠落した神経画像データを合成することである。
論文 参考訳(メタデータ) (2022-02-14T19:29:08Z) - Cross-Modality Deep Feature Learning for Brain Tumor Segmentation [158.8192041981564]
本稿では, マルチモーダルMRIデータから脳腫瘍を抽出するクロスモーダルディープ・フィーチャーラーニング・フレームワークを提案する。
中心となる考え方は、不十分なデータスケールを補うために、マルチモダリティデータにまたがる豊富なパターンをマイニングすることだ。
on the BraTS benchmarks, this proposed cross-modality deep feature learning framework could effective improve the brain tumor segmentation performance。
論文 参考訳(メタデータ) (2022-01-07T07:46:01Z) - Modality Completion via Gaussian Process Prior Variational Autoencoders
for Multi-Modal Glioma Segmentation [75.58395328700821]
本稿では,患者スキャンに欠落するサブモダリティを1つ以上のインプットするために,MGP-VAE(Multi-modal Gaussian Process Prior Variational Autoencoder)を提案する。
MGP-VAEは、変分オートエンコーダ(VAE)に先立ってガウス過程(GP)を利用して、被験者/患者およびサブモダリティ相関を利用することができる。
4つのサブモダリティのうち2つ、または3つが欠落している脳腫瘍に対するMGP-VAEの適用性を示す。
論文 参考訳(メタデータ) (2021-07-07T19:06:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。