Fugu-MT 論文翻訳(概要): MouseGAN++: Unsupervised Disentanglement and Contrastive Representation for Multiple MRI Modalities Synthesis and Structural Segmentation of Mouse Brain

論文の概要: MouseGAN++: Unsupervised Disentanglement and Contrastive Representation for Multiple MRI Modalities Synthesis and Structural Segmentation of Mouse Brain

arxiv url: http://arxiv.org/abs/2212.01825v1
Date: Sun, 4 Dec 2022 14:19:49 GMT
ステータス: 処理完了
システム内更新日: 2022-12-06 18:36:27.058228
Title: MouseGAN++: Unsupervised Disentanglement and Contrastive Representation for Multiple MRI Modalities Synthesis and Structural Segmentation of Mouse Brain
Title（参考訳）: MouseGAN++: マウス脳の複数のMRIモダリティ合成と構造的セグメンテーションのための教師なしアンタングルメントとコントラスト表現
Authors: Ziqi Yu, Xiaoyang Han, Shengjie Zhang, Jianfeng Feng, Tingying Peng, Xiao-Yong Zhang
Abstract要約: マルチモーダルマウスの脳MRIデータは、しばしば欠落しており、マウスの脳の微細構造を自動的に分割することが非常に難しい課題である。構造保存方式で複数のMRモーダルを合成するために,MormoGAN++という,非交叉型かつコントラスト型のGANベースのフレームワークを提案する。その後に学習されたモダリティ不変情報とモダリティ変換画像を用いて、マウスGAN++は、平均ダイス係数90.0%(T2w)と87.9%(T1w)の微細脳構造を分割することができる。
参考スコア（独自算出の注目度）: 4.733517098000804
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Segmenting the fine structure of the mouse brain on magnetic resonance (MR) images is critical for delineating morphological regions, analyzing brain function, and understanding their relationships. Compared to a single MRI modality, multimodal MRI data provide complementary tissue features that can be exploited by deep learning models, resulting in better segmentation results. However, multimodal mouse brain MRI data is often lacking, making automatic segmentation of mouse brain fine structure a very challenging task. To address this issue, it is necessary to fuse multimodal MRI data to produce distinguished contrasts in different brain structures. Hence, we propose a novel disentangled and contrastive GAN-based framework, named MouseGAN++, to synthesize multiple MR modalities from single ones in a structure-preserving manner, thus improving the segmentation performance by imputing missing modalities and multi-modality fusion. Our results demonstrate that the translation performance of our method outperforms the state-of-the-art methods. Using the subsequently learned modality-invariant information as well as the modality-translated images, MouseGAN++ can segment fine brain structures with averaged dice coefficients of 90.0% (T2w) and 87.9% (T1w), respectively, achieving around +10% performance improvement compared to the state-of-the-art algorithms. Our results demonstrate that MouseGAN++, as a simultaneous image synthesis and segmentation method, can be used to fuse cross-modality information in an unpaired manner and yield more robust performance in the absence of multimodal data. We release our method as a mouse brain structural segmentation tool for free academic usage at https://github.com/yu02019.
Abstract（参考訳）: 磁気共鳴(MR)画像にマウス脳の微細構造を分割することは、形態的領域の描写、脳機能の解析、それらの関係の理解に重要である。単一のMRIモダリティと比較して、マルチモーダルMRIデータは、深層学習モデルによって活用できる相補的な組織特徴を提供し、より良いセグメンテーション結果をもたらす。しかし、マルチモーダルマウスの脳mriデータはしばしば不足しており、マウスの脳の微細な構造の自動分割は非常に難しい課題である。この問題に対処するには、異なる脳構造において異なるコントラストを生成するために、マルチモーダルMRIデータを融合する必要がある。そこで本研究では,MormoGAN++という,GANをベースとした新しいフレームワークを提案する。このフレームワークは,単一のMRモードを構造保存的に合成し,欠落したモダリティと多モード融合を推算することでセグメント化性能を向上させる。その結果,本手法の翻訳性能は最先端手法よりも優れていた。その後学習したモダリティ不変情報とモダリティ変換画像を用いて、mousegan++は平均ディス係数が90.0% (t2w) と87.9% (t1w) の微細な脳構造を分割し、最先端アルゴリズムと比較して約10%のパフォーマンス向上を達成している。この結果から,MマウスGAN++は画像合成とセグメンテーションを同時に行うことで,不適切な方法でモダリティ情報を融合し,マルチモーダルデータがない場合により堅牢な性能が得られることを示した。我々は、この手法をマウス脳構造分割ツールとしてリリースし、無料の学術的利用をhttps://github.com/yu02019で提供する。

関連論文リスト

BrainMVP: Multi-modal Vision Pre-training for Brain Image Analysis using Multi-parametric MRI [11.569448567735435]
BrainMVPは、マルチパラメトリックMRIスキャンを用いた脳画像解析のためのマルチモーダルビジョン事前トレーニングフレームワークである。クロスモーダル・コンストラクション(英語版)は、特徴ある脳画像の埋め込みと効率的なモーダル融合能力を学習するために研究されている。ダウンストリームタスクの実験は、医学領域における最先端の事前訓練方法よりも優れた性能を示す。
論文参考訳（メタデータ） (2024-10-14T15:12:16Z)
Multi-Modality Conditioned Variational U-Net for Field-of-View Extension in Brain Diffusion MRI [10.096809077954095]
拡散磁気共鳴イメージング(dMRI)における不完全視野(FOV)は、全脳白質結合の体積および束解析を著しく阻害することができる。 FOVの取得部位における学習拡散特徴を脳解剖学的構造に組み込むことにより, FOVの不完全部分におけるdMRIスキャンを計算するための新しい枠組みを提案する。
論文参考訳（メタデータ） (2024-09-20T18:41:29Z)
MindFormer: Semantic Alignment of Multi-Subject fMRI for Brain Decoding [50.55024115943266]
本稿では,MindFormer を用いたマルチオブジェクト fMRI 信号のセマンティックアライメント手法を提案する。このモデルは、fMRIから画像生成のための安定拡散モデルや、fMRIからテキスト生成のための大規模言語モデル(LLM)の条件付けに使用できるfMRI条件付き特徴ベクトルを生成するように設計されている。実験の結果,MindFormerは意味的に一貫した画像とテキストを異なる主題にわたって生成することがわかった。
論文参考訳（メタデータ） (2024-05-28T00:36:25Z)
NeuroPictor: Refining fMRI-to-Image Reconstruction via Multi-individual Pretraining and Multi-level Modulation [55.51412454263856]
本稿では,fMRI信号を用いた拡散モデル生成過程を直接変調することを提案する。様々な個人から約67,000 fMRI-imageペアのトレーニングを行うことで,fMRI-to-imageデコーディング能力に優れたモデルが得られた。
論文参考訳（メタデータ） (2024-03-27T02:42:52Z)
Disentangled Multimodal Brain MR Image Translation via Transformer-based Modality Infuser [12.402947207350394]
マルチモーダル脳MR画像の合成を目的としたトランスフォーマーを用いたモダリティインジェクタを提案する。本手法では,エンコーダからモダリティに依存しない特徴を抽出し,その特徴をモダリティ固有の特徴に変換する。われわれはBraTS 2018データセットで4つのMRモードを変換する実験を行った。
論文参考訳（メタデータ） (2024-02-01T06:34:35Z)
Self-Supervised Neuron Segmentation with Multi-Agent Reinforcement Learning [53.00683059396803]
マスク画像モデル(MIM)は,マスク画像から元の情報を復元する簡便さと有効性から広く利用されている。本稿では、強化学習(RL)を利用して最適な画像マスキング比とマスキング戦略を自動検索する決定に基づくMIMを提案する。本手法は,ニューロン分節の課題において,代替自己監督法に対して有意な優位性を有する。
論文参考訳（メタデータ） (2023-10-06T10:40:46Z)
BrainCLIP: Bridging Brain and Visual-Linguistic Representation Via CLIP for Generic Natural Visual Stimulus Decoding [51.911473457195555]
BrainCLIPはタスクに依存しないfMRIベースの脳復号モデルである。脳の活動、画像、およびテキストの間のモダリティギャップを埋める。 BrainCLIPは、高い意味的忠実度で視覚刺激を再構築することができる。
論文参考訳（メタデータ） (2023-02-25T03:28:54Z)
DIGEST: Deeply supervIsed knowledGE tranSfer neTwork learning for brain tumor segmentation with incomplete multi-modal MRI scans [16.93394669748461]
多モードMRI(Multi-modal magnetic resonance imaging)に基づく脳腫瘍の分節化は、脳腫瘍の診断、治療、術後の評価を支援する重要な役割を担っている。既存の自動セグメンテーション法によって達成されたインスピレーション性能にもかかわらず、マルチモーダルMRIデータは実際の臨床応用では利用できない。そこで本研究では,異なる条件下で正確な脳腫瘍セグメント化を実現するDIGEST(Deeply SupervIsed KnowledGE tranSfer neTwork)を提案する。
論文参考訳（メタデータ） (2022-11-15T09:01:14Z)
SMU-Net: Style matching U-Net for brain tumor segmentation with missing modalities [4.855689194518905]
MRI画像における脳腫瘍のセグメント化のためのスタイルマッチングU-Net(SMU-Net)を提案する。我々の共同学習手法は、コンテンツとスタイルマッチング機構を用いて、全モダリティネットワークから欠落したモダリティネットワークに情報的特徴を蒸留する。我々のスタイルマッチングモジュールは、一致した関数を学習して表現空間を適応的に再構成し、情報的特徴とテクスチャ的特徴を完全なモダリティパスから欠落モダリティパスに転送する。
論文参考訳（メタデータ） (2022-04-06T17:55:19Z)
Cross-Modality Neuroimage Synthesis: A Survey [71.27193056354741]
マルチモダリティイメージングは、疾患の診断を改善し、解剖学的特性を持つ組織における相違を明らかにする。完全な整列とペアの多モードニューロイメージングデータの存在は、脳研究においてその効果を証明している。もう一つの解決策は、教師なしまたは弱教師なしの学習方法を探究し、欠落した神経画像データを合成することである。
論文参考訳（メタデータ） (2022-02-14T19:29:08Z)
Cross-Modality Deep Feature Learning for Brain Tumor Segmentation [158.8192041981564]
本稿では, マルチモーダルMRIデータから脳腫瘍を抽出するクロスモーダルディープ・フィーチャーラーニング・フレームワークを提案する。中心となる考え方は、不十分なデータスケールを補うために、マルチモダリティデータにまたがる豊富なパターンをマイニングすることだ。 on the BraTS benchmarks, this proposed cross-modality deep feature learning framework could effective improve the brain tumor segmentation performance。
論文参考訳（メタデータ） (2022-01-07T07:46:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。