論文の概要: An Explainable Deep Framework: Towards Task-Specific Fusion for
Multi-to-One MRI Synthesis
- arxiv url: http://arxiv.org/abs/2307.00885v1
- Date: Mon, 3 Jul 2023 09:31:50 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-05 13:38:48.962166
- Title: An Explainable Deep Framework: Towards Task-Specific Fusion for
Multi-to-One MRI Synthesis
- Title(参考訳): 説明可能な深い枠組み:マルチトゥワンmri合成のためのタスク特異的融合に向けて
- Authors: Luyi Han, Tianyu Zhang, Yunzhi Huang, Haoran Dou, Xin Wang, Yuan Gao,
Chunyao Lu, Tan Tao, Ritse Mann
- Abstract要約: マルチシーケンスMRIは信頼性診断と治療予後の診断に有用である。
近年の深層学習に基づく手法は、欠落したシーケンス合成のために複数の利用可能なシーケンスを組み合わせることで、優れた性能を実現している。
本稿では,特定のシーケンス生成タスクに重みを自動的に適応する,説明可能なタスク固有合成ネットワークを提案する。
- 参考スコア(独自算出の注目度): 13.849499699377535
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Multi-sequence MRI is valuable in clinical settings for reliable diagnosis
and treatment prognosis, but some sequences may be unusable or missing for
various reasons. To address this issue, MRI synthesis is a potential solution.
Recent deep learning-based methods have achieved good performance in combining
multiple available sequences for missing sequence synthesis. Despite their
success, these methods lack the ability to quantify the contributions of
different input sequences and estimate the quality of generated images, making
it hard to be practical. Hence, we propose an explainable task-specific
synthesis network, which adapts weights automatically for specific sequence
generation tasks and provides interpretability and reliability from two sides:
(1) visualize the contribution of each input sequence in the fusion stage by a
trainable task-specific weighted average module; (2) highlight the area the
network tried to refine during synthesizing by a task-specific attention
module. We conduct experiments on the BraTS2021 dataset of 1251 subjects, and
results on arbitrary sequence synthesis indicate that the proposed method
achieves better performance than the state-of-the-art methods. Our code is
available at \url{https://github.com/fiy2W/mri_seq2seq}.
- Abstract(参考訳): マルチシーケンスMRIは、診断や治療の信頼性を高めるために臨床的に有用であるが、いくつかのシーケンスは様々な理由で使用できない、あるいは欠落している可能性がある。
この問題に対処するため、MRI合成は潜在的な解決策である。
近年の深層学習に基づく手法は、欠落したシーケンス合成のために複数の利用可能なシーケンスを組み合わせることで優れた性能を実現している。
その成功にもかかわらず、これらの方法は異なる入力シーケンスの貢献を定量化し、生成された画像の品質を推定する能力に欠けており、実用的ではない。
そこで,本研究では,各入力シーケンスのコントリビューションを,トレーニング可能なタスク固有重み付き平均モジュールによって可視化し,タスク固有アテンションモジュールによる合成中にネットワークが洗練しようとした領域をハイライトする,という2つの側面から,重みを自動的に適用し,解釈可能性と信頼性を提供する,説明可能なタスク固有合成ネットワークを提案する。
1251人の被験者のBraTS2021データセット上で実験を行い、任意のシーケンス合成の結果、提案手法が最先端手法よりも優れた性能を実現することを示す。
我々のコードは \url{https://github.com/fiy2W/mri_seq2seq} で入手できる。
関連論文リスト
- Non-Adversarial Learning: Vector-Quantized Common Latent Space for Multi-Sequence MRI [15.4894593374853]
本稿では,各列の離散表現を圧縮し,列間の共通潜在空間のガウス分布を推定する生成モデルを提案する。
BraTS2021データセットを用いた実験では、我々の非敵モデルは他のGANベースの手法よりも優れていた。
論文 参考訳(メタデータ) (2024-07-03T08:37:01Z) - Comprehensive Generative Replay for Task-Incremental Segmentation with Concurrent Appearance and Semantic Forgetting [49.87694319431288]
一般的なセグメンテーションモデルは、異なる画像ソースからの様々なオブジェクトを含む様々なタスクに対して、ますます好まれている。
画像とマスクのペアを合成することで外観と意味の知識を復元する包括的生成(CGR)フレームワークを提案する。
漸進的タスク(心身、基礎、前立腺のセグメンテーション)の実験は、同時出現と意味的忘れを緩和する上で、明らかな優位性を示している。
論文 参考訳(メタデータ) (2024-06-28T10:05:58Z) - A Unified Framework for Synthesizing Multisequence Brain MRI via Hybrid Fusion [4.47838172826189]
我々はHF-GAN(Hybrid Fusion GAN)と呼ばれる,マルチシーケンスMR画像の合成のための新しい統合フレームワークを提案する。
本稿では,相補的情報と相補的情報との絡み合った抽出を確実にするためのハイブリッド核融合エンコーダを提案する。
共通特徴表現は、欠落したMR配列を合成するために、モダリティ注入器を介してターゲット潜在空間に変換される。
論文 参考訳(メタデータ) (2024-06-21T08:06:00Z) - Bi-Modality Medical Image Synthesis Using Semi-Supervised Sequential
Generative Adversarial Networks [35.358653509217994]
本稿では,GANと半教師付き学習に基づく双方向医療画像合成手法を提案する。
提案手法は, 2つのモードの画像を逐次的に合成する2つの生成モジュールから構成される。
視覚的および定量的な結果から,本手法が最先端手法よりも優れていることを示す。
論文 参考訳(メタデータ) (2023-08-27T10:39:33Z) - Object Segmentation by Mining Cross-Modal Semantics [68.88086621181628]
マルチモーダル特徴の融合と復号を導くために,クロスモーダル・セマンティックスをマイニングする手法を提案する。
具体的には,(1)全周減衰核融合(AF),(2)粗大デコーダ(CFD),(3)多層自己超越からなる新しいネットワークXMSNetを提案する。
論文 参考訳(メタデータ) (2023-05-17T14:30:11Z) - Synthesis-based Imaging-Differentiation Representation Learning for
Multi-Sequence 3D/4D MRI [16.725225424047256]
画像差分表現学習のためのシーケンス・ツー・シーケンス生成フレームワーク(Seq2Seq)を提案する。
本研究では、1つのモデル内で任意の3D/4Dシーケンスを生成し、任意のターゲットシーケンスを生成するだけでなく、各シーケンスの重要性をランク付けする。
我々は,2万名の模擬被験者のおもちゃデータセット,1,251名の脳MRIデータセット,2,101名の乳房MRIデータセットを含む3つのデータセットを用いて広範な実験を行った。
論文 参考訳(メタデータ) (2023-02-01T15:37:35Z) - Multi-scale Transformer Network with Edge-aware Pre-training for
Cross-Modality MR Image Synthesis [52.41439725865149]
クロスモダリティ磁気共鳴(MR)画像合成は、与えられたモダリティから欠落するモダリティを生成するために用いられる。
既存の(教師付き学習)手法は、効果的な合成モデルを訓練するために、多くのペア化されたマルチモーダルデータを必要とすることが多い。
マルチスケールトランスフォーマーネットワーク(MT-Net)を提案する。
論文 参考訳(メタデータ) (2022-12-02T11:40:40Z) - Mutual Exclusivity Training and Primitive Augmentation to Induce
Compositionality [84.94877848357896]
最近のデータセットは、標準的なシーケンス・ツー・シーケンスモデルにおける体系的な一般化能力の欠如を露呈している。
本稿では,セq2seqモデルの振る舞いを分析し,相互排他バイアスの欠如と全例を記憶する傾向の2つの要因を同定する。
広範に使用されている2つの構成性データセット上で、標準的なシーケンス・ツー・シーケンスモデルを用いて、経験的改善を示す。
論文 参考訳(メタデータ) (2022-11-28T17:36:41Z) - A Novel Unified Conditional Score-based Generative Framework for
Multi-modal Medical Image Completion [54.512440195060584]
我々は、スコアベース生成モデル(SGM)を活用するために、統一多モードスコアベース生成モデル(UMM-CSGM)を提案する。
UMM-CSGMは、新しいマルチインマルチアウトコンディションスコアネットワーク(mm-CSN)を用いて、クロスモーダル条件分布の包括的集合を学習する。
BraTS19データセットの実験により、UMM-CSGMは腫瘍誘発病変における不均一な増強と不規則な領域をより確実に合成できることが示された。
論文 参考訳(メタデータ) (2022-07-07T16:57:21Z) - Modality Completion via Gaussian Process Prior Variational Autoencoders
for Multi-Modal Glioma Segmentation [75.58395328700821]
本稿では,患者スキャンに欠落するサブモダリティを1つ以上のインプットするために,MGP-VAE(Multi-modal Gaussian Process Prior Variational Autoencoder)を提案する。
MGP-VAEは、変分オートエンコーダ(VAE)に先立ってガウス過程(GP)を利用して、被験者/患者およびサブモダリティ相関を利用することができる。
4つのサブモダリティのうち2つ、または3つが欠落している脳腫瘍に対するMGP-VAEの適用性を示す。
論文 参考訳(メタデータ) (2021-07-07T19:06:34Z) - Deep Learning based Multi-modal Computing with Feature Disentanglement
for MRI Image Synthesis [8.363448006582065]
本稿では,MRI合成のための深層学習に基づくマルチモーダル計算モデルを提案する。
提案手法は,各入力モダリティを,共有情報と特定の情報を持つモダリティ固有空間で分割する。
テストフェーズにおける目標モダリティの特定情報の欠如に対処するために、局所適応融合(laf)モジュールを採用してモダリティライクな擬似ターゲットを生成する。
論文 参考訳(メタデータ) (2021-05-06T17:22:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。