論文の概要: Cascaded Multi-path Shortcut Diffusion Model for Medical Image Translation
- arxiv url: http://arxiv.org/abs/2405.12223v2
- Date: Wed, 7 Aug 2024 02:51:50 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-08 15:15:51.348214
- Title: Cascaded Multi-path Shortcut Diffusion Model for Medical Image Translation
- Title（参考訳）: 医用画像翻訳のためのカスケードマルチパスショートカット拡散モデル
- Authors: Yinchi Zhou, Tianqi Chen, Jun Hou, Huidong Xie, Nicha C. Dvornek, S. Kevin Zhou, David L. Wilson, James S. Duncan, Chi Liu, Bo Zhou,
- Abstract要約: 高品質な医用画像翻訳と不確実性推定のためのカスケードマルチパスショートカット拡散モデル(CMDM)を提案する。
実験の結果,CMDMは最先端の手法に匹敵する高品質な翻訳を実現できることがわかった。
- 参考スコア（独自算出の注目度）: 26.67518950976257
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Image-to-image translation is a vital component in medical imaging processing, with many uses in a wide range of imaging modalities and clinical scenarios. Previous methods include Generative Adversarial Networks (GANs) and Diffusion Models (DMs), which offer realism but suffer from instability and lack uncertainty estimation. Even though both GAN and DM methods have individually exhibited their capability in medical image translation tasks, the potential of combining a GAN and DM to further improve translation performance and to enable uncertainty estimation remains largely unexplored. In this work, we address these challenges by proposing a Cascade Multi-path Shortcut Diffusion Model (CMDM) for high-quality medical image translation and uncertainty estimation. To reduce the required number of iterations and ensure robust performance, our method first obtains a conditional GAN-generated prior image that will be used for the efficient reverse translation with a DM in the subsequent step. Additionally, a multi-path shortcut diffusion strategy is employed to refine translation results and estimate uncertainty. A cascaded pipeline further enhances translation quality, incorporating residual averaging between cascades. We collected three different medical image datasets with two sub-tasks for each dataset to test the generalizability of our approach. Our experimental results found that CMDM can produce high-quality translations comparable to state-of-the-art methods while providing reasonable uncertainty estimations that correlate well with the translation error.
- Abstract（参考訳）: 画像から画像への変換は、医療画像処理において重要な要素であり、様々な画像モダリティや臨床シナリオに多くの用途がある。
従来の手法としては、GAN(Generative Adversarial Networks)やDM(Diffusion Models)がある。
医用画像翻訳作業において, GAN と DM の両手法が個別にその能力を示したが, GAN と DM を組み合わせて翻訳性能を向上し,不確実性評価を可能にする可能性はほとんど未検討のままである。
本稿では,高品質な医用画像翻訳と不確実性推定のためのカスケードマルチパスショートカット拡散モデル(CMDM)を提案することで,これらの課題に対処する。
所要回数の削減とロバストな性能を確保するため,本手法はまず,DMによる効率的な逆変換に使用される条件付きGAN生成先行画像を得る。
さらに、翻訳結果を洗練し、不確実性を推定するために、マルチパスショートカット拡散戦略を用いる。
カスケードパイプラインは、カスケード間の残留平均化を組み込んだ翻訳品質をさらに向上させる。
それぞれのデータセットに2つのサブタスクを持つ3つの異なる医用画像データセットを収集し、アプローチの一般化性を検証する。
実験の結果,CMDMは最先端の手法に匹敵する高品質な翻訳を生成できることがわかった。
関連論文リスト
- Transfusion: Predict the Next Token and Diffuse Images with One Multi-Modal Model [101.65105730838346]
離散的かつ連続的なデータに対してマルチモーダルモデルをトレーニングするためのレシピであるTransfusionを紹介する。
我々はテキストと画像の混合データに基づいて,テキストから最大7Bパラメータまでの複数のTransfusionモデルを事前訓練する。
実験の結果,Transfusionは画像の定量化や個別画像トークンによる言語モデルの訓練よりも,はるかに優れたスケールを実現していることがわかった。
論文 参考訳（メタデータ） (2024-08-20T17:48:20Z) - Adapting Visual-Language Models for Generalizable Anomaly Detection in Medical Images [68.42215385041114]
本稿では,CLIPモデルを用いた医用異常検出のための軽量な多レベル適応と比較フレームワークを提案する。
提案手法では,複数の残像アダプタを事前学習した視覚エンコーダに統合し,視覚的特徴の段階的向上を実現する。
医学的異常検出ベンチマーク実験により,本手法が現在の最先端モデルを大幅に上回っていることが示された。
論文 参考訳（メタデータ） (2024-03-19T09:28:19Z) - Uncertainty Estimation in Contrast-Enhanced MR Image Translation with
Multi-Axis Fusion [6.727287631338148]
我々は,新しいモデル不確実性定量化手法であるマルチ軸核融合(MAF)を提案する。
提案手法は,T1,T2,T2-FLAIRスキャンに基づくコントラスト強調T1強調画像の合成に応用される。
論文 参考訳（メタデータ） (2023-11-20T20:09:48Z) - C^2M-DoT: Cross-modal consistent multi-view medical report generation
with domain transfer network [67.97926983664676]
ドメイン転送ネットワーク(C2M-DoT)を用いたクロスモーダルなマルチビュー医療レポート生成を提案する。
C2M-DoTは、すべてのメトリクスで最先端のベースラインを大幅に上回る。
論文 参考訳（メタデータ） (2023-10-09T02:31:36Z) - Zero-shot Medical Image Translation via Frequency-Guided Diffusion
Models [9.15810015583615]
構造保存画像変換のための拡散モデルを導出するために周波数領域フィルタを用いた周波数誘導拡散モデル(FGDM)を提案する。
その設計に基づいて、FGDMはゼロショット学習を可能にし、ターゲットドメインのデータのみに基づいてトレーニングし、ソース・ツー・ターゲットドメインの変換に直接使用することができる。
FGDMは、Frechet Inception Distance(FID)、Peak Signal-to-Noise Ratio(PSNR)、および構造的類似性の測定値において、最先端手法(GANベース、VAEベース、拡散ベース)よりも優れていた
論文 参考訳（メタデータ） (2023-04-05T20:47:40Z) - Tackling Ambiguity with Images: Improved Multimodal Machine Translation
and Contrastive Evaluation [72.6667341525552]
本稿では,ニューラルアダプターとガイド付き自己注意機構を用いた,強いテキストのみのMTモデルに基づく新しいMT手法を提案する。
また,不明瞭な文とその翻訳が可能なコントラスト型多モーダル翻訳評価セットであるCoMMuTEについても紹介する。
提案手法は, 標準英語-フランス語, 英語-ドイツ語, 英語-チェコ語のベンチマークにおいて, 強いテキストのみのモデルと比較して, 競争力のある結果が得られる。
論文 参考訳（メタデータ） (2022-12-20T10:18:18Z) - Unsupervised Medical Image Translation with Adversarial Diffusion Models [0.2770822269241974]
ソース・トゥ・ターゲット・モダリティ変換による画像の欠落の計算は、医用画像プロトコルの多様性を向上させることができる。
本稿では, 医用画像翻訳の性能向上のための逆拡散モデルであるSynDiffを提案する。
論文 参考訳（メタデータ） (2022-07-17T15:53:24Z) - Harmonizing Pathological and Normal Pixels for Pseudo-healthy Synthesis [68.5287824124996]
そこで本研究では,新しいタイプの識別器であるセグメンタを提案し,病変の正確な特定と擬似健康画像の視覚的品質の向上を図っている。
医用画像強調に生成画像を適用し,低コントラスト問題に対処するために拡張結果を利用する。
BraTSのT2モダリティに関する総合的な実験により、提案手法は最先端の手法よりも大幅に優れていることが示された。
論文 参考訳（メタデータ） (2022-03-29T08:41:17Z) - Modelling Latent Translations for Cross-Lingual Transfer [47.61502999819699]
従来のパイプラインの2つのステップ(翻訳と分類)を1つのモデルに統合する新しい手法を提案する。
我々は,多言語NLUタスクにおける新しい潜時翻訳モデルの評価を行った。
ゼロショットと数ショットの学習設定の両方で、平均2.7の精度ポイントのゲインを報告します。
論文 参考訳（メタデータ） (2021-07-23T17:11:27Z) - Uncertainty-Guided Progressive GANs for Medical Image Translation [37.95176881950121]
画像から画像への翻訳は、様々な医療画像のタスクに取り組む上で重要な役割を担っている。
画像から画像への変換のための不確実性誘導型プログレッシブラーニング手法を提案する。
医用画像翻訳の課題3つの課題に対して,本モデルの有効性を実証した。
論文 参考訳（メタデータ） (2021-06-29T16:26:12Z) - Flow-based Deformation Guidance for Unpaired Multi-Contrast MRI
Image-to-Image Translation [7.8333615755210175]
本稿では,非可逆的アーキテクチャに基づく画像と画像の非対角変換に対する新しいアプローチを提案する。
我々は、連続スライス間の時間的情報を利用して、不適切な医療画像において、あるドメインを別のドメインに変換する最適化により多くの制約を与える。
論文 参考訳（メタデータ） (2020-12-03T09:10:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。