論文の概要: Boosting Dermatoscopic Lesion Segmentation via Diffusion Models with
Visual and Textual Prompts
- arxiv url: http://arxiv.org/abs/2310.02906v1
- Date: Wed, 4 Oct 2023 15:43:26 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-05 14:20:11.782981
- Title: Boosting Dermatoscopic Lesion Segmentation via Diffusion Models with
Visual and Textual Prompts
- Title(参考訳): 視覚的およびテキスト的プロンプトを用いた拡散モデルによる皮膚内視鏡的病変分割の促進
- Authors: Shiyi Du, Xiaosong Wang, Yongyi Lu, Yuyin Zhou, Shaoting Zhang, Alan
Yuille, Kang Li, and Zongwei Zhou
- Abstract要約: 我々は、病変特異的な視覚的およびテキスト的プロンプトを用いた制御フローを追加して、生成モデルの最新の進歩に適応する。
SSIM画像の品質測定では9%以上,Dice係数は5%以上向上する。
- 参考スコア(独自算出の注目度): 27.222844687360823
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Image synthesis approaches, e.g., generative adversarial networks, have been
popular as a form of data augmentation in medical image analysis tasks. It is
primarily beneficial to overcome the shortage of publicly accessible data and
associated quality annotations. However, the current techniques often lack
control over the detailed contents in generated images, e.g., the type of
disease patterns, the location of lesions, and attributes of the diagnosis. In
this work, we adapt the latest advance in the generative model, i.e., the
diffusion model, with the added control flow using lesion-specific visual and
textual prompts for generating dermatoscopic images. We further demonstrate the
advantage of our diffusion model-based framework over the classical generation
models in both the image quality and boosting the segmentation performance on
skin lesions. It can achieve a 9% increase in the SSIM image quality measure
and an over 5% increase in Dice coefficients over the prior arts.
- Abstract(参考訳): 画像合成手法、例えば生成的逆ネットワークは、医療画像分析タスクにおけるデータ拡張の一形態として人気がある。
公開アクセス可能なデータと関連する品質アノテーションの不足を克服することは、主に有益である。
しかし、現在の技術は、しばしば生成された画像の詳細な内容、例えば、疾患パターンの種類、病変の位置、診断の属性の制御を欠いている。
本研究では,皮膚鏡画像生成のための病巣特異的視覚プロンプトとテキスト的プロンプトを用いた制御フローの追加により,生成モデルの最新の進歩,すなわち拡散モデルを適用する。
さらに, 従来の生成モデルと比較して, 画像品質と皮膚病変におけるセグメンテーション性能の向上において, 拡散モデルに基づくフレームワークの利点を実証する。
ssim画像品質測定値の9%向上と、先行技術に対するサイコロ係数の5%超向上を達成できる。
関連論文リスト
- Learned representation-guided diffusion models for large-image
generation [60.698616089211505]
自己教師型学習(SSL)からの埋め込みを条件とした拡散モデルを訓練する新しいアプローチを導入する。
我々の拡散モデルは、これらの特徴を高品質な病理組織学およびリモートセンシング画像に投影することに成功した。
実画像のバリエーションを生成して実データを増やすことにより、パッチレベルおよび大規模画像分類タスクの下流精度が向上する。
論文 参考訳(メタデータ) (2023-12-12T14:45:45Z) - EMIT-Diff: Enhancing Medical Image Segmentation via Text-Guided
Diffusion Model [4.057796755073023]
EMIT-Diffと呼ばれる医用画像合成のための制御可能な拡散モデルを開発した。
近年の拡散確率モデルを利用して、現実的で多様な合成医用画像データを生成する。
提案手法では, 合成試料が医療上の制約に適合することを確実にする。
論文 参考訳(メタデータ) (2023-10-19T16:18:02Z) - Introducing Shape Prior Module in Diffusion Model for Medical Image
Segmentation [7.7545714516743045]
拡散確率モデル(DDPM)を利用したVerseDiff-UNetというエンドツーエンドフレームワークを提案する。
我々のアプローチは拡散モデルを標準のU字型アーキテクチャに統合する。
本手法はX線画像から得られた脊椎画像の1つのデータセットを用いて評価する。
論文 参考訳(メタデータ) (2023-09-12T03:05:00Z) - Performance of GAN-based augmentation for deep learning COVID-19 image
classification [57.1795052451257]
ディープラーニングを医療分野に適用する上で最大の課題は、トレーニングデータの提供である。
データ拡張は、限られたデータセットに直面した時に機械学習で使用される典型的な方法論である。
本研究は, 新型コロナウイルスの胸部X線画像セットを限定して, StyleGAN2-ADAモデルを用いて訓練するものである。
論文 参考訳(メタデータ) (2023-04-18T15:39:58Z) - Diffusion Models as Masked Autoencoders [52.442717717898056]
拡散モデルに対する近年の関心を踏まえて、生成的に事前学習された視覚表現を再考する。
拡散モデルによる直接事前学習では強い表現は得られないが、マスク付き入力上での拡散モデルと公式拡散モデルをマスク付きオートエンコーダ(DiffMAE)として条件付ける。
設計選択の長所と短所について包括的な研究を行い、拡散モデルとマスク付きオートエンコーダ間の接続を構築する。
論文 参考訳(メタデータ) (2023-04-06T17:59:56Z) - ViT-DAE: Transformer-driven Diffusion Autoencoder for Histopathology
Image Analysis [4.724009208755395]
高品質な病理画像合成のための視覚変換器(ViT)と拡散オートエンコーダを統合したViT-DAEを提案する。
提案手法は, 実写画像生成におけるGAN法とバニラDAE法より優れている。
論文 参考訳(メタデータ) (2023-04-03T15:00:06Z) - Trade-offs in Fine-tuned Diffusion Models Between Accuracy and
Interpretability [5.865936619867771]
生成拡散モデルにおける従来の計測値とモデル解釈可能性による画像の忠実度との間に連続的なトレードオフが生じる。
我々は、真に解釈可能な生成モデルを開発するための設計原則のセットを提示する。
論文 参考訳(メタデータ) (2023-03-31T09:11:26Z) - MedSegDiff-V2: Diffusion based Medical Image Segmentation with
Transformer [53.575573940055335]
我々は、MedSegDiff-V2と呼ばれるトランスフォーマーベースの拡散フレームワークを提案する。
画像の異なる20種類の画像分割作業において,その有効性を検証する。
論文 参考訳(メタデータ) (2023-01-19T03:42:36Z) - Diffusion-based Data Augmentation for Skin Disease Classification:
Impact Across Original Medical Datasets to Fully Synthetic Images [2.5075774184834803]
深層ニューラルネットワークは、過度な適合を避けるために、依然として大量のトレーニングデータに依存している。
医療のような現実世界のアプリケーションのためのラベル付きトレーニングデータには制限があり、アクセスが困難である。
我々は,我々の大脳皮質皮膚疾患データセットのトレーニングサンプルを増強する上で,テキスト・画像拡散確率モデルの成功を生かした。
論文 参考訳(メタデータ) (2023-01-12T04:22:23Z) - Variational Knowledge Distillation for Disease Classification in Chest
X-Rays [102.04931207504173]
我々は,X線に基づく疾患分類のための新しい確率的推論フレームワークである反復的知識蒸留(VKD)を提案する。
提案手法の有効性を,X線画像とEHRを用いた3つの公開ベンチマークデータセットに示す。
論文 参考訳(メタデータ) (2021-03-19T14:13:56Z) - Pathological Retinal Region Segmentation From OCT Images Using Geometric
Relation Based Augmentation [84.7571086566595]
本稿では,幾何学と形状の内在的関係を共同で符号化することで,従来のGANベースの医用画像合成法よりも優れた手法を提案する。
提案手法は,取得手順の異なる画像を有する公開RETOUCHデータセット上で,最先端のセグメンテーション手法より優れている。
論文 参考訳(メタデータ) (2020-03-31T11:50:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。