論文の概要: Boosting Dermatoscopic Lesion Segmentation via Diffusion Models with Visual and Textual Prompts

• arxiv url: http://arxiv.org/abs/2310.02906v1
• Date: Wed, 4 Oct 2023 15:43:26 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-05 14:20:11.782981
• Title: Boosting Dermatoscopic Lesion Segmentation via Diffusion Models with Visual and Textual Prompts
• Title（参考訳）: 視覚的およびテキスト的プロンプトを用いた拡散モデルによる皮膚内視鏡的病変分割の促進
• Authors: Shiyi Du, Xiaosong Wang, Yongyi Lu, Yuyin Zhou, Shaoting Zhang, Alan Yuille, Kang Li, and Zongwei Zhou
• Abstract要約: 我々は、病変特異的な視覚的およびテキスト的プロンプトを用いた制御フローを追加して、生成モデルの最新の進歩に適応する。 SSIM画像の品質測定では9%以上,Dice係数は5%以上向上する。
• 参考スコア（独自算出の注目度）: 27.222844687360823
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Image synthesis approaches, e.g., generative adversarial networks, have been popular as a form of data augmentation in medical image analysis tasks. It is primarily beneficial to overcome the shortage of publicly accessible data and associated quality annotations. However, the current techniques often lack control over the detailed contents in generated images, e.g., the type of disease patterns, the location of lesions, and attributes of the diagnosis. In this work, we adapt the latest advance in the generative model, i.e., the diffusion model, with the added control flow using lesion-specific visual and textual prompts for generating dermatoscopic images. We further demonstrate the advantage of our diffusion model-based framework over the classical generation models in both the image quality and boosting the segmentation performance on skin lesions. It can achieve a 9% increase in the SSIM image quality measure and an over 5% increase in Dice coefficients over the prior arts.
• Abstract（参考訳）: 画像合成手法、例えば生成的逆ネットワークは、医療画像分析タスクにおけるデータ拡張の一形態として人気がある。 公開アクセス可能なデータと関連する品質アノテーションの不足を克服することは、主に有益である。 しかし、現在の技術は、しばしば生成された画像の詳細な内容、例えば、疾患パターンの種類、病変の位置、診断の属性の制御を欠いている。 本研究では,皮膚鏡画像生成のための病巣特異的視覚プロンプトとテキスト的プロンプトを用いた制御フローの追加により,生成モデルの最新の進歩,すなわち拡散モデルを適用する。 さらに, 従来の生成モデルと比較して, 画像品質と皮膚病変におけるセグメンテーション性能の向上において, 拡散モデルに基づくフレームワークの利点を実証する。 ssim画像品質測定値の9%向上と、先行技術に対するサイコロ係数の5%超向上を達成できる。

関連論文リスト

• Image Synthesis with Class-Aware Semantic Diffusion Models for Surgical Scene Segmentation [3.6723640056915436]
  本稿では,データ不足と不均衡に対処するクラスアウェア意味拡散モデル(CASDM)を提案する。 クラス認識平均二乗誤差とクラス認識自己認識損失関数は、重要で目立たないクラスを優先するように定義されている。 我々は、テキストプロンプトを用いて、その内容を特定するために、初めて、新しい方法でマルチクラスセグメンテーションマップを生成する。
  論文  参考訳（メタデータ） (2024-10-31T14:14:30Z)
• Deep Generative Models Unveil Patterns in Medical Images Through Vision-Language Conditioning [3.4299097748670255]
  深部生成モデルでは、データセットのサイズと品質を向上することにより、医療画像解析が大幅に進歩している。 画像合成プロセスの指針として,臨床データとセグメンテーションマスクを組み合わせることによって,ハイブリッド条件による生成構造を用いる。 我々のアプローチは、画像と臨床情報の視覚的相関が低いため、従来の医療報告誘導合成よりも困難であり、課題である。
  論文  参考訳（メタデータ） (2024-10-17T17:48:36Z)
• Synthetic Generation of Dermatoscopic Images with GAN and Closed-Form Factorization [12.753792457271953]
  本稿では,GAN(Generative Adversarial Network)ベースのモデルを活用する,革新的な教師なし拡張ソリューションを提案する。 セマンティックなバリエーションを取り入れた合成画像を作成し、これらの画像でトレーニングデータを拡張した。 皮膚病変分類において,機械学習モデルの性能を向上し,非アンサンブルモデルに新しいベンチマークを設定できた。
  論文  参考訳（メタデータ） (2024-10-07T15:09:50Z)
• DEEM: Diffusion Models Serve as the Eyes of Large Language Models for Image Perception [66.88792390480343]
  本稿では,拡散モデルの生成的フィードバックを利用して画像エンコーダのセマンティックな分布を整合させる,シンプルだが効果的なアプローチであるDEEMを提案する。 DEEMは、トレーニング可能なパラメータが少なく、事前学習データが少なく、ベースモデルのサイズが小さいことを利用して、モデル幻覚を軽減するために、強化された堅牢性と優れた能力を示す。
  論文  参考訳（メタデータ） (2024-05-24T05:46:04Z)
• DetDiffusion: Synergizing Generative and Perceptive Models for Enhanced Data Generation and Perception [78.26734070960886]
  現在の知覚モデルは、リソース集約的なデータセットに大きく依存している。 セグメンテーションを通じて知覚認識損失(P.A.損失)を導入し、品質と制御性の両方を改善した。 本手法は,世代間における知覚認識属性(P.A. Attr)の抽出と利用により,データ拡張をカスタマイズする。
  論文  参考訳（メタデータ） (2024-03-20T04:58:03Z)
• Learned representation-guided diffusion models for large-image generation [58.192263311786824]
  自己教師型学習(SSL)からの埋め込みを条件とした拡散モデルを訓練する新しいアプローチを導入する。 我々の拡散モデルは、これらの特徴を高品質な病理組織学およびリモートセンシング画像に投影することに成功した。 実画像のバリエーションを生成して実データを増やすことにより、パッチレベルおよび大規模画像分類タスクの下流精度が向上する。
  論文  参考訳（メタデータ） (2023-12-12T14:45:45Z)
• EMIT-Diff: Enhancing Medical Image Segmentation via Text-Guided Diffusion Model [4.057796755073023]
  EMIT-Diffと呼ばれる医用画像合成のための制御可能な拡散モデルを開発した。 近年の拡散確率モデルを利用して、現実的で多様な合成医用画像データを生成する。 提案手法では, 合成試料が医療上の制約に適合することを確実にする。
  論文  参考訳（メタデータ） (2023-10-19T16:18:02Z)
• Performance of GAN-based augmentation for deep learning COVID-19 image classification [57.1795052451257]
  ディープラーニングを医療分野に適用する上で最大の課題は、トレーニングデータの提供である。 データ拡張は、限られたデータセットに直面した時に機械学習で使用される典型的な方法論である。 本研究は, 新型コロナウイルスの胸部X線画像セットを限定して, StyleGAN2-ADAモデルを用いて訓練するものである。
  論文  参考訳（メタデータ） (2023-04-18T15:39:58Z)
• Diffusion Models as Masked Autoencoders [52.442717717898056]
  拡散モデルに対する近年の関心を踏まえて、生成的に事前学習された視覚表現を再考する。 拡散モデルによる直接事前学習では強い表現は得られないが、マスク付き入力上での拡散モデルと公式拡散モデルをマスク付きオートエンコーダ(DiffMAE)として条件付ける。 設計選択の長所と短所について包括的な研究を行い、拡散モデルとマスク付きオートエンコーダ間の接続を構築する。
  論文  参考訳（メタデータ） (2023-04-06T17:59:56Z)
• Diffusion-based Data Augmentation for Skin Disease Classification: Impact Across Original Medical Datasets to Fully Synthetic Images [2.5075774184834803]
  深層ニューラルネットワークは、過度な適合を避けるために、依然として大量のトレーニングデータに依存している。 医療のような現実世界のアプリケーションのためのラベル付きトレーニングデータには制限があり、アクセスが困難である。 我々は,我々の大脳皮質皮膚疾患データセットのトレーニングサンプルを増強する上で,テキスト・画像拡散確率モデルの成功を生かした。
  論文  参考訳（メタデータ） (2023-01-12T04:22:23Z)
• Variational Knowledge Distillation for Disease Classification in Chest X-Rays [102.04931207504173]
  我々は,X線に基づく疾患分類のための新しい確率的推論フレームワークである反復的知識蒸留(VKD)を提案する。 提案手法の有効性を,X線画像とEHRを用いた3つの公開ベンチマークデータセットに示す。
  論文  参考訳（メタデータ） (2021-03-19T14:13:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。