論文の概要: Image Synthesis with Class-Aware Semantic Diffusion Models for Surgical Scene Segmentation

• arxiv url: http://arxiv.org/abs/2410.23962v1
• Date: Thu, 31 Oct 2024 14:14:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-01 17:03:07.613722
• Title: Image Synthesis with Class-Aware Semantic Diffusion Models for Surgical Scene Segmentation
• Title（参考訳）: 外科シーンセグメンテーションのためのクラス認識セマンティック拡散モデルを用いた画像合成
• Authors: Yihang Zhou, Rebecca Towning, Zaid Awad, Stamatia Giannarou,
• Abstract要約: 本稿では,データ不足と不均衡に対処するクラスアウェア意味拡散モデル(CASDM)を提案する。 クラス認識平均二乗誤差とクラス認識自己認識損失関数は、重要で目立たないクラスを優先するように定義されている。 我々は、テキストプロンプトを用いて、その内容を特定するために、初めて、新しい方法でマルチクラスセグメンテーションマップを生成する。
• 参考スコア（独自算出の注目度）: 3.6723640056915436
• License:
• Abstract: Surgical scene segmentation is essential for enhancing surgical precision, yet it is frequently compromised by the scarcity and imbalance of available data. To address these challenges, semantic image synthesis methods based on generative adversarial networks and diffusion models have been developed. However, these models often yield non-diverse images and fail to capture small, critical tissue classes, limiting their effectiveness. In response, we propose the Class-Aware Semantic Diffusion Model (CASDM), a novel approach which utilizes segmentation maps as conditions for image synthesis to tackle data scarcity and imbalance. Novel class-aware mean squared error and class-aware self-perceptual loss functions have been defined to prioritize critical, less visible classes, thereby enhancing image quality and relevance. Furthermore, to our knowledge, we are the first to generate multi-class segmentation maps using text prompts in a novel fashion to specify their contents. These maps are then used by CASDM to generate surgical scene images, enhancing datasets for training and validating segmentation models. Our evaluation, which assesses both image quality and downstream segmentation performance, demonstrates the strong effectiveness and generalisability of CASDM in producing realistic image-map pairs, significantly advancing surgical scene segmentation across diverse and challenging datasets.
• Abstract（参考訳）: 外科的シーンセグメンテーションは外科的精度を高めるのに不可欠であるが、利用可能なデータの不足と不均衡によってしばしば妥協される。 これらの課題に対処するために, 生成逆数ネットワークと拡散モデルに基づく意味的画像合成法を開発した。 しかし、これらのモデルはしばしば非横画像を生成し、小さな、重要な組織クラスをキャプチャできず、その効果を制限している。 そこで本研究では,データ不足と不均衡に対処するための画像合成条件としてセグメンテーションマップを利用する,クラスアウェア・セマンティック拡散モデルを提案する。 新しいクラス認識平均二乗誤差とクラス認識自己認識損失関数は、重要で目立たないクラスを優先して定義され、画像の品質と関連性を高めている。 さらに,本研究では,テキストプロンプトを用いた複数クラスセグメンテーションマップを新規に作成し,その内容を特定する。 これらのマップはCASDMによって手術シーン画像の生成や、セグメンテーションモデルのトレーニングと検証のためのデータセットの強化に使用される。 画像品質と下流セグメンテーション性能の両面を評価した結果,CASDMがリアルな画像マップペアを作成する上での有効性と汎用性を示し,多種多様かつ挑戦的なデータセットにわたる手術シーンセグメンテーションを著しく向上させた。

関連論文リスト

• Mask-guided cross-image attention for zero-shot in-silico histopathologic image generation with a diffusion model [0.10910416614141322]
  拡散モデルは、シリコン内画像を生成する最先端のソリューションである。 自然画像の出現伝達拡散モデルが設計されている。 計算病理学、特に腫瘍学では、画像内のどのオブジェクトを前景と背景に分類すべきかを簡単に定義することはできない。 我々は,クラス固有のAdaIN特徴量マッチングを交互に行うために,外観伝達指導を変更することで,拡散安定画像への外観伝達モデルの適用性に寄与する。
  論文  参考訳（メタデータ） (2024-07-16T12:36:26Z)
• Unlocking Pre-trained Image Backbones for Semantic Image Synthesis [29.688029979801577]
  本稿では,現実的な画像を生成するセマンティック画像合成のための新しい種類のGAN識別器を提案する。 DP-SIMSをダブした本モデルでは,ADE-20K,COCO-Stuff,Cityscapesの入力ラベルマップと画像品質と一貫性の両面から,最新の結果が得られる。
  論文  参考訳（メタデータ） (2023-12-20T09:39:19Z)
• Learned representation-guided diffusion models for large-image generation [58.192263311786824]
  自己教師型学習(SSL)からの埋め込みを条件とした拡散モデルを訓練する新しいアプローチを導入する。 我々の拡散モデルは、これらの特徴を高品質な病理組織学およびリモートセンシング画像に投影することに成功した。 実画像のバリエーションを生成して実データを増やすことにより、パッチレベルおよび大規模画像分類タスクの下流精度が向上する。
  論文  参考訳（メタデータ） (2023-12-12T14:45:45Z)
• Scaling Laws of Synthetic Images for Model Training ... for Now [54.43596959598466]
  本研究では, 合成画像のスケーリング法則について, テクスト・ツー・イメージ・モデルの現状から検討した。 合成画像は、CLIPトレーニングの実際の画像と似ているが、やや効果の低いスケーリング傾向を示す。
  論文  参考訳（メタデータ） (2023-12-07T18:59:59Z)
• Boosting Dermatoscopic Lesion Segmentation via Diffusion Models with Visual and Textual Prompts [27.222844687360823]
  我々は、病変特異的な視覚的およびテキスト的プロンプトを用いた制御フローを追加して、生成モデルの最新の進歩に適応する。 SSIM画像の品質測定では9%以上,Dice係数は5%以上向上する。
  論文  参考訳（メタデータ） (2023-10-04T15:43:26Z)
• Self-Supervised Correction Learning for Semi-Supervised Biomedical Image Segmentation [84.58210297703714]
  半教師付きバイオメディカルイメージセグメンテーションのための自己教師付き補正学習パラダイムを提案する。 共有エンコーダと2つの独立デコーダを含むデュアルタスクネットワークを設計する。 異なるタスクのための3つの医用画像分割データセットの実験により,本手法の優れた性能が示された。
  論文  参考訳（メタデータ） (2023-01-12T08:19:46Z)
• Learning to Exploit Temporal Structure for Biomedical Vision-Language Processing [53.89917396428747]
  視覚言語処理における自己教師あり学習は、画像とテキストのモダリティのセマンティックアライメントを利用する。 トレーニングと微調整の両方で利用できる場合、事前のイメージとレポートを明示的に説明します。 我々のアプローチはBioViL-Tと呼ばれ、テキストモデルと共同で訓練されたCNN-Transformerハイブリッドマルチイメージエンコーダを使用する。
  論文  参考訳（メタデータ） (2023-01-11T16:35:33Z)
• Data Augmentation using Feature Generation for Volumetric Medical Images [0.08594140167290097]
  医用画像分類は画像認識領域で最も重要な問題の一つである。 この分野での大きな課題の1つは、ラベル付きトレーニングデータの不足である。 特にディープラーニングモデルでは,画像のセグメンテーションや分類問題に関する有望な結果が示されている。
  論文  参考訳（メタデータ） (2022-09-28T13:46:24Z)
• Mixed-UNet: Refined Class Activation Mapping for Weakly-Supervised Semantic Segmentation with Multi-scale Inference [28.409679398886304]
  我々は、デコードフェーズに2つの並列分岐を持つMixed-UNetという新しいモデルを開発する。 地域病院や公開データセットから収集したデータセットに対して,いくつかの一般的なディープラーニングに基づくセグメンテーションアプローチに対して,設計したMixed-UNetを評価した。
  論文  参考訳（メタデータ） (2022-05-06T08:37:02Z)
• Multi-label Thoracic Disease Image Classification with Cross-Attention Networks [65.37531731899837]
  胸部X線画像から胸部疾患を自動分類するためのCAN(Cross-Attention Networks)を提案する。 また,クロスエントロピー損失を超える新たな損失関数を設計し,クラス間の不均衡を克服する。
  論文  参考訳（メタデータ） (2020-07-21T14:37:00Z)
• Towards Unsupervised Learning for Instrument Segmentation in Robotic Surgery with Cycle-Consistent Adversarial Networks [54.00217496410142]
  本稿では、入力された内視鏡画像と対応するアノテーションとのマッピングを学習することを目的として、未ペア画像から画像への変換を提案する。 当社のアプローチでは,高価なアノテーションを取得することなく,イメージセグメンテーションモデルをトレーニングすることが可能です。 提案手法をEndovis 2017チャレンジデータセットで検証し,教師付きセグメンテーション手法と競合することを示す。
  論文  参考訳（メタデータ） (2020-07-09T01:39:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。