論文の概要: CCIS-Diff: A Generative Model with Stable Diffusion Prior for Controlled Colonoscopy Image Synthesis
- arxiv url: http://arxiv.org/abs/2411.12198v1
- Date: Tue, 19 Nov 2024 03:30:06 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-20 13:38:02.623719
- Title: CCIS-Diff: A Generative Model with Stable Diffusion Prior for Controlled Colonoscopy Image Synthesis
- Title（参考訳）: CCIS-Diff: 大腸内視鏡画像合成に先立つ安定拡散モデル
- Authors: Yifan Xie, Jingge Wang, Tao Feng, Fei Ma, Yang Li,
- Abstract要約: 拡散アーキテクチャに基づく高品質な大腸内視鏡画像合成のための制御された生成モデルを提案する。
本手法は, 臨床記述に適合するポリープの空間特性(ポリープ位置と形状)と臨床特性の両方を正確に制御する。
- 参考スコア（独自算出の注目度）: 7.1892156088672
- License:
- Abstract: Colonoscopy is crucial for identifying adenomatous polyps and preventing colorectal cancer. However, developing robust models for polyp detection is challenging by the limited size and accessibility of existing colonoscopy datasets. While previous efforts have attempted to synthesize colonoscopy images, current methods suffer from instability and insufficient data diversity. Moreover, these approaches lack precise control over the generation process, resulting in images that fail to meet clinical quality standards. To address these challenges, we propose CCIS-DIFF, a Controlled generative model for high-quality Colonoscopy Image Synthesis based on a Diffusion architecture. Our method offers precise control over both the spatial attributes (polyp location and shape) and clinical characteristics of polyps that align with clinical descriptions. Specifically, we introduce a blur mask weighting strategy to seamlessly blend synthesized polyps with the colonic mucosa, and a text-aware attention mechanism to guide the generated images to reflect clinical characteristics. Notably, to achieve this, we construct a new multi-modal colonoscopy dataset that integrates images, mask annotations, and corresponding clinical text descriptions. Experimental results demonstrate that our method generates high-quality, diverse colonoscopy images with fine control over both spatial constraints and clinical consistency, offering valuable support for downstream segmentation and diagnostic tasks.
- Abstract（参考訳）: 大腸内視鏡は腺腫性ポリープの同定と大腸癌の予防に重要である。
しかし,ポリプ検出のためのロバストモデルの開発は,既存の大腸内視鏡データセットのサイズやアクセシビリティの制限により困難である。
これまでは大腸内視鏡像の合成が試みられてきたが、現在の方法では不安定でデータの多様性が不十分である。
さらに、これらのアプローチは生成プロセスの正確な制御を欠き、結果として臨床品質基準を満たしていない画像が生成される。
これらの課題に対処するために,拡散アーキテクチャに基づく高品質な大腸内視鏡画像合成のための制御された生成モデルであるCCIS-DIFFを提案する。
本手法は, 臨床記述に適合するポリープの空間特性(ポリープ位置と形状)と臨床特性の両方を正確に制御する。
具体的には,合成ポリープと大腸粘膜をシームレスにブレンドするぼやけたマスク重み付け法と,生成した画像に臨床像を反映させるテキスト認識型注意機構を導入する。
これを実現するために,画像,マスクアノテーション,およびそれに対応する臨床テキスト記述を統合したマルチモーダル大腸内視鏡データセットを構築した。
実験により, 空間的制約と臨床整合性の両方を細かく制御し, 下流セグメンテーションと診断タスクに有用な, 高品質で多様な大腸内視鏡像が得られた。
関連論文リスト
- Self-Prompting Polyp Segmentation in Colonoscopy using Hybrid Yolo-SAM 2 Model [18.61909523131399]
本稿では,Segment Anything Model(SAM2)とYOLOv8モデルを統合することで,ポリプセグメンテーションの新たなアプローチを提案する。
本手法では,YOLOv8のバウンディングボックス予測を利用してSAM 2の入力プロンプトを自動生成することで,手動アノテーションの必要性を軽減している。
われわれは,5つのベンチマーク大腸内視鏡画像データセットと2つの大腸内視鏡ビデオデータセットの徹底的な試験を行い,この手法が画像分割タスクおよびビデオ分割タスクの最先端モデルを上回ることを示した。
論文 参考訳（メタデータ） (2024-09-14T17:11:37Z) - Unsupervised Segmentation of Colonoscopy Images [0.7775266571852477]
大腸内視鏡画像における3つの課題において,視覚変換器の自己監督機能を用いて検討する。
以上の結果から,DINOモデルから得られた画像レベルの特徴が,完全教師付きモデルに匹敵する画像分類性能を実現することが示唆された。
論文 参考訳（メタデータ） (2023-12-19T20:59:19Z) - Towards Discriminative Representation with Meta-learning for
Colonoscopic Polyp Re-Identification [2.78481408391119]
大腸内視鏡によるポリープ再同定は、大きなギャラリーの同じポリープと異なるカメラで撮影された異なるビューの画像とを一致させることを目的としている。
ImageNetデータセットでトレーニングされたCNNモデルを直接適用する従来のオブジェクトReIDの手法は、不満足な検索性能をもたらす。
我々は、モデルがより一般的で差別的な知識を学習するのに役立つ、Colo-ReIDという、シンプルで効果的なトレーニング手法を提案する。
論文 参考訳（メタデータ） (2023-08-02T04:10:14Z) - Self-Supervised and Semi-Supervised Polyp Segmentation using Synthetic
Data [16.356954231068077]
大腸ポリープの早期検出は、その治療および大腸癌予防において最も重要である。
コンピュータビジョン技術は、患者の大腸全体を調べるために手動で大腸手術を行う、診断段階の専門家を助ける可能性がある。
医用画像の最大の課題はデータの欠如であり、ポリプセグメンテーションアプローチに特有な課題は、手動でデータをラベル付けすることの難しさである。
本稿では, 実データと合成データを統合し, データセットのサイズを人工的に増加させ, ラベルなしサンプルが利用可能になった場合のトレーニングを支援する, ポリプセグメンテーションのエンドツーエンドモデルを提案する。
論文 参考訳（メタデータ） (2023-07-22T09:57:58Z) - A Transformer-based representation-learning model with unified
processing of multimodal input for clinical diagnostics [63.106382317917344]
本稿では,マルチモーダル入力を統一的に処理する臨床診断支援として,トランスフォーマーを用いた表現学習モデルについて報告する。
統一モデルは, 肺疾患の同定において, 画像のみのモデル, 非統一型マルチモーダル診断モデルより優れていた。
論文 参考訳（メタデータ） (2023-06-01T16:23:47Z) - Image Synthesis with Disentangled Attributes for Chest X-Ray Nodule
Augmentation and Detection [52.93342510469636]
肺癌早期検診では胸部X線像の肺結節検出が一般的である。
ディープラーニングに基づくコンピュータ支援診断(CAD)システムは、CXRの結節スクリーニングのために放射線科医をサポートすることができる。
このようなデータセットの可用性を損なうため,データ拡張のために肺結節合成法を提案する。
論文 参考訳（メタデータ） (2022-07-19T16:38:48Z) - OADAT: Experimental and Synthetic Clinical Optoacoustic Data for
Standardized Image Processing [62.993663757843464]
オプトアコースティック(OA)イメージングは、ナノ秒レーザーパルスによる生体組織の励起と、光吸収による熱弾性膨張によって発生する超音波の検出に基づいている。
OAイメージングは、深部組織における豊富な光学コントラストと高分解能の強力な組み合わせを特徴としている。
臨床環境でのOAの幅広い応用を促進するために、異なるタイプの実験的なセットアップと関連する処理手法で生成される標準化データセットは存在しない。
論文 参考訳（メタデータ） (2022-06-17T08:11:26Z) - Colorectal Polyp Classification from White-light Colonoscopy Images via
Domain Alignment [57.419727894848485]
大腸内視鏡画像からの正確な診断を支援するためには,コンピュータ支援診断システムが必要である。
これまでのほとんどの研究では、Narrow-Band Imaging (NBI) や他の拡張画像を用いて、ポリプの分化モデルの開発を試みている。
正確な大腸ポリープ分類のための教師/学生アーキテクチャに基づく新しい枠組みを提案する。
論文 参考訳（メタデータ） (2021-08-05T09:31:46Z) - Malignancy Prediction and Lesion Identification from Clinical
Dermatological Images [65.1629311281062]
臨床皮膚画像から機械学習に基づく悪性度予測と病変の同定を検討する。
まず, サブタイプや悪性度に関わらず画像に存在するすべての病変を同定し, その悪性度を推定し, 凝集により, 画像レベルの悪性度も生成する。
論文 参考訳（メタデータ） (2021-04-02T20:52:05Z) - Co-Heterogeneous and Adaptive Segmentation from Multi-Source and
Multi-Phase CT Imaging Data: A Study on Pathological Liver and Lesion
Segmentation [48.504790189796836]
我々は,新しいセグメンテーション戦略,コヘテロジネティック・アダプティブセグメンテーション(CHASe)を提案する。
本稿では,外見に基づく半スーパービジョン,マスクに基づく対向ドメイン適応,擬似ラベルを融合した多目的フレームワークを提案する。
CHASeは4.2% sim 9.4%$の範囲で、病理的な肝臓マスクDice-Sorensen係数をさらに改善することができる。
論文 参考訳（メタデータ） (2020-05-27T06:58:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。