論文の概要: Style-Extracting Diffusion Models for Semi-Supervised Histopathology Segmentation

• arxiv url: http://arxiv.org/abs/2403.14429v1
• Date: Thu, 21 Mar 2024 14:36:59 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-22 13:59:14.681960
• Title: Style-Extracting Diffusion Models for Semi-Supervised Histopathology Segmentation
• Title（参考訳）: 半監督的病理組織分離のためのスタイル抽出拡散モデル
• Authors: Mathias Öttl, Frauke Wilm, Jana Steenpass, Jingna Qiu, Matthias Rübner, Arndt Hartmann, Matthias Beckmann, Peter Fasching, Andreas Maier, Ramona Erber, Bernhard Kainz, Katharina Breininger,
• Abstract要約: スタイル抽出拡散モデルでは、下流タスクに有用な特徴のない画像を生成する。 本研究では,概念実証として自然画像データセット上での手法の有効性を示す。 患者間でのセグメンテーション結果の改善と性能変動の低減を図り, 得られた画像の付加価値を検証する。
• 参考スコア（独自算出の注目度）: 6.479933058008389
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep learning-based image generation has seen significant advancements with diffusion models, notably improving the quality of generated images. Despite these developments, generating images with unseen characteristics beneficial for downstream tasks has received limited attention. To bridge this gap, we propose Style-Extracting Diffusion Models, featuring two conditioning mechanisms. Specifically, we utilize 1) a style conditioning mechanism which allows to inject style information of previously unseen images during image generation and 2) a content conditioning which can be targeted to a downstream task, e.g., layout for segmentation. We introduce a trainable style encoder to extract style information from images, and an aggregation block that merges style information from multiple style inputs. This architecture enables the generation of images with unseen styles in a zero-shot manner, by leveraging styles from unseen images, resulting in more diverse generations. In this work, we use the image layout as target condition and first show the capability of our method on a natural image dataset as a proof-of-concept. We further demonstrate its versatility in histopathology, where we combine prior knowledge about tissue composition and unannotated data to create diverse synthetic images with known layouts. This allows us to generate additional synthetic data to train a segmentation network in a semi-supervised fashion. We verify the added value of the generated images by showing improved segmentation results and lower performance variability between patients when synthetic images are included during segmentation training. Our code will be made publicly available at [LINK].
• Abstract（参考訳）: 深層学習に基づく画像生成は拡散モデルによって著しく進歩し、特に生成画像の品質が向上した。 これらの発展にもかかわらず、下流作業に有用な特徴のない画像を生成することは、あまり注目されていない。 このギャップを埋めるために,2つの条件付け機構を備えたスタイル抽出拡散モデルを提案する。 具体的には 1)画像生成時の未確認画像のスタイル情報を注入できるスタイル条件付け機構 2) ダウンストリームタスク,例えばセグメンテーションのレイアウトを対象とするコンテントコンディショニング。 画像からスタイル情報を抽出するトレーニング可能なスタイルエンコーダと、複数のスタイル入力からスタイル情報をマージする集約ブロックを導入する。 このアーキテクチャにより、見えない画像のスタイルを活用することにより、目に見えないスタイルの画像をゼロショットで生成することが可能となり、より多様な世代が生まれる。 本研究では,画像レイアウトを目標条件として使用し,まず自然画像データセット上での手法の有効性を概念実証として示す。 組織組成に関する事前の知識と注釈のないデータを組み合わせて、既知のレイアウトを持つ多様な合成画像を作成するという、組織病理学におけるその汎用性をさらに実証する。 これにより、半教師付き方式でセグメンテーションネットワークをトレーニングするために、追加の合成データを生成することができる。 本研究では, セグメンテーショントレーニングにおいて, 合成画像に含まれる患者間でのセグメンテーション結果の改善と, パフォーマンス変動の低減により, 生成画像の付加価値を検証した。 私たちのコードは[LINK]で公開されます。

関連論文リスト

• CSGO: Content-Style Composition in Text-to-Image Generation [18.737752718787196]
  本稿では,スタイリングされたデータトレーレットを自動生成し,自動的にクリーニングするコンテントスタイルのイメージトレーレットのためのデータ構築パイプラインを提案する。 このパイプラインに基づいて、210kの画像トリプレットを含む最初の大規模スタイル転送データセットであるIMAGStyleを構築した。 本稿では,コンテンツとスタイルの機能を明確に分離した,エンドツーエンドのトレーニングに基づくスタイル転送モデルCSGOを提案する。
  論文  参考訳（メタデータ） (2024-08-29T17:59:30Z)
• ZePo: Zero-Shot Portrait Stylization with Faster Sampling [61.14140480095604]
  本稿では,4つのサンプリングステップでコンテンツとスタイルの融合を実現する拡散モデルに基づく,インバージョンフリーなポートレートスタイリングフレームワークを提案する。 本稿では,一貫性機能における冗長な特徴をマージする機能統合戦略を提案し,注意制御の計算負荷を低減させる。
  論文  参考訳（メタデータ） (2024-08-10T08:53:41Z)
• Measuring Style Similarity in Diffusion Models [118.22433042873136]
  画像からスタイル記述子を理解し抽出するためのフレームワークを提案する。 我々のフレームワークは、スタイルが画像の主観的特性であるという洞察を用いてキュレートされた新しいデータセットで構成されている。 また、テキスト・ツー・イメージ・モデルのトレーニングデータセットで使用される画像に対して、生成した画像のスタイルに使用できるスタイル属性記述子を抽出する手法を提案する。
  論文  参考訳（メタデータ） (2024-04-01T17:58:30Z)
• Enhance Image Classification via Inter-Class Image Mixup with Diffusion Model [80.61157097223058]
  画像分類性能を高めるための一般的な戦略は、T2Iモデルによって生成された合成画像でトレーニングセットを増強することである。 本研究では,既存のデータ拡張技術の欠点について検討する。 Diff-Mixと呼ばれる革新的なクラス間データ拡張手法を導入する。
  論文  参考訳（メタデータ） (2024-03-28T17:23:45Z)
• Learned representation-guided diffusion models for large-image generation [58.192263311786824]
  自己教師型学習(SSL)からの埋め込みを条件とした拡散モデルを訓練する新しいアプローチを導入する。 我々の拡散モデルは、これらの特徴を高品質な病理組織学およびリモートセンシング画像に投影することに成功した。 実画像のバリエーションを生成して実データを増やすことにより、パッチレベルおよび大規模画像分類タスクの下流精度が向上する。
  論文  参考訳（メタデータ） (2023-12-12T14:45:45Z)
• Self-Distilled StyleGAN: Towards Generation from Internet Photos [47.28014076401117]
  本稿では,インターネットから収集した未処理画像に対して,StyleGANをどのように適応させるかを示す。 本稿では,2つの主成分からなるスタイルGANを用いた自己蒸留法を提案する。 提案手法は,データの多様性の損失を最小限に抑えつつ,高品質な画像の生成を可能にする。
  論文  参考訳（メタデータ） (2022-02-24T17:16:47Z)
• Unlabeled Data Guided Semi-supervised Histopathology Image Segmentation [34.45302976822067]
  生成法に基づく半教師付き学習(SSL)は,多様な画像特性の活用に有効であることが証明されている。 非ラベルデータ分布を利用した病理組織像分割のための新しいデータガイド生成法を提案する。 本手法は腺および核データセット上で評価される。
  論文  参考訳（メタデータ） (2020-12-17T02:54:19Z)
• Where to Look and How to Describe: Fashion Image Retrieval with an Attentional Heterogeneous Bilinear Network [50.19558726384559]
  画像に基づくファッション商品検索のための生物学的にインスパイアされたフレームワークを提案する。 提案フレームワークは,3つの画像に基づくファッション製品検索ベンチマークにおいて,満足な性能を実現する。
  論文  参考訳（メタデータ） (2020-10-26T06:01:09Z)
• Generating Annotated High-Fidelity Images Containing Multiple Coherent Objects [10.783993190686132]
  コンテキスト情報を明示的に必要とせずに、複数のオブジェクトで画像を合成できるマルチオブジェクト生成フレームワークを提案する。 我々は,Multi-MNISTおよびCLEVRデータセットを用いた実験により,コヒーレンシーと忠実さの保存方法を示す。
  論文  参考訳（メタデータ） (2020-06-22T11:33:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。