論文の概要: Mask-guided cross-image attention for zero-shot in-silico histopathologic image generation with a diffusion model

• arxiv url: http://arxiv.org/abs/2407.11664v2
• Date: Tue, 22 Oct 2024 06:41:38 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-08 20:59:00.607924
• Title: Mask-guided cross-image attention for zero-shot in-silico histopathologic image generation with a diffusion model
• Title（参考訳）: 拡散モデルを用いたゼロショット in-silico 組織像生成のためのマスク誘導クロスイメージアテンション
• Authors: Dominik Winter, Nicolas Triltsch, Marco Rosati, Anatoliy Shumilov, Ziya Kokaragac, Yuri Popov, Thomas Padel, Laura Sebastian Monasor, Ross Hill, Markus Schick, Nicolas Brieu,
• Abstract要約: 拡散モデルは、シリコン内画像を生成する最先端のソリューションである。 自然画像の出現伝達拡散モデルが設計されている。 計算病理学、特に腫瘍学では、画像内のどのオブジェクトを前景と背景に分類すべきかを簡単に定義することはできない。 我々は,クラス固有のAdaIN特徴量マッチングを交互に行うために,外観伝達指導を変更することで,拡散安定画像への外観伝達モデルの適用性に寄与する。
• 参考スコア（独自算出の注目度）: 0.10910416614141322
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Creating in-silico data with generative AI promises a cost-effective alternative to staining, imaging, and annotating whole slide images in computational pathology. Diffusion models are the state-of-the-art solution for generating in-silico images, offering unparalleled fidelity and realism. Using appearance transfer diffusion models allows for zero-shot image generation, facilitating fast application and making model training unnecessary. However current appearance transfer diffusion models are designed for natural images, where the main task is to transfer the foreground object from an origin to a target domain, while the background is of insignificant importance. In computational pathology, specifically in oncology, it is however not straightforward to define which objects in an image should be classified as foreground and background, as all objects in an image may be of critical importance for the detailed understanding the tumor micro-environment. We contribute to the applicability of appearance transfer diffusion models to immunohistochemistry-stained images by modifying the appearance transfer guidance to alternate between class-specific AdaIN feature statistics matchings using existing segmentation masks. The performance of the proposed method is demonstrated on the downstream task of supervised epithelium segmentation, showing that the number of manual annotations required for model training can be reduced by 75%, outperforming the baseline approach. Additionally, we consulted with a certified pathologist to investigate future improvements. We anticipate this work to inspire the application of zero-shot diffusion models in computational pathology, providing an efficient method to generate in-silico images with unmatched fidelity and realism, which prove meaningful for downstream tasks, such as training existing deep learning models or finetuning foundation models.
• Abstract（参考訳）: 生成AIによるシリコン内データの作成は、スライディング、イメージング、アノテートといったコスト効率の良い代替手段を計算病理学で実現している。 拡散モデルは、非平行な忠実さとリアリズムを提供する、シリコン内画像を生成する最先端のソリューションである。 外見伝達拡散モデルを使用することで、ゼロショット画像生成が可能になり、高速なアプリケーションを容易にし、モデルのトレーニングを不要にする。 しかし、現在の外見伝達拡散モデルは、原点から対象領域への前景オブジェクトの転送が主な課題である自然画像のために設計されており、背景は重要ではない。 計算病理学、特に腫瘍学では、画像内のどのオブジェクトを前景と背景に分類すべきかを定義することは容易ではない。 我々は,既存のセグメンテーションマスクを用いて,クラス固有のAdaIN特徴量統計マッチングを交互に行うために,外見伝達誘導を変更することで,免疫組織化学染色画像への外見伝達拡散モデルの適用性に寄与する。 提案手法の性能は,教師付き上皮セグメンテーションの下流タスクで実証され,モデルトレーニングに必要な手動アノテーションの数が75%削減され,ベースラインアプローチよりも優れていた。 また,今後の改善を検討するため,認定病理医と相談した。 本研究は,計算病理学におけるゼロショット拡散モデルの適用を刺激し,既存の深層学習モデルや微調整基礎モデルなどの下流タスクにおいて有意義な,不整合の忠実さと現実性を持ったシリカ内画像を生成する効率的な方法を提供することを期待する。

関連論文リスト

• PriorPath: Coarse-To-Fine Approach for Controlled De-Novo Pathology Semantic Masks Generation [0.0]
  粗い粒度の画像から得られた詳細でリアルなセマンティックマスクを生成するパイプラインであるPresidePathを提案する。 このアプローチにより、生成されたマスクの空間配置を制御でき、結果として合成画像が生成される。
  論文  参考訳（メタデータ） (2024-11-25T15:57:19Z)
• Unleashing the Potential of Synthetic Images: A Study on Histopathology Image Classification [0.12499537119440242]
  病理組織像分類は様々な疾患の正確な同定と診断に重要である。 合成画像は、既存のデータセットを効果的に増強し、最終的に下流の病理組織像分類タスクの性能を向上させることができることを示す。
  論文  参考訳（メタデータ） (2024-09-24T12:02:55Z)
• TC-DiffRecon: Texture coordination MRI reconstruction method based on diffusion model and modified MF-UNet method [2.626378252978696]
  本稿では,T-DiffReconという名前の拡散モデルに基づくMRI再構成法を提案する。 また、モデルにより生成されたMRI画像の品質を高めるために、MF-UNetモジュールを組み込むことを提案する。
  論文  参考訳（メタデータ） (2024-02-17T13:09:00Z)
• Learned representation-guided diffusion models for large-image generation [58.192263311786824]
  自己教師型学習(SSL)からの埋め込みを条件とした拡散モデルを訓練する新しいアプローチを導入する。 我々の拡散モデルは、これらの特徴を高品質な病理組織学およびリモートセンシング画像に投影することに成功した。 実画像のバリエーションを生成して実データを増やすことにより、パッチレベルおよび大規模画像分類タスクの下流精度が向上する。
  論文  参考訳（メタデータ） (2023-12-12T14:45:45Z)
• Steered Diffusion: A Generalized Framework for Plug-and-Play Conditional Image Synthesis [62.07413805483241]
  Steered Diffusionは、無条件生成のために訓練された拡散モデルを用いたゼロショット条件画像生成のためのフレームワークである。 塗装,着色,テキスト誘導セマンティック編集,画像超解像などのタスクに対して,ステアリング拡散を用いた実験を行った。
  論文  参考訳（メタデータ） (2023-09-30T02:03:22Z)
• Introducing Shape Prior Module in Diffusion Model for Medical Image Segmentation [7.7545714516743045]
  拡散確率モデル(DDPM)を利用したVerseDiff-UNetというエンドツーエンドフレームワークを提案する。 我々のアプローチは拡散モデルを標準のU字型アーキテクチャに統合する。 本手法はX線画像から得られた脊椎画像の1つのデータセットを用いて評価する。
  論文  参考訳（メタデータ） (2023-09-12T03:05:00Z)
• Steerable Conditional Diffusion for Out-of-Distribution Adaptation in Medical Image Reconstruction [75.91471250967703]
  我々は、ステアブル条件拡散と呼ばれる新しいサンプリングフレームワークを導入する。 このフレームワークは、利用可能な測定によって提供される情報のみに基づいて、画像再構成と並行して拡散モデルを適用する。 様々な画像モダリティにまたがるアウト・オブ・ディストリビューション性能の大幅な向上を実現した。
  論文  参考訳（メタデータ） (2023-08-28T08:47:06Z)
• Diffusion Models as Masked Autoencoders [52.442717717898056]
  拡散モデルに対する近年の関心を踏まえて、生成的に事前学習された視覚表現を再考する。 拡散モデルによる直接事前学習では強い表現は得られないが、マスク付き入力上での拡散モデルと公式拡散モデルをマスク付きオートエンコーダ(DiffMAE)として条件付ける。 設計選択の長所と短所について包括的な研究を行い、拡散モデルとマスク付きオートエンコーダ間の接続を構築する。
  論文  参考訳（メタデータ） (2023-04-06T17:59:56Z)
• Person Image Synthesis via Denoising Diffusion Model [116.34633988927429]
  本研究では,高忠実度人物画像合成に拡散モデルをいかに応用できるかを示す。 2つの大規模ベンチマークとユーザスタディの結果は、挑戦的なシナリオ下で提案したアプローチのフォトリアリズムを実証している。
  論文  参考訳（メタデータ） (2022-11-22T18:59:50Z)
• SinDiffusion: Learning a Diffusion Model from a Single Natural Image [159.4285444680301]
  SinDiffusionは1つの自然な画像からパッチの内部分布を捉えるためにデノナイズ拡散モデルを利用する。 SinDiffusionは、2つのコア設計に基づいている。まず、SinDiffusionは、段階的にスケールが成長する複数のモデルではなく、1つのスケールで1つのモデルで訓練されている。 第2に,拡散ネットワークのパッチレベルの受容領域は,画像のパッチ統計を捉える上で重要かつ効果的であることを示す。
  論文  参考訳（メタデータ） (2022-11-22T18:00:03Z)
• Fast Unsupervised Brain Anomaly Detection and Segmentation with Diffusion Models [1.6352599467675781]
  脳画像における異常検出とセグメント分割のための拡散モデルに基づく手法を提案する。 拡散モデルは,2次元CTおよびMRIデータを用いた一連の実験において,自己回帰的アプローチと比較して競争性能が向上する。
  論文  参考訳（メタデータ） (2022-06-07T17:30:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。