論文の概要: Cascaded Diffusion Models for 2D and 3D Microscopy Image Synthesis to Enhance Cell Segmentation

• arxiv url: http://arxiv.org/abs/2411.11515v2
• Date: Tue, 19 Nov 2024 08:50:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-20 13:37:43.323642
• Title: Cascaded Diffusion Models for 2D and 3D Microscopy Image Synthesis to Enhance Cell Segmentation
• Title（参考訳）: 2次元および3次元顕微鏡画像合成のためのカスケード拡散モデルによる細胞セグメンテーションの促進
• Authors: Rüveyda Yilmaz, Kaan Keven, Yuli Wu, Johannes Stegmaier,
• Abstract要約: 本稿では,高密度な2Dおよび3D細胞顕微鏡画像の合成のための新しいフレームワークを提案する。 マルチレベル拡散モデルと3次元表面再構成手法であるNeuSを用いて,スパース2次元アノテーションから2次元および3次元セルマスクを合成する。 合成データと実データを組み合わせたセグメンテーションモデルをトレーニングすることで,複数のデータセットで最大9%のセルセグメンテーション性能が向上することを示す。
• 参考スコア（独自算出の注目度）: 1.1454121287632515
• License:
• Abstract: Automated cell segmentation in microscopy images is essential for biomedical research, yet conventional methods are labor-intensive and prone to error. While deep learning-based approaches have proven effective, they often require large annotated datasets, which are scarce due to the challenges of manual annotation. To overcome this, we propose a novel framework for synthesizing densely annotated 2D and 3D cell microscopy images using cascaded diffusion models. Our method synthesizes 2D and 3D cell masks from sparse 2D annotations using multi-level diffusion models and NeuS, a 3D surface reconstruction approach. Following that, a pretrained 2D Stable Diffusion model is finetuned to generate realistic cell textures and the final outputs are combined to form cell populations. We show that training a segmentation model with a combination of our synthetic data and real data improves cell segmentation performance by up to 9\% across multiple datasets. Additionally, the FID scores indicate that the synthetic data closely resembles real data. The code for our proposed approach will be available at https://github.com/ruveydayilmaz0/cascaded_diffusion.
• Abstract（参考訳）: 顕微鏡画像における細胞分割の自動化は生体医学的な研究には不可欠であるが、従来の方法では労働集約的であり、誤りを生じやすい。 ディープラーニングベースのアプローチは有効であることが証明されているが、手動アノテーションの課題のために不足している大規模な注釈付きデータセットを必要とすることが多い。 そこで本研究では,高密度アノテーションを付加した2次元および3次元細胞顕微鏡画像のカスケード拡散モデルを用いた合成フレームワークを提案する。 マルチレベル拡散モデルと3次元表面再構成手法であるNeuSを用いて,スパース2次元アノテーションから2次元および3次元セルマスクを合成する。 その後、事前訓練された2次元安定拡散モデルを微調整して現実的な細胞テクスチャを生成し、最終的な出力を組み合わせて細胞集団を形成する。 合成データと実データを組み合わせたセグメンテーションモデルをトレーニングすることで,複数のデータセット間で最大9.5%のセルセグメンテーション性能が向上することを示す。 さらに、FIDスコアは、合成データが実データと密接に類似していることを示している。 提案されたアプローチのコードはhttps://github.com/ruveydayilmaz0/cascaded_diffusion.comで公開されます。

関連論文リスト

• DiHuR: Diffusion-Guided Generalizable Human Reconstruction [51.31232435994026]
  一般化可能なヒト3次元再構成のための拡散誘導モデルであるDiHuRを導入し,スパース・ミニマル・オーバーラップ画像からのビュー合成について述べる。 提案手法は, 一般化可能なフィードフォワードモデルと2次元拡散モデルとの2つのキー前処理をコヒーレントな方法で統合する。
  論文  参考訳（メタデータ） (2024-11-16T03:52:23Z)
• Sampling 3D Gaussian Scenes in Seconds with Latent Diffusion Models [3.9373541926236766]
  本稿では,2次元画像データのみを用いて3次元シーン上での潜時拡散モデルを提案する。 我々は,スクラッチからでもスパースインプットビューからでも,わずか0.2秒で3Dシーンを生成することができることを示す。
  論文  参考訳（メタデータ） (2024-06-18T23:14:29Z)
• Mixed Diffusion for 3D Indoor Scene Synthesis [55.94569112629208]
  混合離散連続拡散モデルアーキテクチャであるMiDiffusionを提案する。 シーンレイアウトを2次元のフロアプランとオブジェクトの集合で表現し、それぞれがそのカテゴリ、場所、サイズ、方向で定義する。 実験により,MiDiffusionは床条件下での3次元シーン合成において,最先端の自己回帰モデルや拡散モデルよりもかなり優れていることが示された。
  論文  参考訳（メタデータ） (2024-05-31T17:54:52Z)
• DatasetDM: Synthesizing Data with Perception Annotations Using Diffusion Models [61.906934570771256]
  多様な合成画像や知覚アノテーションを生成できる汎用データセット生成モデルを提案する。 本手法は,事前学習した拡散モデルに基づいて,テキスト誘導画像合成を知覚データ生成に拡張する。 拡散モデルのリッチ潜時コードはデコーダモジュールを用いて正確な認識アノテーションとして効果的に復号できることを示す。
  論文  参考訳（メタデータ） (2023-08-11T14:38:11Z)
• HoloDiffusion: Training a 3D Diffusion Model using 2D Images [71.1144397510333]
  我々は,2次元画像のみを監督のために配置した,エンドツーエンドでトレーニング可能な新しい拡散装置を導入する。 我々の拡散モデルはスケーラブルで、頑健に訓練されており、既存の3次元生成モデルへのアプローチに対して、サンプルの品質と忠実さの点で競争力があることを示す。
  論文  参考訳（メタデータ） (2023-03-29T07:35:56Z)
• Score Jacobian Chaining: Lifting Pretrained 2D Diffusion Models for 3D Generation [28.25023686484727]
  拡散モデルは勾配のベクトル場を予測することを学習する。 学習した勾配の連鎖則を提案し、微分可能場のヤコビアンを通して拡散モデルのスコアをバックプロパゲートする。 大規模なLAIONデータセットでトレーニングされたStable Diffusionを含む,市販の拡散画像生成モデル上で,アルゴリズムを実行する。
  論文  参考訳（メタデータ） (2022-12-01T18:56:37Z)
• DreamFusion: Text-to-3D using 2D Diffusion [52.52529213936283]
  テキストと画像の合成の最近の進歩は、何十億もの画像と画像のペアで訓練された拡散モデルによって引き起こされている。 本研究では,事前訓練された2次元テキスト・ツー・イメージ拡散モデルを用いてテキスト・ツー・3次元合成を行うことにより,これらの制約を回避する。 提案手法では,3次元トレーニングデータや画像拡散モデルの変更は必要とせず,事前訓練した画像拡散モデルの有効性を実証する。
  論文  参考訳（メタデータ） (2022-09-29T17:50:40Z)
• Self-supervised Human Mesh Recovery with Cross-Representation Alignment [20.69546341109787]
  自己教師付きヒューマンメッシュリカバリ手法は、3Dアノテーション付きベンチマークデータセットの可用性と多様性が制限されているため、一般化性が低い。 頑健だがスパースな表現(2Dキーポイント)からの相補的情報を利用した相互表現アライメントを提案する。 この適応的相互表現アライメントは、偏差から明示的に学習し、相補的な情報(疎表現からの豊かさと密表現からの堅牢さ)をキャプチャする。
  論文  参考訳（メタデータ） (2022-09-10T04:47:20Z)
• A Diffusion Model Predicts 3D Shapes from 2D Microscopy Images [36.17295590429516]
  2次元顕微鏡画像からの3次元細胞形状予測の逆問題に対する拡散モデルであるdisPRを導入する。 拡散モデルが3次元の逆問題に適用可能であることを示すとともに、2次元顕微鏡画像から現実的な形態的特徴を持つ3次元形状を再構成することを学ぶ。
  論文  参考訳（メタデータ） (2022-08-30T10:21:40Z)
• Modelling the Distribution of 3D Brain MRI using a 2D Slice VAE [66.63629641650572]
  本研究では,2次元スライスVAEとガウスモデルを組み合わせた3次元MR脳の体積分布をモデル化する手法を提案する。 また,本研究では,脳解剖学に適合するセグメンテーションの精度を定量的に評価する新たなボリューム評価手法を提案する。
  論文  参考訳（メタデータ） (2020-07-09T13:23:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。