論文の概要: A Diffusion Model Predicts 3D Shapes from 2D Microscopy Images

• arxiv url: http://arxiv.org/abs/2208.14125v2
• Date: Wed, 31 Aug 2022 06:14:31 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-01 11:19:51.725492
• Title: A Diffusion Model Predicts 3D Shapes from 2D Microscopy Images
• Title（参考訳）: 2次元顕微鏡画像から3次元形状を予測する拡散モデル
• Authors: Dominik J. E. Waibel, Ernst R\"oell, Bastian Rieck, Raja Giryes, Carsten Marr
• Abstract要約: 2次元顕微鏡画像からの3次元細胞形状予測の逆問題に対する拡散モデルであるdisPRを導入する。 拡散モデルが3次元の逆問題に適用可能であることを示すとともに、2次元顕微鏡画像から現実的な形態的特徴を持つ3次元形状を再構成することを学ぶ。
• 参考スコア（独自算出の注目度）: 36.17295590429516
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Diffusion models are a class of generative models, showing superior performance as compared to other generative models in creating realistic images when trained on natural image datasets. We introduce DISPR, a diffusion-based model for solving the inverse problem of three-dimensional (3D) cell shape prediction from two-dimensional (2D) single cell microscopy images. Using the 2D microscopy image as a prior, DISPR is conditioned to predict realistic 3D shape reconstructions. To showcase the applicability of DISPR as a data augmentation tool in a feature-based single cell classification task, we extract morphological features from the cells grouped into six highly imbalanced classes. Adding features from predictions of DISPR to the three minority classes improved the macro F1 score from $F1_\text{macro} = 55.2 \pm 4.6\%$ to $F1_\text{macro} = 72.2 \pm 4.9\%$. With our method being the first to employ a diffusion-based model in this context, we demonstrate that diffusion models can be applied to inverse problems in 3D, and that they learn to reconstruct 3D shapes with realistic morphological features from 2D microscopy images.
• Abstract（参考訳）: 拡散モデルは生成モデルの一種であり、自然画像データセットでトレーニングされた場合の現実的な画像の作成において、他の生成モデルと比較して優れた性能を示す。 2次元(2次元)単細胞顕微鏡画像から3次元(3次元)細胞形状予測の逆問題を解く拡散モデルであるdisPRを導入する。 従来の2次元顕微鏡画像を用いて,現実的な3次元形状復元の予測を行う。 特徴量に基づく単一細胞分類タスクにおけるデータ拡張ツールとしての DISPR の適用性を示すため、6つの高度不均衡クラスに分類された細胞から形態的特徴を抽出した。 DISPRの予測を3つのマイノリティクラスに追加することで、マクロF1スコアは$F1_\text{macro} = 55.2 \pm 4.6\%$から$F1_\text{macro} = 72.2 \pm 4.9\%$に改善された。 この文脈で拡散モデルを用いた最初の手法として、拡散モデルが3次元の逆問題に適用可能であること、そして2次元顕微鏡画像から現実的な形態的特徴を持つ3次元形状を再構築できることを実証した。

関連論文リスト

• Cascaded Diffusion Models for 2D and 3D Microscopy Image Synthesis to Enhance Cell Segmentation [1.1454121287632515]
  本稿では,高密度な2Dおよび3D細胞顕微鏡画像の合成のための新しいフレームワークを提案する。 マルチレベル拡散モデルと3次元表面再構成手法であるNeuSを用いて,スパース2次元アノテーションから2次元および3次元セルマスクを合成する。 合成データと実データを組み合わせたセグメンテーションモデルをトレーニングすることで,複数のデータセットで最大9%のセルセグメンテーション性能が向上することを示す。
  論文  参考訳（メタデータ） (2024-11-18T12:22:37Z)
• 3D-VirtFusion: Synthetic 3D Data Augmentation through Generative Diffusion Models and Controllable Editing [52.68314936128752]
  本研究では,事前学習された大規模基盤モデルのパワーを活用して,3次元ラベル付きトレーニングデータを自動的に生成する新しいパラダイムを提案する。 各ターゲットセマンティッククラスに対して、まず、拡散モデルとチャットGPT生成したテキストプロンプトを介して、様々な構造と外観の1つのオブジェクトの2D画像を生成する。 我々は、これらの拡張画像を3Dオブジェクトに変換し、ランダムな合成によって仮想シーンを構築する。
  論文  参考訳（メタデータ） (2024-08-25T09:31:22Z)
• GSD: View-Guided Gaussian Splatting Diffusion for 3D Reconstruction [52.04103235260539]
  単一視点からの3次元オブジェクト再構成のためのガウススプティング表現に基づく拡散モデル手法を提案する。 モデルはGS楕円体の集合で表される3Dオブジェクトを生成することを学習する。 最終的な再構成されたオブジェクトは、高品質な3D構造とテクスチャを持ち、任意のビューで効率的にレンダリングできる。
  論文  参考訳（メタデータ） (2024-07-05T03:43:08Z)
• HoloDiffusion: Training a 3D Diffusion Model using 2D Images [71.1144397510333]
  我々は,2次元画像のみを監督のために配置した,エンドツーエンドでトレーニング可能な新しい拡散装置を導入する。 我々の拡散モデルはスケーラブルで、頑健に訓練されており、既存の3次元生成モデルへのアプローチに対して、サンプルの品質と忠実さの点で競争力があることを示す。
  論文  参考訳（メタデータ） (2023-03-29T07:35:56Z)
• Improving 3D Imaging with Pre-Trained Perpendicular 2D Diffusion Models [52.529394863331326]
  本稿では,2つの垂直2次元拡散モデルを用いて3次元逆問題の解法を提案する。 MRI Z軸超解像, 圧縮センシングMRI, スパースCTなどの3次元医用画像再構成作業に有効である。
  論文  参考訳（メタデータ） (2023-03-15T08:28:06Z)
• 3D Neural Field Generation using Triplane Diffusion [37.46688195622667]
  ニューラルネットワークの3次元認識のための効率的な拡散ベースモデルを提案する。 当社のアプローチでは,ShapeNetメッシュなどのトレーニングデータを,連続的占有フィールドに変換することによって前処理する。 本論文では,ShapeNetのオブジェクトクラスにおける3D生成の現状について述べる。
  論文  参考訳（メタデータ） (2022-11-30T01:55:52Z)
• DiffusionSDF: Conditional Generative Modeling of Signed Distance Functions [42.015077094731815]
  DiffusionSDFは、形状の完全化、単一ビュー再構成、および実走査点雲の再構成のための生成モデルである。 我々は、ニューラルネットワークを介して様々な信号(点雲、2次元画像など)の幾何をパラメータ化するために、ニューラルネットワークに署名された距離関数(SDF)を用いる。
  論文  参考訳（メタデータ） (2022-11-24T18:59:01Z)
• Solving 3D Inverse Problems using Pre-trained 2D Diffusion Models [33.343489006271255]
  拡散モデルは、高品質なサンプルを持つ新しい最先端の生成モデルとして登場した。 そこで本研究では, モデルに基づく2次元拡散を, 全次元にわたるコヒーレントな再構成を達成できるように, 実験時の残りの方向で先行する2次元拡散を拡大することを提案する。 提案手法は,1つのコモディティGPU上で動作可能であり,新しい最先端技術を確立する。
  論文  参考訳（メタデータ） (2022-11-19T10:32:21Z)
• DreamFusion: Text-to-3D using 2D Diffusion [52.52529213936283]
  テキストと画像の合成の最近の進歩は、何十億もの画像と画像のペアで訓練された拡散モデルによって引き起こされている。 本研究では,事前訓練された2次元テキスト・ツー・イメージ拡散モデルを用いてテキスト・ツー・3次元合成を行うことにより,これらの制約を回避する。 提案手法では,3次元トレーニングデータや画像拡散モデルの変更は必要とせず,事前訓練した画像拡散モデルの有効性を実証する。
  論文  参考訳（メタデータ） (2022-09-29T17:50:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。