論文の概要: A Diffusion Model Predicts 3D Shapes from 2D Microscopy Images
- arxiv url: http://arxiv.org/abs/2208.14125v2
- Date: Wed, 31 Aug 2022 06:14:31 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-01 11:19:51.725492
- Title: A Diffusion Model Predicts 3D Shapes from 2D Microscopy Images
- Title(参考訳): 2次元顕微鏡画像から3次元形状を予測する拡散モデル
- Authors: Dominik J. E. Waibel, Ernst R\"oell, Bastian Rieck, Raja Giryes,
Carsten Marr
- Abstract要約: 2次元顕微鏡画像からの3次元細胞形状予測の逆問題に対する拡散モデルであるdisPRを導入する。
拡散モデルが3次元の逆問題に適用可能であることを示すとともに、2次元顕微鏡画像から現実的な形態的特徴を持つ3次元形状を再構成することを学ぶ。
- 参考スコア(独自算出の注目度): 36.17295590429516
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Diffusion models are a class of generative models, showing superior
performance as compared to other generative models in creating realistic images
when trained on natural image datasets. We introduce DISPR, a diffusion-based
model for solving the inverse problem of three-dimensional (3D) cell shape
prediction from two-dimensional (2D) single cell microscopy images. Using the
2D microscopy image as a prior, DISPR is conditioned to predict realistic 3D
shape reconstructions. To showcase the applicability of DISPR as a data
augmentation tool in a feature-based single cell classification task, we
extract morphological features from the cells grouped into six highly
imbalanced classes. Adding features from predictions of DISPR to the three
minority classes improved the macro F1 score from $F1_\text{macro} = 55.2 \pm
4.6\%$ to $F1_\text{macro} = 72.2 \pm 4.9\%$. With our method being the first
to employ a diffusion-based model in this context, we demonstrate that
diffusion models can be applied to inverse problems in 3D, and that they learn
to reconstruct 3D shapes with realistic morphological features from 2D
microscopy images.
- Abstract(参考訳): 拡散モデルは生成モデルの一種であり、自然画像データセットでトレーニングされた場合の現実的な画像の作成において、他の生成モデルと比較して優れた性能を示す。
2次元(2次元)単細胞顕微鏡画像から3次元(3次元)細胞形状予測の逆問題を解く拡散モデルであるdisPRを導入する。
従来の2次元顕微鏡画像を用いて,現実的な3次元形状復元の予測を行う。
特徴量に基づく単一細胞分類タスクにおけるデータ拡張ツールとしての DISPR の適用性を示すため、6つの高度不均衡クラスに分類された細胞から形態的特徴を抽出した。
DISPRの予測を3つのマイノリティクラスに追加することで、マクロF1スコアは$F1_\text{macro} = 55.2 \pm 4.6\%$から$F1_\text{macro} = 72.2 \pm 4.9\%$に改善された。
この文脈で拡散モデルを用いた最初の手法として、拡散モデルが3次元の逆問題に適用可能であること、そして2次元顕微鏡画像から現実的な形態的特徴を持つ3次元形状を再構築できることを実証した。
関連論文リスト
- 3DTopia: Large Text-to-3D Generation Model with Hybrid Diffusion Priors [86.31822685078642]
本稿では,2段階のテキスト・ツー・3D生成システムである3DTopiaについて述べる。
3次元データから直接学習される3次元拡散の第1段階のサンプルは、テキスト条件付き3次元潜伏拡散モデルを用いており、高速なプロトタイピングのための粗い3次元サンプルを迅速に生成する。
第2段階は2次元拡散前処理を利用して、粗い3次元モデルのテクスチャを第1段階からさらに洗練し、高品質なテクスチャ生成のための潜時空間と画素空間の最適化からなる。
論文 参考訳(メタデータ) (2024-03-04T17:26:28Z) - HoloDiffusion: Training a 3D Diffusion Model using 2D Images [71.1144397510333]
我々は,2次元画像のみを監督のために配置した,エンドツーエンドでトレーニング可能な新しい拡散装置を導入する。
我々の拡散モデルはスケーラブルで、頑健に訓練されており、既存の3次元生成モデルへのアプローチに対して、サンプルの品質と忠実さの点で競争力があることを示す。
論文 参考訳(メタデータ) (2023-03-29T07:35:56Z) - Improving 3D Imaging with Pre-Trained Perpendicular 2D Diffusion Models [52.529394863331326]
本稿では,2つの垂直2次元拡散モデルを用いて3次元逆問題の解法を提案する。
MRI Z軸超解像, 圧縮センシングMRI, スパースCTなどの3次元医用画像再構成作業に有効である。
論文 参考訳(メタデータ) (2023-03-15T08:28:06Z) - 3D Neural Field Generation using Triplane Diffusion [37.46688195622667]
ニューラルネットワークの3次元認識のための効率的な拡散ベースモデルを提案する。
当社のアプローチでは,ShapeNetメッシュなどのトレーニングデータを,連続的占有フィールドに変換することによって前処理する。
本論文では,ShapeNetのオブジェクトクラスにおける3D生成の現状について述べる。
論文 参考訳(メタデータ) (2022-11-30T01:55:52Z) - DiffusionSDF: Conditional Generative Modeling of Signed Distance
Functions [42.015077094731815]
DiffusionSDFは、形状の完全化、単一ビュー再構成、および実走査点雲の再構成のための生成モデルである。
我々は、ニューラルネットワークを介して様々な信号(点雲、2次元画像など)の幾何をパラメータ化するために、ニューラルネットワークに署名された距離関数(SDF)を用いる。
論文 参考訳(メタデータ) (2022-11-24T18:59:01Z) - Solving 3D Inverse Problems using Pre-trained 2D Diffusion Models [33.343489006271255]
拡散モデルは、高品質なサンプルを持つ新しい最先端の生成モデルとして登場した。
そこで本研究では, モデルに基づく2次元拡散を, 全次元にわたるコヒーレントな再構成を達成できるように, 実験時の残りの方向で先行する2次元拡散を拡大することを提案する。
提案手法は,1つのコモディティGPU上で動作可能であり,新しい最先端技術を確立する。
論文 参考訳(メタデータ) (2022-11-19T10:32:21Z) - DreamFusion: Text-to-3D using 2D Diffusion [52.52529213936283]
テキストと画像の合成の最近の進歩は、何十億もの画像と画像のペアで訓練された拡散モデルによって引き起こされている。
本研究では,事前訓練された2次元テキスト・ツー・イメージ拡散モデルを用いてテキスト・ツー・3次元合成を行うことにより,これらの制約を回避する。
提案手法では,3次元トレーニングデータや画像拡散モデルの変更は必要とせず,事前訓練した画像拡散モデルの有効性を実証する。
論文 参考訳(メタデータ) (2022-09-29T17:50:40Z) - Generative Deformable Radiance Fields for Disentangled Image Synthesis
of Topology-Varying Objects [52.46838926521572]
3D認識生成モデルは、モノクロ2D画像の集合から3Dニューラル放射場(NeRF)を生成するスーパーブパフォーマンスを実証した。
本研究では, トポロジー変化物体の放射場を非交絡形状と外観変化で合成する生成モデルを提案する。
論文 参考訳(メタデータ) (2022-09-09T08:44:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。