論文の概要: MicroDiffusion: Implicit Representation-Guided Diffusion for 3D Reconstruction from Limited 2D Microscopy Projections
- arxiv url: http://arxiv.org/abs/2403.10815v1
- Date: Sat, 16 Mar 2024 05:22:16 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-19 21:35:15.005584
- Title: MicroDiffusion: Implicit Representation-Guided Diffusion for 3D Reconstruction from Limited 2D Microscopy Projections
- Title（参考訳）: マイクロディフュージョン(マイクロディフュージョン) : 限定2次元顕微鏡像からの3次元再構成のためのインプシット表現誘導拡散
- Authors: Mude Hui, Zihao Wei, Hongru Zhu, Fei Xia, Yuyin Zhou,
- Abstract要約: MicroDiffusionは、高品質で奥行きを解決した3Dボリュームの再構築を容易にする先駆的なツールだ。
InRモデルを用いて2次元の軸方向投影画像を予備的な3次元ボリュームに変換する。
拡散モデルを最も近い2次元投影に条件付けすることにより、マイクロ拡散は3次元再構成の結果の忠実度を大幅に向上させる。
- 参考スコア（独自算出の注目度）: 27.684664614389316
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Volumetric optical microscopy using non-diffracting beams enables rapid imaging of 3D volumes by projecting them axially to 2D images but lacks crucial depth information. Addressing this, we introduce MicroDiffusion, a pioneering tool facilitating high-quality, depth-resolved 3D volume reconstruction from limited 2D projections. While existing Implicit Neural Representation (INR) models often yield incomplete outputs and Denoising Diffusion Probabilistic Models (DDPM) excel at capturing details, our method integrates INR's structural coherence with DDPM's fine-detail enhancement capabilities. We pretrain an INR model to transform 2D axially-projected images into a preliminary 3D volume. This pretrained INR acts as a global prior guiding DDPM's generative process through a linear interpolation between INR outputs and noise inputs. This strategy enriches the diffusion process with structured 3D information, enhancing detail and reducing noise in localized 2D images. By conditioning the diffusion model on the closest 2D projection, MicroDiffusion substantially enhances fidelity in resulting 3D reconstructions, surpassing INR and standard DDPM outputs with unparalleled image quality and structural fidelity. Our code and dataset are available at https://github.com/UCSC-VLAA/MicroDiffusion.
- Abstract（参考訳）: 非回折ビームを用いた体積光学顕微鏡は、2次元画像に軸方向に投影することで3次元ボリュームを高速に撮像することができるが、重要な深度情報がない。
この問題に対処するために,我々は,限られた2次元プロジェクションから高品質で深度を解決した3次元ボリューム再構成を容易にするパイオニアツールであるMicroDiffusionを紹介した。
Inlicit Neural Representation (INR) モデルでは,不完全出力や拡散拡散確率モデル (DDPM) の高精細化に優れることが多いが,本手法はINRの構造的コヒーレンスとDDPMの細部拡張機能を統合する。
InRモデルを用いて2次元の軸方向投影画像を予備的な3次元ボリュームに変換する。
この事前学習INRは、INR出力とノイズ入力の線形補間を通じて、DDPMの生成過程のグローバルな先導として機能する。
この戦略は, 局所化2次元画像における拡散過程を構造化された3次元情報で強化し, 詳細性を高め, ノイズを低減する。
拡散モデルを最も近い2次元投影に条件付けすることにより、マイクロ拡散は、3次元再構成の結果の忠実度を大幅に向上し、INRおよび標準DDPM出力を非並列画像品質と構造忠実度で上回る。
私たちのコードとデータセットはhttps://github.com/UCSC-VLAA/MicroDiffusion.comで公開されています。
関連論文リスト
- Resolution-Robust 3D MRI Reconstruction with 2D Diffusion Priors: Diverse-Resolution Training Outperforms Interpolation [18.917672392645006]
2次元スライスで訓練された2次元拡散モデルが3次元MRI再構成に活用され始めている。
既存の方法では、ボクセルサイズが一定であり、ボクセルサイズが変化すると性能が低下する。
本稿では,2次元拡散先行画像を用いた高分解能3次元MRI再構成手法の提案と検討を行う。
論文 参考訳（メタデータ） (2024-12-24T18:25:50Z) - DSplats: 3D Generation by Denoising Splats-Based Multiview Diffusion Models [67.50989119438508]
本稿では,ガウスをベースとしたレコンストラクタを用いて,リアルな3Dアセットを生成することで,マルチビュー画像を直接認識するDSplatを紹介した。
実験の結果,DSplatsは高品質で空間的に一貫した出力を生成できるだけでなく,単一画像から3次元再構成への新たな標準も設定できることがわかった。
論文 参考訳（メタデータ） (2024-12-11T07:32:17Z) - A Lesson in Splats: Teacher-Guided Diffusion for 3D Gaussian Splats Generation with 2D Supervision [65.33043028101471]
本研究では,ガウスプレートの拡散モデルであるSplatDiffusionを導入し,単一画像から3次元構造を生成する。
既存の方法は決定論的フィードフォワード予測に依存しており、2Dデータからの3D推論の本質的な曖昧さを扱う能力を制限する。
論文 参考訳（メタデータ） (2024-12-01T00:29:57Z) - From Diffusion to Resolution: Leveraging 2D Diffusion Models for 3D Super-Resolution Task [19.56372155146739]
本稿では,3次元電子顕微鏡(vEM)の超解像性を高めるために,2次元拡散モデルと体積内の横方向の連続性を利用する新しい手法を提案する。
イオンビーム走査型電子顕微鏡(FIB-SEM)の2つのデータを用いて,本フレームワークのロバスト性と実用性を示した。
論文 参考訳（メタデータ） (2024-11-25T09:12:55Z) - L3DG: Latent 3D Gaussian Diffusion [74.36431175937285]
L3DGは3次元ガウス拡散定式化による3次元ガウスの3次元モデリングのための最初のアプローチである。
我々は、部屋の大きさのシーンで効率的に操作するために、スパース畳み込みアーキテクチャーを用いている。
3Dガウス表現を利用することで、生成されたシーンを任意の視点からリアルタイムでレンダリングすることができる。
論文 参考訳（メタデータ） (2024-10-17T13:19:32Z) - INFusion: Diffusion Regularized Implicit Neural Representations for 2D and 3D accelerated MRI reconstruction [0.0]
Inlicit Neural Representations (INRs) は、MRI(MRI)の取得を加速するための学習ベースのアプローチである。
本研究は、アンダーサンプルMR測定からINRの最適化を規則化する手法であるINFusionを提案する。
また,大規模な3次元MRデータセットにINRを適用可能な拡散正則化を用いたハイブリッド3次元アプローチを提案する。
論文 参考訳（メタデータ） (2024-06-19T23:51:26Z) - StableDreamer: Taming Noisy Score Distillation Sampling for Text-to-3D [88.66678730537777]
本稿では3つの進歩を取り入れた方法論であるStableDreamerを紹介する。
まず、SDS生成前の等価性と、簡単な教師付きL2再構成損失を定式化する。
第2に,画像空間拡散は幾何学的精度に寄与するが,色調の鮮明化には潜時空間拡散が不可欠であることを示す。
論文 参考訳（メタデータ） (2023-12-02T02:27:58Z) - NeRF-GAN Distillation for Efficient 3D-Aware Generation with
Convolutions [97.27105725738016]
GAN(Generative Adversarial Networks)のようなニューラルラジアンスフィールド(NeRF)と生成モデルの統合は、単一ビュー画像から3D認識生成を変換した。
提案手法は,ポーズ条件付き畳み込みネットワークにおいて,事前学習したNeRF-GANの有界遅延空間を再利用し,基礎となる3次元表現に対応する3D一貫性画像を直接生成する手法である。
論文 参考訳（メタデータ） (2023-03-22T18:59:48Z) - Improving 3D Imaging with Pre-Trained Perpendicular 2D Diffusion Models [52.529394863331326]
本稿では,2つの垂直2次元拡散モデルを用いて3次元逆問題の解法を提案する。
MRI Z軸超解像, 圧縮センシングMRI, スパースCTなどの3次元医用画像再構成作業に有効である。
論文 参考訳（メタデータ） (2023-03-15T08:28:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。