論文の概要: MicroDiffusion: Implicit Representation-Guided Diffusion for 3D Reconstruction from Limited 2D Microscopy Projections
- arxiv url: http://arxiv.org/abs/2403.10815v1
- Date: Sat, 16 Mar 2024 05:22:16 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-19 21:35:15.005584
- Title: MicroDiffusion: Implicit Representation-Guided Diffusion for 3D Reconstruction from Limited 2D Microscopy Projections
- Title（参考訳）: マイクロディフュージョン(マイクロディフュージョン) : 限定2次元顕微鏡像からの3次元再構成のためのインプシット表現誘導拡散
- Authors: Mude Hui, Zihao Wei, Hongru Zhu, Fei Xia, Yuyin Zhou,
- Abstract要約: MicroDiffusionは、高品質で奥行きを解決した3Dボリュームの再構築を容易にする先駆的なツールだ。
InRモデルを用いて2次元の軸方向投影画像を予備的な3次元ボリュームに変換する。
拡散モデルを最も近い2次元投影に条件付けすることにより、マイクロ拡散は3次元再構成の結果の忠実度を大幅に向上させる。
- 参考スコア（独自算出の注目度）: 27.684664614389316
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Volumetric optical microscopy using non-diffracting beams enables rapid imaging of 3D volumes by projecting them axially to 2D images but lacks crucial depth information. Addressing this, we introduce MicroDiffusion, a pioneering tool facilitating high-quality, depth-resolved 3D volume reconstruction from limited 2D projections. While existing Implicit Neural Representation (INR) models often yield incomplete outputs and Denoising Diffusion Probabilistic Models (DDPM) excel at capturing details, our method integrates INR's structural coherence with DDPM's fine-detail enhancement capabilities. We pretrain an INR model to transform 2D axially-projected images into a preliminary 3D volume. This pretrained INR acts as a global prior guiding DDPM's generative process through a linear interpolation between INR outputs and noise inputs. This strategy enriches the diffusion process with structured 3D information, enhancing detail and reducing noise in localized 2D images. By conditioning the diffusion model on the closest 2D projection, MicroDiffusion substantially enhances fidelity in resulting 3D reconstructions, surpassing INR and standard DDPM outputs with unparalleled image quality and structural fidelity. Our code and dataset are available at https://github.com/UCSC-VLAA/MicroDiffusion.
- Abstract（参考訳）: 非回折ビームを用いた体積光学顕微鏡は、2次元画像に軸方向に投影することで3次元ボリュームを高速に撮像することができるが、重要な深度情報がない。
この問題に対処するために,我々は,限られた2次元プロジェクションから高品質で深度を解決した3次元ボリューム再構成を容易にするパイオニアツールであるMicroDiffusionを紹介した。
Inlicit Neural Representation (INR) モデルでは,不完全出力や拡散拡散確率モデル (DDPM) の高精細化に優れることが多いが,本手法はINRの構造的コヒーレンスとDDPMの細部拡張機能を統合する。
InRモデルを用いて2次元の軸方向投影画像を予備的な3次元ボリュームに変換する。
この事前学習INRは、INR出力とノイズ入力の線形補間を通じて、DDPMの生成過程のグローバルな先導として機能する。
この戦略は, 局所化2次元画像における拡散過程を構造化された3次元情報で強化し, 詳細性を高め, ノイズを低減する。
拡散モデルを最も近い2次元投影に条件付けすることにより、マイクロ拡散は、3次元再構成の結果の忠実度を大幅に向上し、INRおよび標準DDPM出力を非並列画像品質と構造忠実度で上回る。
私たちのコードとデータセットはhttps://github.com/UCSC-VLAA/MicroDiffusion.comで公開されています。
関連論文リスト
- From Diffusion to Resolution: Leveraging 2D Diffusion Models for 3D Super-Resolution Task [19.56372155146739]
本稿では,3次元電子顕微鏡(vEM)の超解像性を高めるために,2次元拡散モデルと体積内の横方向の連続性を利用する新しい手法を提案する。
イオンビーム走査型電子顕微鏡(FIB-SEM)の2つのデータを用いて,本フレームワークのロバスト性と実用性を示した。
論文 参考訳（メタデータ） (2024-11-25T09:12:55Z) - L3DG: Latent 3D Gaussian Diffusion [74.36431175937285]
L3DGは3次元ガウス拡散定式化による3次元ガウスの3次元モデリングのための最初のアプローチである。
我々は、部屋の大きさのシーンで効率的に操作するために、スパース畳み込みアーキテクチャーを用いている。
3Dガウス表現を利用することで、生成されたシーンを任意の視点からリアルタイムでレンダリングすることができる。
論文 参考訳（メタデータ） (2024-10-17T13:19:32Z) - INFusion: Diffusion Regularized Implicit Neural Representations for 2D and 3D accelerated MRI reconstruction [0.0]
Inlicit Neural Representations (INRs) は、MRI(MRI)の取得を加速するための学習ベースのアプローチである。
本研究は、アンダーサンプルMR測定からINRの最適化を規則化する手法であるINFusionを提案する。
また,大規模な3次元MRデータセットにINRを適用可能な拡散正則化を用いたハイブリッド3次元アプローチを提案する。
論文 参考訳（メタデータ） (2024-06-19T23:51:26Z) - GD^2-NeRF: Generative Detail Compensation via GAN and Diffusion for One-shot Generalizable Neural Radiance Fields [41.63632669921749]
本稿では,GANと拡散を用いた生成的詳細補償フレームワークを提案する。
このフレームワークは、推論時の微調整なしと、鮮明な検証可能な詳細の両方である。
合成データセットと実世界のデータセットの両方の実験では、GD$2$-NeRFはシーンごとの微調整なしに細部を著しく改善している。
論文 参考訳（メタデータ） (2024-01-01T00:08:39Z) - StableDreamer: Taming Noisy Score Distillation Sampling for Text-to-3D [88.66678730537777]
本稿では3つの進歩を取り入れた方法論であるStableDreamerを紹介する。
まず、SDS生成前の等価性と、簡単な教師付きL2再構成損失を定式化する。
第2に,画像空間拡散は幾何学的精度に寄与するが,色調の鮮明化には潜時空間拡散が不可欠であることを示す。
論文 参考訳（メタデータ） (2023-12-02T02:27:58Z) - NeRF-GAN Distillation for Efficient 3D-Aware Generation with
Convolutions [97.27105725738016]
GAN(Generative Adversarial Networks)のようなニューラルラジアンスフィールド(NeRF)と生成モデルの統合は、単一ビュー画像から3D認識生成を変換した。
提案手法は,ポーズ条件付き畳み込みネットワークにおいて,事前学習したNeRF-GANの有界遅延空間を再利用し,基礎となる3次元表現に対応する3D一貫性画像を直接生成する手法である。
論文 参考訳（メタデータ） (2023-03-22T18:59:48Z) - Improving 3D Imaging with Pre-Trained Perpendicular 2D Diffusion Models [52.529394863331326]
本稿では,2つの垂直2次元拡散モデルを用いて3次元逆問題の解法を提案する。
MRI Z軸超解像, 圧縮センシングMRI, スパースCTなどの3次元医用画像再構成作業に有効である。
論文 参考訳（メタデータ） (2023-03-15T08:28:06Z) - Solving 3D Inverse Problems using Pre-trained 2D Diffusion Models [33.343489006271255]
拡散モデルは、高品質なサンプルを持つ新しい最先端の生成モデルとして登場した。
そこで本研究では, モデルに基づく2次元拡散を, 全次元にわたるコヒーレントな再構成を達成できるように, 実験時の残りの方向で先行する2次元拡散を拡大することを提案する。
提案手法は,1つのコモディティGPU上で動作可能であり,新しい最先端技術を確立する。
論文 参考訳（メタデータ） (2022-11-19T10:32:21Z) - RenderDiffusion: Image Diffusion for 3D Reconstruction, Inpainting and
Generation [68.06991943974195]
単分子2次元観察のみを用いて学習した3次元生成と推論のための最初の拡散モデルであるRenderDiffusionを提案する。
FFHQ,AFHQ,ShapeNet,CLEVRのデータセット上でRenderDiffusionを評価し,3Dシーンの生成と2D画像からの3Dシーンの推測の競合性能を示した。
論文 参考訳（メタデータ） (2022-11-17T20:17:04Z) - DreamFusion: Text-to-3D using 2D Diffusion [52.52529213936283]
テキストと画像の合成の最近の進歩は、何十億もの画像と画像のペアで訓練された拡散モデルによって引き起こされている。
本研究では,事前訓練された2次元テキスト・ツー・イメージ拡散モデルを用いてテキスト・ツー・3次元合成を行うことにより,これらの制約を回避する。
提案手法では,3次元トレーニングデータや画像拡散モデルの変更は必要とせず,事前訓練した画像拡散モデルの有効性を実証する。
論文 参考訳（メタデータ） (2022-09-29T17:50:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。