論文の概要: Solving 3D Inverse Problems using Pre-trained 2D Diffusion Models
- arxiv url: http://arxiv.org/abs/2211.10655v1
- Date: Sat, 19 Nov 2022 10:32:21 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-22 17:27:24.017631
- Title: Solving 3D Inverse Problems using Pre-trained 2D Diffusion Models
- Title（参考訳）: 事前学習2次元拡散モデルを用いた3次元逆問題の解法
- Authors: Hyungjin Chung, Dohoon Ryu, Michael T. McCann, Marc L. Klasky, Jong
Chul Ye
- Abstract要約: 拡散モデルは、高品質なサンプルを持つ新しい最先端の生成モデルとして登場した。
そこで本研究では, モデルに基づく2次元拡散を, 全次元にわたるコヒーレントな再構成を達成できるように, 実験時の残りの方向で先行する2次元拡散を拡大することを提案する。
提案手法は,1つのコモディティGPU上で動作可能であり,新しい最先端技術を確立する。
- 参考スコア（独自算出の注目度）: 33.343489006271255
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Diffusion models have emerged as the new state-of-the-art generative model
with high quality samples, with intriguing properties such as mode coverage and
high flexibility. They have also been shown to be effective inverse problem
solvers, acting as the prior of the distribution, while the information of the
forward model can be granted at the sampling stage. Nonetheless, as the
generative process remains in the same high dimensional (i.e. identical to data
dimension) space, the models have not been extended to 3D inverse problems due
to the extremely high memory and computational cost. In this paper, we combine
the ideas from the conventional model-based iterative reconstruction with the
modern diffusion models, which leads to a highly effective method for solving
3D medical image reconstruction tasks such as sparse-view tomography, limited
angle tomography, compressed sensing MRI from pre-trained 2D diffusion models.
In essence, we propose to augment the 2D diffusion prior with a model-based
prior in the remaining direction at test time, such that one can achieve
coherent reconstructions across all dimensions. Our method can be run in a
single commodity GPU, and establishes the new state-of-the-art, showing that
the proposed method can perform reconstructions of high fidelity and accuracy
even in the most extreme cases (e.g. 2-view 3D tomography). We further reveal
that the generalization capacity of the proposed method is surprisingly high,
and can be used to reconstruct volumes that are entirely different from the
training dataset.
- Abstract（参考訳）: 拡散モデルは、モードカバレッジや高い柔軟性といった興味深い特性を持つ高品質なサンプルを持つ新しい最先端の生成モデルとして登場した。
それらはまた、分布の前兆として作用する効果的な逆問題解決器であることが示され、一方、フォワードモデルの情報はサンプリング段階で与えられる。
それでも生成過程は同じ高次元(すなわちデータ次元と同一)空間に留まっているため、モデルは非常に高いメモリと計算コストのために3次元逆問題に拡張されていない。
本稿では,従来のモデルに基づく反復的再構成法と現代の拡散モデルを組み合わせて,スパースビュートモグラフィ,限定アングルトモグラフィ,圧縮センシングmriなどの3次元医用画像再構成課題を,事前学習した2次元拡散モデルから解決する手法を提案する。
本研究は, 実験時の残留方向におけるモデルに基づく事前の2次元拡散を補強し, 全次元にわたってコヒーレントな再構成を実現することを提案する。
提案手法は,1つのコモディティGPUで動作可能であり,新しい最先端技術を確立し,最も極端な場合(例えば2-view 3Dトモグラフィー)においても高い忠実度と精度の再現が可能なことを示す。
さらに,提案手法の一般化能力は驚くほど高く,トレーニングデータセットとは全く異なるボリュームの再構築に使用できることを明らかにした。
関連論文リスト
- From Diffusion to Resolution: Leveraging 2D Diffusion Models for 3D Super-Resolution Task [19.56372155146739]
本稿では,3次元電子顕微鏡(vEM)の超解像性を高めるために,2次元拡散モデルと体積内の横方向の連続性を利用する新しい手法を提案する。
イオンビーム走査型電子顕微鏡(FIB-SEM)の2つのデータを用いて,本フレームワークのロバスト性と実用性を示した。
論文 参考訳（メタデータ） (2024-11-25T09:12:55Z) - Blaze3DM: Marry Triplane Representation with Diffusion for 3D Medical Inverse Problem Solving [8.544098279063597]
本稿では,コンパクトな三面体ニューラルフィールドと強力な拡散モデルを統合することにより,高速かつ高忠実な生成を可能にする新しいアプローチBlaze3DMを提案する。
技術的には、Blaze3DMは、データ依存の3次元平面埋め込みと共有デコーダを同時に最適化し、各3次元平面を対応する3次元ボリュームに再構成することから始まる。
スパースビューCT、リミテッドアングルCT、圧縮センシングMRI、MRI等方的超解像を含むゼロショット3次元医療逆問題解決実験は、Blaze3DMが最先端性能を達成するだけでなく、計算効率も著しく向上することを示した。
論文 参考訳（メタデータ） (2024-05-24T06:07:27Z) - StableDreamer: Taming Noisy Score Distillation Sampling for Text-to-3D [88.66678730537777]
本稿では3つの進歩を取り入れた方法論であるStableDreamerを紹介する。
まず、SDS生成前の等価性と、簡単な教師付きL2再構成損失を定式化する。
第2に,画像空間拡散は幾何学的精度に寄与するが,色調の鮮明化には潜時空間拡散が不可欠であることを示す。
論文 参考訳（メタデータ） (2023-12-02T02:27:58Z) - DiffHPE: Robust, Coherent 3D Human Pose Lifting with Diffusion [54.0238087499699]
拡散モデルにより,人間のポーズ推定精度,ロバスト性,コヒーレンス性が向上することを示す。
3D-HPEにおける拡散モデルを利用する新しい戦略であるDiffHPEを紹介する。
以上の結果から, 独立拡散モデルにより, 予測可能な性能が得られる一方で, 教師付きモデルと組み合わせて精度が向上することが示唆された。
論文 参考訳（メタデータ） (2023-09-04T12:54:10Z) - Sparse3D: Distilling Multiview-Consistent Diffusion for Object
Reconstruction from Sparse Views [47.215089338101066]
スパースビュー入力に適した新しい3D再構成手法であるスパース3Dを提案する。
提案手法は,多視点拡散モデルから頑健な先行情報を抽出し,ニューラルラディアンス場を改良する。
強力な画像拡散モデルから2Dプリエントをタップすることで、我々の統合モデルは、常に高品質な結果をもたらす。
論文 参考訳（メタデータ） (2023-08-27T11:52:00Z) - Unsupervised 3D Pose Estimation with Non-Rigid Structure-from-Motion
Modeling [83.76377808476039]
本研究では,人間のポーズの変形をモデル化し,それに伴う拡散に基づく動きを事前に設計する手法を提案する。
動作中の3次元人間の骨格を復元する作業は3次元基準骨格の推定に分割する。
混合時空間NASfMformerを用いて、各フレームの3次元基準骨格と骨格変形を2次元観測シーケンスから同時に推定する。
論文 参考訳（メタデータ） (2023-08-18T16:41:57Z) - Reference-Free Isotropic 3D EM Reconstruction using Diffusion Models [8.590026259176806]
本稿では、参照データや劣化過程に関する事前知識の制限を克服する拡散モデルに基づくフレームワークを提案する。
提案手法では, 2次元拡散モデルを用いて連続的に3次元ボリュームを再構成し, 高精度なサンプルデータに適している。
論文 参考訳（メタデータ） (2023-08-03T07:57:02Z) - HoloDiffusion: Training a 3D Diffusion Model using 2D Images [71.1144397510333]
我々は,2次元画像のみを監督のために配置した,エンドツーエンドでトレーニング可能な新しい拡散装置を導入する。
我々の拡散モデルはスケーラブルで、頑健に訓練されており、既存の3次元生成モデルへのアプローチに対して、サンプルの品質と忠実さの点で競争力があることを示す。
論文 参考訳（メタデータ） (2023-03-29T07:35:56Z) - Improving 3D Imaging with Pre-Trained Perpendicular 2D Diffusion Models [52.529394863331326]
本稿では,2つの垂直2次元拡散モデルを用いて3次元逆問題の解法を提案する。
MRI Z軸超解像, 圧縮センシングMRI, スパースCTなどの3次元医用画像再構成作業に有効である。
論文 参考訳（メタデータ） (2023-03-15T08:28:06Z) - Modelling the Distribution of 3D Brain MRI using a 2D Slice VAE [66.63629641650572]
本研究では,2次元スライスVAEとガウスモデルを組み合わせた3次元MR脳の体積分布をモデル化する手法を提案する。
また,本研究では,脳解剖学に適合するセグメンテーションの精度を定量的に評価する新たなボリューム評価手法を提案する。
論文 参考訳（メタデータ） (2020-07-09T13:23:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。