論文の概要: Blaze3DM: Marry Triplane Representation with Diffusion for 3D Medical Inverse Problem Solving
- arxiv url: http://arxiv.org/abs/2405.15241v1
- Date: Fri, 24 May 2024 06:07:27 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-27 16:00:17.667979
- Title: Blaze3DM: Marry Triplane Representation with Diffusion for 3D Medical Inverse Problem Solving
- Title（参考訳）: Blaze3DM:3次元医用逆問題解法における拡散型三面体表現
- Authors: Jia He, Bonan Li, Ge Yang, Ziwen Liu,
- Abstract要約: 本稿では,コンパクトな三面体ニューラルフィールドと強力な拡散モデルを統合することにより,高速かつ高忠実な生成を可能にする新しいアプローチBlaze3DMを提案する。
技術的には、Blaze3DMは、データ依存の3次元平面埋め込みと共有デコーダを同時に最適化し、各3次元平面を対応する3次元ボリュームに再構成することから始まる。
スパースビューCT、リミテッドアングルCT、圧縮センシングMRI、MRI等方的超解像を含むゼロショット3次元医療逆問題解決実験は、Blaze3DMが最先端性能を達成するだけでなく、計算効率も著しく向上することを示した。
- 参考スコア（独自算出の注目度）: 8.544098279063597
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Solving 3D medical inverse problems such as image restoration and reconstruction is crucial in modern medical field. However, the curse of dimensionality in 3D medical data leads mainstream volume-wise methods to suffer from high resource consumption and challenges models to successfully capture the natural distribution, resulting in inevitable volume inconsistency and artifacts. Some recent works attempt to simplify generation in the latent space but lack the capability to efficiently model intricate image details. To address these limitations, we present Blaze3DM, a novel approach that enables fast and high-fidelity generation by integrating compact triplane neural field and powerful diffusion model. In technique, Blaze3DM begins by optimizing data-dependent triplane embeddings and a shared decoder simultaneously, reconstructing each triplane back to the corresponding 3D volume. To further enhance 3D consistency, we introduce a lightweight 3D aware module to model the correlation of three vertical planes. Then, diffusion model is trained on latent triplane embeddings and achieves both unconditional and conditional triplane generation, which is finally decoded to arbitrary size volume. Extensive experiments on zero-shot 3D medical inverse problem solving, including sparse-view CT, limited-angle CT, compressed-sensing MRI, and MRI isotropic super-resolution, demonstrate that Blaze3DM not only achieves state-of-the-art performance but also markedly improves computational efficiency over existing methods (22~40x faster than previous work).
- Abstract（参考訳）: 現代の医療分野では,画像修復や再構成といった3次元医療の逆問題の解決が不可欠である。
しかし、3D医療データにおける次元性の呪いは、高資源消費に苦しむ主流のボリュームワイド手法を導き、自然分布をうまく捉えるためにモデルに挑戦し、必然的なボリューム不整合とアーティファクトをもたらす。
いくつかの最近の研究は、潜伏空間における生成を単純化しようとするが、複雑な画像の詳細を効率的にモデル化する能力は欠如している。
これらの制約に対処するために、コンパクトな三面体ニューラルフィールドと強力な拡散モデルを統合することにより高速かつ高忠実な生成を可能にする新しいアプローチBlaze3DMを提案する。
技術的には、Blaze3DMは、データ依存の3次元平面埋め込みと共有デコーダを同時に最適化し、各3次元平面を対応する3次元ボリュームに再構成することから始まる。
さらに3次元の整合性を高めるために,3次元垂直面の相関関係をモデル化する軽量な3次元認識モジュールを導入する。
その後、拡散モデルは潜伏三葉体埋め込みに基づいて訓練され、条件のない三葉体生成と条件付き三葉体生成の両方を達成し、最終的に任意の大きさの体積に復号される。
Sparse-view CT, Limited-angle CT, compressed-sensing MRI, MRI等方的超解像など,ゼロショットの医学的逆問題解決に関する大規模な実験は、Blaze3DMが最先端の性能を達成するだけでなく、既存の手法よりも計算効率を著しく向上することを示した。
関連論文リスト
- Generative Enhancement for 3D Medical Images [74.17066529847546]
本稿では,3次元医用画像合成の新しい生成手法であるGEM-3Dを提案する。
本手法は2次元スライスから始まり,3次元スライスマスクを用いて患者に提供するための情報スライスとして機能し,生成過程を伝搬する。
3D医療画像をマスクと患者の事前情報に分解することで、GEM-3Dは多目的な3D画像を生成する柔軟な、かつ効果的なソリューションを提供する。
論文 参考訳（メタデータ） (2024-03-19T15:57:04Z) - LN3Diff: Scalable Latent Neural Fields Diffusion for Speedy 3D Generation [73.36690511083894]
本稿では,LN3Diffと呼ばれる新しいフレームワークを導入し,統一された3次元拡散パイプラインに対処する。
提案手法では,3次元アーキテクチャと変分オートエンコーダを用いて,入力画像を構造化されたコンパクトな3次元潜在空間に符号化する。
3次元生成のためのShapeNetの最先端性能を実現し,モノクロ3次元再構成と条件付き3次元生成において優れた性能を示す。
論文 参考訳（メタデータ） (2024-03-18T17:54:34Z) - StableDreamer: Taming Noisy Score Distillation Sampling for Text-to-3D [88.66678730537777]
本稿では3つの進歩を取り入れた方法論であるStableDreamerを紹介する。
まず、SDS生成前の等価性と、簡単な教師付きL2再構成損失を定式化する。
第2に,画像空間拡散は幾何学的精度に寄与するが,色調の鮮明化には潜時空間拡散が不可欠であることを示す。
論文 参考訳（メタデータ） (2023-12-02T02:27:58Z) - IT3D: Improved Text-to-3D Generation with Explicit View Synthesis [71.68595192524843]
本研究では、これらの問題に対処するために、明示的に合成されたマルチビュー画像を活用する新しい戦略を提案する。
我々のアプローチは、高画質画像を生成するために、LCDによって強化されたイメージ・ツー・イメージ・パイプラインを活用することである。
組込み判別器では、合成したマルチビュー画像は実データと見なされ、最適化された3Dモデルのレンダリングは偽データとして機能する。
論文 参考訳（メタデータ） (2023-08-22T14:39:17Z) - Two-and-a-half Order Score-based Model for Solving 3D Ill-posed Inverse
Problems [7.074380879971194]
本稿では,3次元ボリューム再構成のための2次半順序スコアベースモデル(TOSM)を提案する。
トレーニング期間中、TOSMは2次元空間のデータ分布を学習し、トレーニングの複雑さを低減する。
再構成フェーズでは、TOSMは3方向の相補的なスコアを利用して、3次元空間のデータ分布を更新する。
論文 参考訳（メタデータ） (2023-08-16T17:07:40Z) - Make-A-Volume: Leveraging Latent Diffusion Models for Cross-Modality 3D
Brain MRI Synthesis [35.45013834475523]
クロスモダリティ医療画像合成は重要なトピックであり、医療画像分野における多くの応用を促進する可能性がある。
現在の医療画像合成法のほとんどは、生成的敵ネットワークに依存しており、悪名高いモード崩壊と不安定な訓練に悩まされている。
本稿では,2次元バックボーンを利用した医療データ合成のための新しいパラダイムを提案し,拡散型フレームワークであるMake-A-Volumeを提案する。
論文 参考訳（メタデータ） (2023-07-19T16:01:09Z) - Memory-Efficient 3D Denoising Diffusion Models for Medical Image Processing [0.9424565541639366]
本稿では,3次元拡散モデルにおける資源消費の削減法について述べる。
本論文の主な貢献は,メモリ効率のパッチベース拡散モデルである。
提案した拡散モデルは,任意の画像生成タスクに適用できるが,BraTS 2020データセットの腫瘍セグメンテーションタスクについて評価する。
論文 参考訳（メタデータ） (2023-03-27T15:10:19Z) - NeRF-GAN Distillation for Efficient 3D-Aware Generation with
Convolutions [97.27105725738016]
GAN(Generative Adversarial Networks)のようなニューラルラジアンスフィールド(NeRF)と生成モデルの統合は、単一ビュー画像から3D認識生成を変換した。
提案手法は,ポーズ条件付き畳み込みネットワークにおいて,事前学習したNeRF-GANの有界遅延空間を再利用し,基礎となる3次元表現に対応する3D一貫性画像を直接生成する手法である。
論文 参考訳（メタデータ） (2023-03-22T18:59:48Z) - Improving 3D Imaging with Pre-Trained Perpendicular 2D Diffusion Models [52.529394863331326]
本稿では,2つの垂直2次元拡散モデルを用いて3次元逆問題の解法を提案する。
MRI Z軸超解像, 圧縮センシングMRI, スパースCTなどの3次元医用画像再構成作業に有効である。
論文 参考訳（メタデータ） (2023-03-15T08:28:06Z) - Solving 3D Inverse Problems using Pre-trained 2D Diffusion Models [33.343489006271255]
拡散モデルは、高品質なサンプルを持つ新しい最先端の生成モデルとして登場した。
そこで本研究では, モデルに基づく2次元拡散を, 全次元にわたるコヒーレントな再構成を達成できるように, 実験時の残りの方向で先行する2次元拡散を拡大することを提案する。
提案手法は,1つのコモディティGPU上で動作可能であり,新しい最先端技術を確立する。
論文 参考訳（メタデータ） (2022-11-19T10:32:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。