論文の概要: RadRotator: 3D Rotation of Radiographs with Diffusion Models
- arxiv url: http://arxiv.org/abs/2404.13000v1
- Date: Fri, 19 Apr 2024 16:55:12 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-22 14:26:33.362426
- Title: RadRotator: 3D Rotation of Radiographs with Diffusion Models
- Title（参考訳）: RadRotator:拡散モデルによるラジオグラフィの3次元回転
- Authors: Pouria Rouzrokh, Bardia Khosravi, Shahriar Faghani, Kellen L. Mulford, Michael J. Taunton, Bradley J. Erickson, Cody C. Wyles,
- Abstract要約: 本稿では,3次元空間における任意の入射ラジオグラフの解剖学的内容の回転を可能にする拡散モデルに基づく技術を提案する。
従来の研究と同様に、我々はCTボリュームを用いてデジタル再構成ラジオグラフィー(DRR)をモデルのトレーニングデータとして作成しました。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Transforming two-dimensional (2D) images into three-dimensional (3D) volumes is a well-known yet challenging problem for the computer vision community. In the medical domain, a few previous studies attempted to convert two or more input radiographs into computed tomography (CT) volumes. Following their effort, we introduce a diffusion model-based technology that can rotate the anatomical content of any input radiograph in 3D space, potentially enabling the visualization of the entire anatomical content of the radiograph from any viewpoint in 3D. Similar to previous studies, we used CT volumes to create Digitally Reconstructed Radiographs (DRRs) as the training data for our model. However, we addressed two significant limitations encountered in previous studies: 1. We utilized conditional diffusion models with classifier-free guidance instead of Generative Adversarial Networks (GANs) to achieve higher mode coverage and improved output image quality, with the only trade-off being slower inference time, which is often less critical in medical applications; and 2. We demonstrated that the unreliable output of style transfer deep learning (DL) models, such as Cycle-GAN, to transfer the style of actual radiographs to DRRs could be replaced with a simple yet effective training transformation that randomly changes the pixel intensity histograms of the input and ground-truth imaging data during training. This transformation makes the diffusion model agnostic to any distribution variations of the input data pixel intensity, enabling the reliable training of a DL model on input DRRs and applying the exact same model to conventional radiographs (or DRRs) during inference.
- Abstract（参考訳）: 2次元(2次元)画像を3次元(3次元)に変換することは、コンピュータビジョンコミュニティにとってよく知られているが難しい問題である。
医学領域では、2つ以上の入力されたX線写真からCT(Computerd tomography)ボリュームへの変換が試みられた。
これらの取り組みに続いて、3次元空間における任意の入力ラジオグラフィーの解剖学的内容の回転を可能にする拡散モデルに基づく技術を導入し、3次元空間におけるあらゆる視点から、前記ラジオグラフィーの全解剖学的内容の可視化を可能にする可能性がある。
従来の研究と同様に、我々はCTボリュームを用いてデジタル再構成ラジオグラフィー(DRR)をモデルのトレーニングデータとして作成しました。
しかし、過去の研究で遭遇した2つの重大な限界に対処した。
1.我々は、GAN(Generative Adversarial Networks)の代わりに、条件付き拡散モデルを用いて、より高いモードカバレッジを実現し、出力画像の品質を向上させる。
2) 実線をDRRに転送するCycle-GANのようなDLモデルの信頼性の低い出力は, 入力画像の画素強度ヒストグラムをランダムに変化させる単純なトレーニング変換に置き換えることが実証された。
この変換により、拡散モデルは入力データ画素強度の分布変動に依存せず、入力されたDRR上でDLモデルの信頼できるトレーニングを可能にし、推論中に従来のラジオグラフ(またはDRR)に全く同じモデルを適用することができる。
関連論文リスト
- 3D-CT-GPT: Generating 3D Radiology Reports through Integration of Large Vision-Language Models [51.855377054763345]
本稿では,VQAに基づく医用視覚言語モデルである3D-CT-GPTについて紹介する。
パブリックデータセットとプライベートデータセットの両方の実験により、3D-CT-GPTはレポートの正確さと品質という点で既存の手法を著しく上回っていることが示された。
論文 参考訳（メタデータ） (2024-09-28T12:31:07Z) - Diff3Dformer: Leveraging Slice Sequence Diffusion for Enhanced 3D CT Classification with Transformer Networks [5.806035963947936]
拡散型3次元視覚変換器(Diff3Dformer)を提案する。
本手法は, 肺CTの2種類の小さなデータセットに対して, 改良された性能を示す。
論文 参考訳（メタデータ） (2024-06-24T23:23:18Z) - StableDreamer: Taming Noisy Score Distillation Sampling for Text-to-3D [88.66678730537777]
本稿では3つの進歩を取り入れた方法論であるStableDreamerを紹介する。
まず、SDS生成前の等価性と、簡単な教師付きL2再構成損失を定式化する。
第2に,画像空間拡散は幾何学的精度に寄与するが,色調の鮮明化には潜時空間拡散が不可欠であることを示す。
論文 参考訳（メタデータ） (2023-12-02T02:27:58Z) - Oral-3Dv2: 3D Oral Reconstruction from Panoramic X-Ray Imaging with
Implicit Neural Representation [3.8215162658168524]
Oral-3Dv2は、単一のパノラマX線画像から3Dラジオロジーを再構成する非逆学習モデルである。
本モデルは,2次元座標を3次元空間内のボクセルの密度値にマッピングすることにより,暗黙的に3次元口腔構造を表現することを学習する。
我々の知る限りでは、これは1枚のパノラマX線画像から3Dラジオグラフィ再構成における非逆学習モデルの最初の作品である。
論文 参考訳（メタデータ） (2023-03-21T18:17:27Z) - Improving 3D Imaging with Pre-Trained Perpendicular 2D Diffusion Models [52.529394863331326]
本稿では,2つの垂直2次元拡散モデルを用いて3次元逆問題の解法を提案する。
MRI Z軸超解像, 圧縮センシングMRI, スパースCTなどの3次元医用画像再構成作業に有効である。
論文 参考訳（メタデータ） (2023-03-15T08:28:06Z) - CNN-based real-time 2D-3D deformable registration from a single X-ray
projection [2.1198879079315573]
本稿では, フルオロスコープ画像を用いたリアルタイム2D-3D非剛体登録法を提案する。
術前スキャンから解剖学の変位場と2次元投影からなるデータセットを生成する。
ニューラルネットワークは、未知の3D変位場を単一の投影画像から回復するように訓練される。
論文 参考訳（メタデータ） (2022-12-15T09:57:19Z) - Solving 3D Inverse Problems using Pre-trained 2D Diffusion Models [33.343489006271255]
拡散モデルは、高品質なサンプルを持つ新しい最先端の生成モデルとして登場した。
そこで本研究では, モデルに基づく2次元拡散を, 全次元にわたるコヒーレントな再構成を達成できるように, 実験時の残りの方向で先行する2次元拡散を拡大することを提案する。
提案手法は,1つのコモディティGPU上で動作可能であり,新しい最先端技術を確立する。
論文 参考訳（メタデータ） (2022-11-19T10:32:21Z) - Revisiting 3D Context Modeling with Supervised Pre-training for
Universal Lesion Detection in CT Slices [48.85784310158493]
CTスライスにおける普遍的病変検出のための3Dコンテキスト強化2D特徴を効率的に抽出するための修飾擬似3次元特徴ピラミッドネットワーク(MP3D FPN)を提案する。
新たな事前学習手法により,提案したMP3D FPNは,DeepLesionデータセット上での最先端検出性能を実現する。
提案された3Dプリトレーニングウェイトは、他の3D医療画像分析タスクのパフォーマンスを高めるために使用できる。
論文 参考訳（メタデータ） (2020-12-16T07:11:16Z) - XraySyn: Realistic View Synthesis From a Single Radiograph Through CT
Priors [118.27130593216096]
放射線写真は、X線を用いて患者の内部解剖を視覚化し、3D情報を2次元平面に投影する。
私たちの知る限りでは、ラジオグラフィビューの合成に関する最初の研究である。
本手法は,3次元空間におけるX線撮影の理解を得ることにより,地中骨ラベルを使わずに,X線撮影による骨抽出と骨抑制に応用できることが示唆された。
論文 参考訳（メタデータ） (2020-12-04T05:08:53Z) - Modelling the Distribution of 3D Brain MRI using a 2D Slice VAE [66.63629641650572]
本研究では,2次元スライスVAEとガウスモデルを組み合わせた3次元MR脳の体積分布をモデル化する手法を提案する。
また,本研究では,脳解剖学に適合するセグメンテーションの精度を定量的に評価する新たなボリューム評価手法を提案する。
論文 参考訳（メタデータ） (2020-07-09T13:23:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。